Meta AI не может конкурировать с Llama, Gemini и CHATGPT в тесте кодирования

Как хорошо инструменты ИИ пишут код?

За последний год или около того я тестировал несколько больших языковых моделей, чтобы оценить, насколько эффективно они справляются с базовыми задачами программирования. Идея этих тестов проста: если они не могут справиться с основами, вряд ли они будут полезны для более сложных задач. Но если они хорошо справляются с базовыми задачами, они могут стать ценными союзниками для разработчиков, стремящихся сэкономить время.

Для установления базового уровня я использовал четыре различных теста. Они варьируются от простых заданий по программированию до упражнений по отладке, требующих глубокого понимания таких фреймворков, как WordPress. Давайте разберем каждый тест и сравним, как новый инструмент ИИ от Meta справляется в сравнении с другими.

Тест 1: Написание плагина для WordPress

Создание плагина для WordPress включает веб-разработку с использованием PHP в экосистеме WordPress. Также требуется некоторый дизайн пользовательского интерфейса. Если чат-бот с ИИ справится с этим, он может стать полезным помощником для веб-разработчиков.

Результаты:

• Meta AI: Адекватный интерфейс, но функциональность не удалась.
• Meta Code Llama: Полный провал.
• Google Gemini Advanced: Хороший интерфейс, функциональность не удалась.
• ChatGPT: Чистый интерфейс и рабочий результат.

Вот визуальное сравнение: (Примечание: Замените "/path-to-image/" на фактический путь к файлу изображения.)

ChatGPT предоставил более аккуратный интерфейс и более логично расположил кнопку "Randomize". Однако, когда дело дошло до фактического запуска плагина, Meta AI рухнул, показав пресловутый "Белый экран смерти".

Тест 2: Переписывание строковой функции

Этот тест оценивает способность ИИ улучшать утилитарные функции. Успех здесь говорит о потенциальной помощи для разработчиков, тогда как провал указывает на необходимость улучшений.

Результаты:

• Meta AI: Провал из-за неверных корректировок значений, плохой обработки чисел с несколькими знаками после запятой и проблем с форматированием.
• Meta Code Llama: Успех.
• Google Gemini Advanced: Провал.
• ChatGPT: Успех.

В то время как Meta AI споткнулся на этой, казалось бы, простой задаче, Meta Code Llama сумел выделиться, продемонстрировав свои возможности. ChatGPT также показал себя превосходно.

Тест 3: Поиск раздражающей ошибки

Здесь речь идет не о написании кода, а о диагностике проблем. Успех требует глубоких знаний API WordPress и взаимодействия различных частей кодовой базы.

Результаты:

• Meta AI: Прошел с блеском, определив проблему и предложив улучшение, повышающее эффективность.
• Meta Code Llama: Провал.
• Google Gemini Advanced: Провал.
• ChatGPT: Прошел.

Удивительно, но, несмотря на предыдущие трудности, Meta AI здесь превзошел себя, доказав свой потенциал, но также подчеркнув непоследовательность своих ответов.

Тест 4: Написание скрипта

Этот тест оценивает знание специализированных инструментов, таких как Keyboard Maestro и AppleScript. Оба они довольно нишевые, но представляют более широкий спектр навыков программирования.

Результаты:

• Meta AI: Не удалось получить данные из Keyboard Maestro.
• Meta Code Llama: Тот же провал.
• Google Gemini Advanced: Успех.
• ChatGPT: Успех.

Gemini и ChatGPT продемонстрировали мастерство в работе с этими инструментами, тогда как предложения Meta оказались недостаточными.

Общие результаты

Основываясь на моем шестимесячном опыте использования ChatGPT для проектов по программированию, я остаюсь уверенным в его надежности. Другие модели еще не достигли его последовательности и эффективности. Хотя Meta AI показал моменты блеска, его общая производительность оставляет желать лучшего.

Экспериментировали ли вы с этими инструментами? Поделитесь своими мыслями в комментариях ниже!