Meta AI не может конкурировать с Llama, Gemini и CHATGPT в тесте кодирования

Насколько хорошо инструменты AI пишут код?

За прошедший год я проложил несколько больших языковых моделей через их шаги, чтобы увидеть, насколько эффективно они решают основные проблемы программирования. Идея этих тестов проста: если они не могут справиться с основами, маловероятно, что они будут очень помогать с более сложными задачами. Но если они преуспевают в этих основополагающих проблемах, они могут просто стать ценными союзниками для разработчиков, которые хотят сэкономить время.

Чтобы установить базовую линию, я использовал четыре различных теста. Они варьируются от простых заданий по кодированию до отладки упражнений, которые требуют более глубокого понимания таких рамок, как WordPress. Давайте погрузимся в каждый тест и сравним, как новый инструмент AI от Meta складывается против других.

Тест 1: Написание плагина WordPress

Создание плагина WordPress включает в себя веб -разработку с использованием PHP в экосистеме WordPress. Это также требует некоторого дизайна пользовательского интерфейса. Если AI Chatbot может справиться с этим, он может послужить полезным помощником для веб -разработчиков.

Результаты:

• Meta AI : адекватный интерфейс, но неудачная функциональность.
• Мета -код Llama : Полный сбой.
• Google Gemini Advanced : хороший интерфейс, неудачная функциональность.
• CHATGPT : чистый интерфейс и функциональный выход.

Вот визуальное сравнение: (Примечание: замените "/path-to-image/" на фактический путь к файлу изображения.)

CHATGPT предоставил аккуратный интерфейс и более логически позиционировал кнопку «Рандомизации». Однако, когда дело дошло до запуска плагина, Meta AI разбился, представляя страшный «белый экран смерти».

Тест 2: переписывание строковой функции

Этот тест оценивает способность ИИ улучшать функции полезности. Успех здесь предлагает потенциальную помощь для разработчиков, в то время как неудача подразумевает место для улучшения.

Результаты:

• Meta AI : не удалось из-за неправильных поправок стоимости, плохой обработки многомерных чисел и вопросов форматирования.
• Мета -код Llama : преуспел.
• Google Gemini Advanced : не удалось.
• Chatgpt : добился успеха.

В то время как Meta AI наткнулся на эту, казалось бы, простую задачу, Meta -Code Llama удалось сиять, демонстрируя свои возможности. Chatgpt также выступал превосходно.

Тест 3: поиск раздражающей ошибки

Речь идет не о написании кода, а о диагностике проблем. Успех требует глубокого знания API WordPress и взаимодействия между различными частями кодовой базы.

Результаты:

• Meta AI : Прошло с летающими цветами, выявляя проблему и предлагая настройку повышения эффективности.
• Мета -код Llama : Неудача.
• Google Gemini Advanced : не удалось.
• Чатгпт : прошел.

Удивительно, но, несмотря на свою более раннюю борьбу, Meta AI преуспела здесь, доказывая его потенциал, но также подчеркивая несоответствия в своих ответах.

Тест 4: Написание сценария

Этот тест оценивает знание специализированных инструментов, таких как клавиатура Maestro и AppleScript. Оба являются относительно нишей, но представляют собой более широкий спектр навыков программирования.

Результаты:

• Meta AI : не удалось получить данные с клавиатуры Maestro.
• Мета -код лама : такая же неудача.
• Google Gemini Advanced : преуспел.
• Chatgpt : добился успеха.

Близнецы и ЧАТГПТ продемонстрировали мастерство с этими инструментами, тогда как предложения Meta потерпели неудачу.

Общие результаты

Основываясь на моем шестимесячном опыте использования CHATGPT для проектов кодирования, я остаюсь уверенностью в его надежности. Другие модели еще не соответствовали его последовательности и эффективности. В то время как Meta AI показал вспышки блеска, его общая производительность оставляет желать лучшего.

Вы экспериментировали с этими инструментами? Поделитесь своими мыслями в комментариях ниже!