X Grok превосходит ожидания в тестах на кодирование искусственного интеллекта

Когда X впервые запустил свой чат-бот, он был скрыт за платным доступом. Но, как говорится, бесплатного обеда не бывает (TANSTAAFL), пока недавно X не решил открыть Grok для всех. Заинтересовавшись его возможностями, я решил протестировать его на своих программистских задачах.

Я всегда питал слабость к Grok, благодаря его названию, которое придумал Роберт Хайнлайн, один из моих любимых авторов научной фантастики. Произведения Хайнлайна сыграли значительную роль в формировании моего юного ума. Мои родители, которые строго следили за тем, какие медиа я потребляю, разрешали мне погружаться в научную фантастику в нашей местной библиотеке, считая, что всё, помеченное как «наука», должно быть образовательным.

Рассказы Хайнлайна были не только развлекательными; они заставляли задуматься, бросали вызов общественным нормам и сочетали научные темы с социальными комментариями. Термин «grok», введённый в романе *Чужак в чужой стране*, олицетворяет глубокое, фундаментальное понимание, что делает его подходящим названием для чат-бота с ИИ.

Однако есть одно «но»...

Когда я спросил о большой языковой модели (LLM), которую использует Grok, он упомянул, что вдохновлялся остроумием и бунтарством *Автостопом по галактике*. Хотя *Автостоп* определённо обладает своим шармом, в нём на самом деле не используется термин «grok». Но перейдём к программистским тестам.

1. Написание плагина для WordPress

Этот тест требовал от ИИ продемонстрировать навыки программирования на PHP и знания разработки плагинов для WordPress. Задача возникла из реального запроса моей жены, которой нужен был инструмент для случайного выбора имён для ежемесячного устройства вовлечения на её сайте электронной коммерции. Особенность заключалась в том, что некоторые пользователи могли иметь несколько записей, поэтому генератор случайных чисел должен был гарантировать, что эти имена не будут располагаться рядом.

Код также должен был быть удобным для пользователя, позволяя ей просто вставлять имена, нажимать кнопку и получать список. Grok блестяще справился с этим тестом. Интерфейс был чистым, функциональным и делал именно то, что от него требовалось.

2. Переписывание строковой функции

Второй тест заключался в исправлении проблемы, о которой сообщил пользователь, с функцией, предназначенной для проверки сумм в долларах и центах. Мой исходный код принимал только целые числа, так что $5 считалось допустимым, а $5.25 — нет. Grok переписал регулярное выражение, почти одержав победу. Однако он не распознал числа вроде .5 как действительную валюту и использовал неэффективный метод с двойным преобразованием. Так что в этом тесте он проиграл.

3. Поиск раздражающей ошибки

Этот тест требовал понимания фреймворка и API WordPress, чтобы обнаружить тонкую ошибку. Многие LLM, включая меня самого на начальном этапе, с этим справились с трудом. Но Grok справился идеально, предоставив правильное и полезное решение. Это два победных результата из трёх.

4. Написание скрипта

Последний тест был сложным, требовал знания Keyboard Maestro, нишевого инструмента для скриптов на Mac, и способности писать код одновременно для нескольких сред: Keyboard Maestro, Chrome и AppleScript. Ранее этот тест прошли только Google Gemini и ChatGPT с GPT-4 или выше. Однако Grok справился с ним на ура, обеспечив три победы из четырёх.

Заключительные мысли

Grok хорошо показал себя в этих тестах. Если бы он только разрешил валютные значения без ведущего нуля, результат был бы идеальным. Несмотря на мои смешанные чувства по поводу изменений в X с тех пор, как он заменил Twitter, Grok доказал, что является надёжным чат-ботом, особенно в плане программистских навыков.

Каково ваше мнение о Grok? Пробовали ли вы его? А что насчёт *Чужака в чужой стране* или *Автостопа по галактике*? Поделитесь своими мыслями в комментариях ниже. Пока, и спасибо за всю рыбу!