X의 Grok은 AI 코딩 테스트에서 기대치를 능가합니다

X가 처음 챗봇을 출시했을 때, 이는 유료 장벽 뒤에 숨겨져 있었습니다. 하지만 속담에 있듯이, 공짜 점심은 없다는(TANSTAAFL) 말이 최근까지 유효했죠. X가 Grok을 모두에게 개방하기로 결정하면서 말이죠. 그 기능이 궁금했던 저는 프로그래밍 테스트를 통해 Grok을 시험해보기로 했습니다.

저는 항상 Grok에 애정을 가지고 있었는데, 그 이름 덕분입니다. 이 이름은 제게 가장 좋아하는 SF 작가 중 한 명인 Robert Heinlein이 만들어낸 것입니다. Heinlein의 작품은 제 어린 시절을 형성하는 데 큰 역할을 했습니다. 제가 소비하는 미디어에 대해 꽤 엄격했던 부모님은 지역 도서관에서 SF를 읽는 것을 허락했는데, '과학'이라는 라벨이 붙은 것은 교육적일 거라는 가정 아래였죠.

Heinlein의 이야기는 단순히 재미있을 뿐 아니라, 사회적 규범에 도전하고 과학적 주제를 사회적 논평과 엮으며 생각을 자극했습니다. *낯선 땅의 이방인*에서 소개된 "grok"이라는 용어는 깊고 근본적인 이해를 상징하며, AI 챗봇의 이름으로 적합합니다.

하지만 여기엔 함정이 있습니다...

Grok이 사용하는 대형 언어 모델(LLM)에 대해 물었을 때, Grok은 *은하수를 여행하는 히치하이커를 위한 안내서*의 재치와 반항적인 태도에서 영감을 받았다고 했습니다. *히치하이커*는 확실히 매력이 있지만, 실제로 "grok"이라는 용어를 사용하지는 않습니다. 하지만 이제 프로그래밍 테스트로 넘어가겠습니다.

1. WordPress 플러그인 작성

이 테스트는 AI가 PHP 프로그래밍 기술과 WordPress 플러그인 개발 지식을 보여줄 것을 요구했습니다. 이는 제 아내가 전자상거래 사이트의 월간 참여 장치를 위해 이름을 무작위로 섞는 도구가 필요했던 실제 요청에서 비롯되었습니다. 조건은 일부 사용자가 여러 번 입력될 수 있으므로, 무작위화 도구는 이 이름들이 나란히 배치되지 않도록 해야 했습니다.

코드는 또한 사용자 친화적이어야 했으며, 아내가 단순히 이름을 붙여넣고 버튼을 클릭하면 목록을 얻을 수 있도록 해야 했습니다. Grok은 이 테스트를 훌륭히 통과했습니다. 인터페이스는 깔끔하고 기능적이었으며, 요구된 대로 정확히 작동했습니다.

2. 문자열 함수 재작성

두 번째 테스트는 달러와 센트 금액을 검증하는 함수에서 사용자 제보로 발견된 문제를 수정하는 것이었습니다. 제 원래 코드는 정수만 받아들여서 $5는 유효했지만, $5.25는 유효하지 않았습니다. Grok은 정규 표현식을 재작성하여 거의 성공에 가까웠지만, .5 같은 숫자를 유효한 통화로 인식하지 못했고, 이중 변환을 사용하는 비효율적인 방법을 썼습니다. 그래서 이건 실패입니다.

3. 성가신 버그 찾기

이 테스트는 WordPress 프레임워크와 API를 이해하여 미묘한 버그를 찾아내는 것이었습니다. 저를 포함한 많은 LLM이 처음에 이에 어려움을 겪었지만, Grok은 이를 정확히 해결하며 유용한 솔루션을 제공했습니다. 세 번 중 두 번 승리했습니다.

4. 스크립트 작성

마지막 테스트는 까다로운 테스트로, 틈새 Mac 스크립팅 도구인 Keyboard Maestro에 대한 지식과 Keyboard Maestro, Chrome, AppleScript 등 여러 환경에서 동시에 코드를 작성하는 능력이 필요했습니다. 이전에는 Google Gemini과 GPT-4 이상의 ChatGPT만 이 테스트를 통과했습니다. 하지만 Grok은 이를 완벽히 해내어 네 번 중 세 번 승리했습니다.

최종 생각

Grok은 이 테스트들에서 잘 버텼습니다. 선행 0 없는 통화 값을 허용했더라면 완벽했을 것입니다. X가 Twitter를 대체한 이후의 변화에 대해 복잡한 감정을 가지고 있지만, Grok은 특히 프로그래밍 기술 면에서 견고한 챗봇임을 증명했습니다.

Grok에 대한 당신의 생각은 어떤가요? 사용해보셨나요? 그리고 *낯선 땅의 이방인*이나 *은하수를 여행하는 히치하이커를 위한 안내서*는 어떤가요? 아래 댓글에서 당신의 생각을 공유해주세요. 그럼, 모든 물고기에 감사하며!