Gemini Pro 2.5 : Chatgpt에 큰 위협을주는 강력한 코딩 보조원

코딩 지원을 위한 AI 평가에 있어서, 저는 네 가지 표준화된 테스트를 개발했습니다. 이 테스트들은 AI가 프로그래밍 작업을 얼마나 잘 지원할 수 있는지를 평가하는 데 중요합니다. 결국, 코드에 더 많은 버그를 추가하는 AI는 필요 없겠죠?

얼마 전, 한 독자가 제 접근 방식에 대해 의문을 제기하며 AI가 다른 도전 과제에서 더 나은 성능을 보일 수 있다고 제안했습니다. 타당한 지적이지만, 저는 이 테스트들이 간단명료하기 때문에 고수하고 있습니다. 저는 PHP와 JavaScript를 사용하며, 이는 가장 어려운 언어는 아니지만, 몇 가지 스크립팅 쿼리를 AI에 실행시킵니다. 이런 일관성은 성능을 직접 비교할 수 있게 해줍니다.

테스트에는 간단한 WordPress 플러그인 작성, 문자열 함수 재작성, 제가 한때 어려움을 겪었던 버그 찾기, 그리고 Chrome에서 데이터를 추출하기 위해 프로그래밍 도구를 사용하는 것이 포함됩니다. 마치 누군가에게 운전을 가르치는 것과 같죠—차고를 벗어나지도 못하는데 고속도로에 풀어놓지 않겠죠.

현재까지 ChatGPT의 GPT-4(및 그 이상) LLM만이 이 모든 테스트를 통과했습니다. 흥미롭게도 Perplexity Pro도 성공했지만, 이는 GPT-4 시리즈 LLM을 사용하기 때문입니다. 반면, Microsoft Copilot은 동일한 LLM을 사용했음에도 불구하고 모든 테스트에서 실패했습니다.

Google의 Gemini도 크게 나아지지 않았습니다. 처음에는 Bard(Gemini의 초기 이름)가 대부분의 테스트에서 실패했고, 월 20달러인 Gemini Advanced도 작년에 네 가지 테스트 중 세 가지에서 실패했습니다.

하지만 이제 Google은 Gemini Pro 2.5를 도입했으며, 이는 모두에게 무료이지만 사용량 제한이 있습니다. 테스트 중 두 번의 프롬프트만으로 제한에 도달했는데, 이는 다소 제약이 있습니다. 사용량 제한은 프롬프트의 수보다는 작업의 복잡성에 따라 결정될 가능성이 있습니다. 제 처음 두 요청은 전체 WordPress 플러그인을 작성하고 코드를 수정하는 것이었는데, 이는 더 간단한 쿼리보다 제한을 더 빨리 소진했을 수 있습니다.

기다림에도 불구하고 결과는 놀라웠고 그만한 가치가 있었습니다.

테스트 1: 간단한 WordPress 플러그인 작성

이번에는 Gemini Pro 2.5가 완벽히 해냈습니다. 도전 과제는 입력 줄을 무작위로 섞고 중복 항목이 인접하지 않도록 분배하는 사용자 인터페이스를 제공하는 WordPress 플러그인을 만드는 것이었습니다.

이전에 Gemini Advanced는 백엔드 대시보드를 만들지 않고 공개 페이지의 본문 텍스트에 숏코드를 요구했습니다. 기본 UI는 만들었지만 버튼을 클릭해도 아무 반응이 없었습니다. 프롬프트를 어떻게 조정해도 여전히 실패했습니다.

하지만 Gemini Pro 2.5는 견고한 UI를 제공했고, 코드는 의도한 대로 작동했습니다. 특히 인상적이었던 점은 플러그인의 아이콘 선택이었습니다. 대부분의 AI는 이 세부 사항을 무시하지만, Gemini Pro 2.5는 제 프롬프트 없이도 WordPress Dashicon 세트에서 관련 아이콘을 선택했습니다. 코드는 각 주요 부분이 명확히 설명되어 잘 문서화되어 있었습니다.

테스트 2: 문자열 함수 재작성

두 번째 테스트에서 저는 Gemini Pro 2.5에 정수뿐만 아니라 달러와 센트를 처리하도록 문자열 처리 코드를 수정해 달라고 요청했습니다. ChatGPT는 이를 올바르게 처리했으며, Bard는 초기 실패 후 결국 성공했습니다.

지난번에 Gemini Advanced는 미묘하지만 위험한 방식으로 실패했습니다. 소수점 없는 입력을 허용하지 않았고, 소수점 앞 두 자리 숫자로 잘못 제한하여 달러와 센트 개념을 오해했습니다. 이런 오류는 잡히지 않으면 버그 보고가 폭주할 수 있습니다.

그러나 Gemini Pro 2.5는 이를 완벽히 해냈습니다. 입력 유형을 올바르게 확인하고, 공백을 제거하며, 선행 0과 소수점만 있는 입력을 처리하도록 정규 표현식을 수정하고, 음수 입력을 거부했습니다. 코드는 테스트 예제와 함께 잘 주석 처리되어 있었습니다. 쉼표 그룹화나 선행 통화 기호는 허용하지 않았지만, 이는 충돌이 아닌 제어된 오류였으므로 통과로 간주합니다.

테스트 3: 버그 찾기

한번은 제 코드에서 작동해야 하지만 작동하지 않는 버그로 고생한 적이 있습니다. 문제는 까다로웠고, 제가 전달된 매개변수 수에 집중하고 있을 때 ChatGPT는 훅에서 뭔가를 변경해야 한다고 지적했습니다.

Bard와 Meta는 저와 같은 무익한 길을 따라갔고, 2024년 2월의 Gemini Advanced는 "플러그인이나 WordPress의 다른 곳에서 문제가 있을 가능성이 높다"고 제안했지만, 이는 도움이 되지 않았습니다.

Gemini Pro 2.5에서는 처음 두 테스트 후 사용량 제한에 도달해 다음 날까지 기다려야 했습니다. 마침내 테스트를 실행했을 때, Gemini Pro 2.5는 버그를 찾아내고 정확히 어디를 수정해야 하는지, 도움이 되는 다이어그램과 함께 보여주었습니다.

테스트 4: 스크립트 작성

마지막 테스트는 Chrome의 내부 객체 모델, AppleScript, 그리고 매크로 구축 도구인 Keyboard Maestro를 이해하는 것입니다. 이는 Chrome 탭을 열고 매개변수에 따라 활성 탭을 설정하는 작업입니다.

대부분의 AI는 Chrome과 AppleScript 부분을 잘 처리하지만 Keyboard Maestro에서 종종 어려움을 겪습니다. 그러나 Gemini Pro 2.5는 이를 올바르게 해냈습니다. 변수를 올바르게 전달하는 코드를 작성하고, 오류 확인과 사용자 알림을 추가했으며, Keyboard Maestro 설정 단계까지 제공했습니다.

네 가지 테스트를 모두 통과한 Gemini Pro 2.5는 프로그래밍 작업을 진정으로 지원할 수 있는 AI 도구의 엘리트 그룹에 합류했습니다.

Google의 AI가 OpenAI의 제품을 따라잡는 것은 시간 문제였습니다. Google의 2017년 논문 "Attention is all you need"가 생성 AI 붐을 촉발했으니, 그들이 이 지점에 도달한 것은 놀랍지 않습니다. Gemini Pro 2.5는 ChatGPT Plus보다 느리며, 응답에 15초에서 1분이 걸리지만, 정확성이 속도보다 중요합니다.

Google은 또한 Google Code Assist를 넉넉한 제한으로 무료로 제공했지만, 생성된 코드의 품질이 높아야 가치가 있습니다. Gemini Pro 2.5로 그 품질이 이제 분명해졌습니다. 현재는 "실험적"으로 표시되어 있지만, Google이 곧 이를 개선하여 사용량 제한이 적은 유료 버전을 제공할 것으로 기대합니다.

Gemini Pro 2.5가 코딩 지원 분야에서 ChatGPT에 도전할 준비가 되어 있음이 분명합니다. 저는 이 발전을 계속 주시하며 곧 더 많은 업데이트를 공유할 것입니다.