Gemini Pro 2.5：ChatGptに大きな脅威をもたらす強力なコーディングアシスタント

コーディング支援のためのAIを評価する際、私は4つの標準化されたテストを開発しました。これらのテストは、AIがあなたのプログラミング活動をどれだけサポートできるかを評価する上で非常に重要です。結局のところ、コードにさらにバグを追加するAIは必要ありませんよね？

少し前に、読者が私のアプローチに疑問を呈し、AIは異なる課題でより良いパフォーマンスを発揮するかもしれないと提案しました。それはもっともな意見ですが、私はこれらのテストにこだわっています。なぜなら、それらはシンプルだからです。私はPHPとJavaScriptを使用しています。これらは最も難しい言語ではありませんが、AIにいくつかのスクリプトクエリを実行させます。この一貫性により、パフォーマンスを直接比較できます。

テストには、シンプルなWordPressプラグインの作成、文字列関数の書き換え、私がかつて苦労したバグの特定、プログラミングツールを使用してChromeからデータを抽出することが含まれます。それは、誰かに運転を教えるようなものです。車庫から出られない人に高速道路を走らせることはありませんよね。

これまで、ChatGPTのGPT-4（およびそれ以上）のLLMだけがこれらのテストすべてに合格しました。興味深いことに、Perplexity Proも成功しましたが、それはGPT-4シリーズのLLMを使用しているからです。一方で、Microsoft Copilotは同じLLMを使用しているにもかかわらず、すべてのテストに失敗しました。

GoogleのGeminiもあまり良い結果を残していません。当初、Bard（Geminiの初期名称）はほとんどのテストに失敗し、月額20ドルのGemini Advancedでさえ、昨年は4つのテストのうち3つに失敗しました。

しかし、今、GoogleはGemini Pro 2.5を導入し、レート制限はあるものの誰でも無料で利用できます。私はテスト中にわずか2つのプロンプトでその制限に達してしまい、少し制約を感じました。レート制限はプロンプトの数ではなく、タスクの複雑さに基づいている可能性があります。最初の2つのリクエストは、完全なWordPressプラグインの作成とコードの修正で、単純なクエリよりも早く制限を消費した可能性があります。

待つ必要はありましたが、結果は驚くべきもので、待つ価値がありました。

テスト1：シンプルなWordPressプラグインの作成

今回、Gemini Pro 2.5は見事な成果を上げました。課題は、入力行をランダム化し、重複が隣接しないように分配するユーザーインターフェースを提供するWordPressプラグインを作成することでした。

以前、Gemini Advancedはバックエンドダッシュボードを作成せず、公開ページの本文にショートコードを必要としました。基本的なUIは作成しましたが、ボタンをクリックしても何も起こりませんでした。プロンプトをどう調整しても失敗でした。

しかし、Gemini Pro 2.5はしっかりしたUIを提供し、コードは意図した通りに動作しました。特に印象的だったのは、プラグインのアイコン選択です。ほとんどのAIはこの詳細を無視しますが、Gemini Pro 2.5は私のプロンプトなしでWordPress Dashiconセットから適切なアイコンを選びました。コードは十分にドキュメント化されており、主要なセグメントごとに明確に説明されていました。

テスト2：文字列関数の書き換え

2番目のテストでは、Gemini Pro 2.5に整数だけでなくドルとセントを処理するように文字列処理コードを修正するよう依頼しました。ChatGPTはこれを正しく処理しましたが、Bardは当初失敗した後に最終的に成功しました。

前回、Gemini Advancedは微妙だが危険な方法で失敗しました。非小数入力を受け付けず、小数点前の桁数を誤って2桁に制限し、ドルとセントの概念を誤解していました。この種のエラーは、見逃せばバグ報告の洪水を引き起こす可能性があります。

しかし、Gemini Pro 2.5は完璧に処理しました。入力タイプを正しくチェックし、空白をトリミングし、先頭のゼロや小数のみの入力を処理する正規表現を修正し、負の入力を拒否しました。コードには十分なコメントが付けられ、完全なテスト例のセットが含まれていました。グループ化カンマや先頭の通貨記号は許可されていませんでしたが、これらは制御されたエラーであり、クラッシュではなかったので、合格と見なします。

テスト3：バグの特定

かつて、私はコードのバグに苦しみました。それは動作するはずなのに動作しませんでした。問題は厄介で、私がパラメータの数に注目していたとき、ChatGPTはフックで何かを変更する必要があると指摘しました。

BardとMetaはどちらも的外れで、私と同じ無駄な道をたどりました。2024年2月のGemini Advancedは、「おそらくプラグインまたはWordPressのどこか他に」問題があると提案しましたが、これは役に立ちませんでした。

Gemini Pro 2.5では、最初の2つのテストでレート制限に達したため、翌日まで待つ必要がありました。最終的にテストを実行したところ、Gemini Pro 2.5はバグを見つけただけでなく、修正箇所を正確に示し、役立つ図も提供しました。

テスト4：スクリプトの作成

最後のテストは、Chromeの内部オブジェクトモデル、AppleScript、Keyboard Maestro（マクロ構築ツール）を理解することです。Chromeタブを開き、パラメータに基づいてアクティブなタブを設定します。

ほとんどのAIはChromeとAppleScriptの部分をうまく処理しますが、Keyboard Maestroで苦戦することが多いです。しかし、Gemini Pro 2.5はこれを正しく処理しました。変数を正しく渡すコードを書き、エラーチェックとユーザー通知を追加し、Keyboard Maestroの設定手順まで提供しました。

4つのテストすべてに合格したGemini Pro 2.5は、プログラミングタスクを真に支援できるAIツールのエリートグループに加わりました。

GoogleのAIがOpenAIの提供に追いつくのは時間の問題でした。Googleの2017年の「Attention is all you need」論文が生成AIブームを引き起こしたので、彼らがこの時点に達したのは驚くことではありません。Gemini Pro 2.5はChatGPT Plusより遅く、応答に15秒から1分かかりますが、正確さがスピードよりも重要です。

Googleはまた、Google Code Assistを寛大な制限付きで無料にしましたが、生成されるコードの品質が高くなければ価値はありません。Gemini Pro 2.5ではその品質が明らかです。現在「実験的」とされていますが、Googleはすぐにこれを改良し、レート制限の少ない有料版を提供する可能性があります。

Gemini Pro 2.5がコーディング支援の分野でChatGPTに挑戦する準備ができていることは明らかです。この発展に注目し、近いうちにさらなる更新を共有します。