Github CopilotのAIテスト：混合コーディングの成功は私を困惑させます

AIコーディングツールの不一致を探る

同じ基盤となる大規模言語モデルに基づいて構築されたAIツールが、なぜこれほど多様な結果を生み出すのか、実に不可解です。例えば、ChatGPT、Perplexity、GitHub CopilotはすべてOpenAIのGPT-4モデルを活用しています。しかし、最近のテストではパフォーマンスに顕著な違いが現れました。ChatGPTとPerplexityのプロプランは優れていましたが、GitHub Copilotの成功率は50％でした。

これらのテストは、VS Code環境に統合されたGitHub Copilotを使用して実施しました。このセットアップ方法については、近日中の記事で詳細なガイドを共有します。今のところ、私が行ったテストの詳細に飛び込みましょう。

私のテスト方法や使用したプロンプトに興味がある場合は、AIチャットボットのコーディング能力を評価する詳細なガイドをご覧ください。

TL;DR: GitHub Copilotは、私が行った4つのテストのうち2つに合格しました。

テスト1：WordPressプラグインの作成

このテストは完全に失望に終わりました。初の試みだったため、GitHub Copilotがコーディングに苦戦しているのか、VS Code内の相互作用の制約がその能力を妨げているのか、確信が持てませんでした。

背景は次のとおりです：AIに、管理インターフェースと動作ロジックを含む完全に機能するWordPressプラグインを開発するよう依頼しました。プラグインのタスクは、名前のリストを受け取り、ソートし、重複する名前が隣接しないように分離することでした。

このタスクは、妻のデジタル商品のeコマース事業で、彼女が管理する活発なFacebookグループからの実際のニーズに由来しています。

テストした10のAIモデルのうち5つがこのテストに完全に合格し、3つが部分的に合格、Microsoft Copilotを含む2つが完全に失敗しました。GitHub Copilotは同じプロンプトを与えられたにもかかわらず、PHPコードのみを生成しました。確かにPHPだけで問題を解決することは可能でしたが、GitHub CopilotはJavaScriptを参照しようとしたものの、実際には生成しませんでした。

JavaScriptファイル内からGitHub Copilotにタスクを完了するよう促したところ、奇妙にもさらにPHPコードで応答し、存在しないJavaScriptファイルを参照し続けました。

テスト2：文字列関数の書き直し

このテストは比較的簡単でした：ドルとセントを検証する関数を提供しましたが、整数ドルのみをチェックしていました。AIの課題は、関数を修正することでした。

GitHub Copilotはコードを変更しましたが、結果には問題がありました。入力文字列がすべて有効だと仮定しており、文字列が空の場合にエラーが発生します。さらに、更新された正規表現は「3.」「.3」「00.30」などのさまざまなエッジケースを処理できませんでした。通貨を検証する関数にとって、このような見落としは許容できず、GitHub Copilotにとってまたしても失敗となりました。

テスト3：厄介なバグの発見

ここでは、GitHub Copilotが輝きました。このテストは私が直面した実際のコーディングの課題に基づいており、エラーメッセージが実際の問題を直接指していませんでした。コーディングの謎のようなもので、WordPress API呼び出しを深く理解する必要がありました。

Microsoft Copilot、Gemini、Meta Code Llamaがこのテストでつまずいた一方で、GitHub Copilotは見事に成功し、複雑な現実の問題に取り組む能力を示しました。

テスト4：スクリプトの作成

GitHub Copilotはこのテストでも成功し、Microsoft Copilotが失敗したところでした。タスクは、AppleScript、Chromeオブジェクトモデル、Keyboard MaestroというMac専用のユーティリティを統合する必要があるスクリプトを作成することでした。

合格するには、AIが3つの環境すべての微妙な違いを認識し、対処する必要があり、GitHub Copilotはそれを見事にやってのけました。

最終的な感想

先進的なGPT-4モデルを使用するGitHub Copilotがテストの半分に失敗するのは残念です。GitHubが主要なソース管理プラットフォームであることを考えると、AIコーディングサポートがもっと信頼できると期待されます。

しかし、AIの世界は常に進化しており、GitHub Copilotのパフォーマンスが時間とともに向上することを楽観視しています。数か月後に再び訪れて、どの程度進歩したか確認しましょう。

あなたはコーディング支援にAIを頼っていますか？どのAIツールがお気に入りですか？GitHub Copilotを試したことがありますか？以下のコメントであなたの経験を共有してください。

私の毎日のプロジェクト進捗をソーシャルメディアで更新しています。私の週刊ニュースレターに登録するのを忘れず、Twitter/Xで@DavidGewirtz、FacebookでFacebook.com/DavidGewirtz、InstagramでInstagram.com/DavidGewirtz、Blueskyで@DavidGewirtz.com、YouTubeでYouTube.com/DavidGewirtzTVでフォローしてください。