メタAIは、コーディングテストでLlama、Gemini、およびChatGptと競合できません

AIツールはコードをどれくらいうまく書けるか？

過去1年ほどにわたり、私はいくつかの大規模言語モデルを試し、基本的なプログラミング課題にどれだけ効果的に取り組めるかをテストしてきました。これらのテストの背後にある考え方はシンプルです：基本的な課題を処理できない場合、より複雑なタスクで役立つ可能性は低いでしょう。しかし、これらの基礎的な課題で優れた結果を出せば、時間を節約したい開発者にとって貴重なパートナーになるかもしれません。

基準を確立するために、私は4つの異なるテストを使用しました。これらは、簡単なコーディング課題から、WordPressのようなフレームワークに関する深い洞察を必要とするデバッグ演習まで多岐にわたります。それぞれのテストに飛び込み、Metaの新しいAIツールが他のツールと比べてどのように立ち位置かを比較してみましょう。

テスト1：WordPressプラグインの作成

WordPressプラグインの作成には、WordPressエコシステム内でのPHPを使用したウェブ開発が含まれます。また、UIデザインもある程度必要です。AIチャットボットがこれを成功させれば、ウェブ開発者の役に立つアシスタントになる可能性があります。

結果：

• Meta AI: 適切なインターフェースだが、機能面で失敗。
• Meta Code Llama: 完全な失敗。
• Google Gemini Advanced: 優れたインターフェースだが、機能面で失敗。
• ChatGPT: クリーンなインターフェースと機能的な出力。

ここでは視覚的な比較を示します： （注："/path-to-image/"を実際の画像ファイルのパスに置き換えてください。）

ChatGPTはより整ったインターフェースを提供し、「ランダム化」ボタンをより論理的に配置しました。しかし、実際にプラグインを実行する際、Meta AIはクラッシュし、恐ろしい「白い画面の死」を引き起こしました。

テスト2：文字列関数の書き換え

このテストでは、AIがユーティリティ関数を改善する能力を評価します。ここでの成功は、開発者にとって有用な支援の可能性を示唆し、失敗は改善の余地があることを意味します。

結果：

• Meta AI: 不正確な値の修正、複数桁の小数点数の扱いの悪さ、フォーマット問題により失敗。
• Meta Code Llama: 成功。
• Google Gemini Advanced: 失敗。
• ChatGPT: 成功。

Meta AIはこの一見簡単なタスクでつまずきましたが、Meta Code Llamaは輝きを放ち、その能力を示しました。ChatGPTも見事に実行しました。

テスト3：厄介なバグの発見

これはコードを書くことではなく、問題を診断することに関するテストです。成功するには、WordPress APIやコードベースの異なる部分間の相互作用に関する深い知識が必要です。

結果：

• Meta AI: 問題を特定し、効率を高める調整を提案し、圧倒的な成功を収めました。
• Meta Code Llama: 失敗。
• Google Gemini Advanced: 失敗。
• ChatGPT: 成功。

驚くべきことに、以前の苦戦にもかかわらず、Meta AIはここで優れ、その可能性を証明しましたが、応答の一貫性の欠如も浮き彫りにしました。

テスト4：スクリプトの作成

このテストでは、Keyboard MaestroやAppleScriptのような特殊なツールに関する知識を評価します。これらは比較的ニッチですが、プログラミングスキルの幅広い範囲を代表します。

結果：

• Meta AI: Keyboard Maestroからデータを取得できず失敗。
• Meta Code Llama: 同じく失敗。
• Google Gemini Advanced: 成功。
• ChatGPT: 成功。

GeminiとChatGPTはこれらのツールで熟練を示しましたが、Metaの提供物は不足していました。

全体の結果

6か月間のChatGPTを使用したコーディングプロジェクトの経験に基づいて、その信頼性に自信を持っています。他のモデルはまだその一貫性と効果に匹敵していません。Meta AIは一瞬の輝きを見せましたが、全体的なパフォーマンスには多くの改善の余地があります。

これらのツールを試したことがありますか？以下のコメントであなたの考えを共有してください！