メタAIは、コーディングテストでLlama、Gemini、およびChatGptと競合できません

AIツールはコードをどの程度よく書き込みますか？

過去1年ほどで、いくつかの大規模な言語モデルをペースで掲載して、基本的なプログラミングの課題にどれだけ効果的に取り組んでいるかを確認しました。これらのテストの背後にあるアイデアは簡単です。基本を処理できない場合、より複雑なタスクに役立つ可能性は低いでしょう。しかし、彼らがこれらの基本的な課題でうまくいけば、彼らは時間を節約しようとしている開発者にとって貴重な同盟国になるかもしれません。

ベースラインを確立するために、4つの異なるテストを使用しています。これらは、単純なコーディングの割り当てから、WordPressのようなフレームワークに対するより深い洞察を必要とするデバッグエクササイズにまで及びます。各テストに飛び込み、Metaの新しいAIツールが他の人とどのように積み重なるかを比較しましょう。

テスト1：WordPressプラグインを作成します

WordPressプラグインを作成するには、WordPressエコシステム内のPHPを使用したWeb開発が含まれます。また、いくつかのUI設計も必要です。 AIチャットボットがこれをやってのけることがある場合、Web開発者にとって有用なアシスタントとして機能する可能性があります。

結果：

• Meta AI ：適切なインターフェイスですが、機能に失敗しました。
• メタコードラマ：完全な障害。
• Google Gemini Advanced ：良好なインターフェイス、機能の失敗。
• ChatGpt ：クリーンインターフェイスと機能出力。

視覚的な比較は次のとおりです。 （注：「/path-to-image/」を画像ファイルへの実際のパスに置き換えます。）

ChatGptはよりきしむインターフェイスを提供し、「ランダム化」ボタンをより論理的に配置しました。しかし、実際にプラグインを実行すると、メタAIがクラッシュし、恐ろしい「死の白いスクリーン」を提示しました。

テスト2：文字列関数の書き換え

このテストでは、ユーティリティ関数を改善するAIの能力を評価します。ここでの成功は、開発者の潜在的な支援を示唆していますが、失敗は改善の余地を意味します。

結果：

• Meta AI ：誤った値の修正、多次元数の取り扱いが悪いため、およびフォーマットの問題により失敗しました。
• メタコードラマ：成功しました。
• Google Gemini Advanced ：失敗しました。
• ChatGpt ：成功しました。

メタAIはこの一見シンプルなタスクにつまずいたが、メタコードラマはなんとか輝き、その能力を披露した。 ChatGptも見事に機能しました。

テスト3：迷惑なバグを見つける

これはコードを書くことではなく、問題の診断に関するものです。成功には、WordPress APIの深い知識とコードベースのさまざまな部分間の相互作用が必要です。

結果：

• メタAI ：飛行色で合格し、問題を特定し、効率を向上させる調整を提案します。
• メタコードラマ：失敗しました。
• Google Gemini Advanced ：失敗しました。
• ChatGpt ：合格。

驚くべきことに、以前の闘争にもかかわらず、メタAIはここで優れており、その可能性を証明するだけでなく、その反応の矛盾を強調しています。

テスト4：スクリプトの作成

このテストでは、キーボードMaestroやApplescriptなどの特殊なツールの知識を評価します。どちらも比較的ニッチですが、プログラミングスキルの幅広いスペクトルを表しています。

結果：

• Meta AI ：キーボードMaestroからデータを取得できませんでした。
• メタコードラマ：同じ障害。
• Google Gemini Advanced ：成功しました。
• ChatGpt ：成功しました。

GeminiとChatGptはこれらのツールで習熟度を示しましたが、メタの提供は不足していました。

全体的な結果

CHATGPTをコーディングプロジェクトに使用した6か月の経験に基づいて、私はその信頼性に自信を持っています。他のモデルは、その一貫性と有効性にまだ一致していません。メタAIは輝きの閃光を示しましたが、その全体的なパフォーマンスは望まれます。

これらのツールを試しましたか？以下のコメントであなたの考えを共有してください！