Meta AI在編碼測試中未能與Llama，Gemini和Chatgpt競爭

AI工具如何撰寫程式碼？

過去一年左右，我測試了多個大型語言模型，檢視它們處理基本程式設計挑戰的成效。測試的理念很簡單：如果它們無法應對基礎挑戰，則不太可能在更複雜的任務中有所幫助。但如果它們在這些基礎挑戰中表現出色，則可能成為開發者節省時間的寶貴盟友。

為了建立基準，我使用了四項不同的測試。這些測試從簡單的程式設計任務到需要深入了解WordPress等框架的除錯練習。讓我們深入探討每個測試，並比較Meta的新AI工具與其他工具的表現。

測試1：撰寫WordPress插件

創建WordPress插件涉及在WordPress生態系統中使用PHP進行網頁開發，還需要一些UI設計。如果AI聊天機器人能做到這一點，它可能成為網頁開發者的得力助手。

結果：

• Meta AI：介面尚可，但功能失敗。
• Meta Code Llama：完全失敗。
• Google Gemini Advanced：介面良好，功能失敗。
• ChatGPT：介面乾淨且功能正常。

以下是視覺比較： (注意：請將"/path-to-image/"替換為圖像檔案的實際路徑。)

ChatGPT提供了更整潔的介面，並將「隨機化」按鈕放置得更合理。然而，在實際運行插件時，Meta AI崩潰，出現了可怕的「白屏死機」。

測試2：重寫字串函數

此測試評估AI改進實用函數的能力。成功表示對開發者有潛在幫助，失敗則意味著有改進空間。

結果：

• Meta AI：因錯誤值修正、多位小數處理不佳及格式問題而失敗。
• Meta Code Llama：成功。
• Google Gemini Advanced：失敗。
• ChatGPT：成功。

雖然Meta AI在這個看似簡單的任務上失誤，但Meta Code Llama表現出色，展示了其能力。ChatGPT也表現優異。

測試3：尋找惱人錯誤

這不是關於撰寫程式碼，而是診斷問題。成功需要深入了解WordPress API以及程式碼不同部分之間的交互。

結果：

• Meta AI：表現出色，識別問題並提出提升效率的建議。
• Meta Code Llama：失敗。
• Google Gemini Advanced：失敗。
• ChatGPT：通過。

令人意外的是，儘管Meta AI之前表現不佳，但在此表現卓越，證明了其潛力，但也凸顯了其回應的不一致性。

測試4：撰寫腳本

此測試評估對Keyboard Maestro和AppleScript等專業工具的知識。這兩個工具相對小眾，但代表了更廣泛的程式設計技能。

結果：

• Meta AI：無法從Keyboard Maestro檢索資料。
• Meta Code Llama：同樣失敗。
• Google Gemini Advanced：成功。
• ChatGPT：成功。

Gemini和ChatGPT展現了對這些工具的熟練掌握，而Meta的產品則表現不足。

總體結果

根據我六個月使用ChatGPT進行程式設計項目的經驗，我對其可靠性仍充滿信心。其他模型尚未能匹敵其一致性和有效性。雖然Meta AI偶有亮眼表現，但整體表現仍有很大改進空間。

你有沒有試過這些工具？請在下方評論中分享你的想法！