Meta AI在編碼測試中未能與Llama，Gemini和Chatgpt競爭

AI工具編寫代碼的效果如何？

在過去的一年左右的時間裡，我將幾個大型語言模型通過他們的步伐進行了，以了解它們如何有效地應對基本的編程挑戰。這些測試背後的想法很簡單：如果他們無法處理基礎知識，那麼他們就不太可能對更複雜的任務有很大幫助。但是，如果他們在這些基本挑戰上表現出色，那麼對於希望節省時間的開發人員來說，他們可能只是成為寶貴的盟友。

為了建立基線，我一直在使用四個不同的測試。這些範圍從直接的編碼作業到需要更深入了解WordPress框架的調試練習。讓我們深入研究每個測試，並比較Meta的新AI工具如何與他人堆疊在一起。

測試1：編寫WordPress插件

創建WordPress插件涉及使用WordPress生態系統中使用PHP的Web開發。它還需要一些UI設計。如果AI聊天機器人可以實現這一目標，則可以作為Web開發人員的有用助手。

結果：

• 元AI ：足夠的接口，但功能失敗。
• 元代碼駱駝：完全失敗。
• Google Gemini高級：良好的界面，功能失敗。
• chatgpt ：清潔接口和功能輸出。

這是一個視覺比較： （注意：用圖像文件的實際路徑替換“/途徑/圖像/”。）

Chatgpt交付了一個整潔的界面，並更加邏輯地將“隨機化”按鈕定位。但是，在實際運行插件時，Meta AI墜毀，展示了可怕的“死亡屏幕”。

測試2：重寫字符串功能

該測試評估了AI提高效用功能的能力。這裡的成功表明了開發人員的潛在幫助，而失敗則意味著改進的空間。

結果：

• 元AI ：由於價值校正不正確，多任務數字的處理不良以及格式化問題而失敗。
• 元代碼駱駝：成功。
• Google Gemini高級：失敗。
• chatgpt ：成功。

儘管Meta AI偶然發現了這項看似簡單的任務，但Meta Code Llama設法發光，展示了其功能。 Chatgpt也表現出色。

測試3：找到一個煩人的錯誤

這與編寫代碼無關，而是關於診斷問題。成功需要深入了解WordPress API以及代碼庫不同部分之間的相互作用。

結果：

• META AI ：以鮮豔的色彩通過，確定了問題並提出提高效率的調整。
• 元代碼駱駝：失敗。
• Google Gemini高級：失敗。
• chatgpt ：通過。

令人驚訝的是，儘管梅塔（Meta AI）早些時候掙扎，但在這裡表現出色，證明了它的潛力，但也強調了其反應的不一致。

測試4：編寫腳本

該測試評估了鍵盤大師和AppleScript等專業工具的知識。兩者都是相對利基的，但代表了更廣泛的編程技能。

結果：

• META AI ：無法從鍵盤大師中檢索數據。
• 元代碼駱駝：相同的失敗。
• Google Gemini Advanced ：成功。
• chatgpt ：成功。

雙子座和Chatgpt證明了這些工具的熟練程度，而Meta的產品不足。

總體結果

根據我使用ChatGpt進行編碼項目的六個月經驗，我對其可靠性保持了信心。其他模型尚未符合其一致性和有效性。儘管Meta AI表現出了光彩的閃光，但其整體表現卻有很多不足之處。

您是否嘗試過這些工具？在下面的評論中分享您的想法！