Meta AI在編碼測試中未能與Llama,Gemini和Chatgpt競爭
AI工具如何撰寫程式碼?
過去一年左右,我測試了多個大型語言模型,檢視它們處理基本程式設計挑戰的成效。測試的理念很簡單:如果它們無法應對基礎挑戰,則不太可能在更複雜的任務中有所幫助。但如果它們在這些基礎挑戰中表現出色,則可能成為開發者節省時間的寶貴盟友。
為了建立基準,我使用了四項不同的測試。這些測試從簡單的程式設計任務到需要深入了解WordPress等框架的除錯練習。讓我們深入探討每個測試,並比較Meta的新AI工具與其他工具的表現。
測試1:撰寫WordPress插件
創建WordPress插件涉及在WordPress生態系統中使用PHP進行網頁開發,還需要一些UI設計。如果AI聊天機器人能做到這一點,它可能成為網頁開發者的得力助手。
結果:
- Meta AI:介面尚可,但功能失敗。
- Meta Code Llama:完全失敗。
- Google Gemini Advanced:介面良好,功能失敗。
- ChatGPT:介面乾淨且功能正常。
以下是視覺比較:
(注意:請將"/path-to-image/"替換為圖像檔案的實際路徑。)
ChatGPT提供了更整潔的介面,並將「隨機化」按鈕放置得更合理。然而,在實際運行插件時,Meta AI崩潰,出現了可怕的「白屏死機」。
測試2:重寫字串函數
此測試評估AI改進實用函數的能力。成功表示對開發者有潛在幫助,失敗則意味著有改進空間。
結果:
- Meta AI:因錯誤值修正、多位小數處理不佳及格式問題而失敗。
- Meta Code Llama:成功。
- Google Gemini Advanced:失敗。
- ChatGPT:成功。
雖然Meta AI在這個看似簡單的任務上失誤,但Meta Code Llama表現出色,展示了其能力。ChatGPT也表現優異。
測試3:尋找惱人錯誤
這不是關於撰寫程式碼,而是診斷問題。成功需要深入了解WordPress API以及程式碼不同部分之間的交互。
結果:
- Meta AI:表現出色,識別問題並提出提升效率的建議。
- Meta Code Llama:失敗。
- Google Gemini Advanced:失敗。
- ChatGPT:通過。
令人意外的是,儘管Meta AI之前表現不佳,但在此表現卓越,證明了其潛力,但也凸顯了其回應的不一致性。
測試4:撰寫腳本
此測試評估對Keyboard Maestro和AppleScript等專業工具的知識。這兩個工具相對小眾,但代表了更廣泛的程式設計技能。
結果:
- Meta AI:無法從Keyboard Maestro檢索資料。
- Meta Code Llama:同樣失敗。
- Google Gemini Advanced:成功。
- ChatGPT:成功。
Gemini和ChatGPT展現了對這些工具的熟練掌握,而Meta的產品則表現不足。
總體結果
模型 成功率 Meta AI 1/4 Meta Code Llama 1/4 Google Gemini 1/4 ChatGPT 4/4
根據我六個月使用ChatGPT進行程式設計項目的經驗,我對其可靠性仍充滿信心。其他模型尚未能匹敵其一致性和有效性。雖然Meta AI偶有亮眼表現,但整體表現仍有很大改進空間。
你有沒有試過這些工具?請在下方評論中分享你的想法!
相關文章
蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護
彭博社的馬克·古爾曼報道,蘋果智慧眼鏡(內部代號 N50)計劃於 2027 年 6 月的全球開發者大會(WWDC27)上首次亮相,零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布,但現已推遲,以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓,蘋果正在實施強有力的功能與政策。目前考慮的方案包括:完全移除攝像頭,專注於人工智慧互動、音訊播放和通話;或保留攝像頭但禁用照片和影片錄製功能,僅
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
相關專題推薦
評論 (6)
0/500
Interesting test! I've been using ChatGPT for coding help and it's been decent, but honestly I'm more curious about the open-source alternatives like Llama. Meta's AI being behind isn't a huge shock, but it makes you wonder if they're focusing on different strengths. Maybe coding isn't their main goal? 🤔 Still, competition is good for us users!
Meta AI 코딩 테스트 결과는 참 실망스럽네요 😅 다른 경쟁사들보다 확실히 뒤처지는 모습인데... 그래도 아직 초기 단계니까 차차 나아지지 않을까요? 물론 빠르게 따라잡아야 하지만 말이죠!
¡Qué decepción con Meta AI! No me esperaba que fallara tan estrepitosamente en las pruebas de programación. Si no puede con lo básico, ¿cómo va a competir con los grandes como Gemini o ChatGPT? 🤔
Meta AI's coding skills are lagging behind? Ouch, that’s a rough one! 😅 Llama and Gemini are eating its lunch. Maybe it’s time for Meta to rethink their AI game plan.
Meta AI's coding skills seem underwhelming compared to Llama and others. 😕 I was hoping for a stronger contender in the AI coding space, but it looks like they’ve got some catching up to do. Anyone else tried using it for coding yet?
AI工具如何撰寫程式碼?
過去一年左右,我測試了多個大型語言模型,檢視它們處理基本程式設計挑戰的成效。測試的理念很簡單:如果它們無法應對基礎挑戰,則不太可能在更複雜的任務中有所幫助。但如果它們在這些基礎挑戰中表現出色,則可能成為開發者節省時間的寶貴盟友。
為了建立基準,我使用了四項不同的測試。這些測試從簡單的程式設計任務到需要深入了解WordPress等框架的除錯練習。讓我們深入探討每個測試,並比較Meta的新AI工具與其他工具的表現。
測試1:撰寫WordPress插件
創建WordPress插件涉及在WordPress生態系統中使用PHP進行網頁開發,還需要一些UI設計。如果AI聊天機器人能做到這一點,它可能成為網頁開發者的得力助手。
結果:
- Meta AI:介面尚可,但功能失敗。
- Meta Code Llama:完全失敗。
- Google Gemini Advanced:介面良好,功能失敗。
- ChatGPT:介面乾淨且功能正常。
以下是視覺比較:
(注意:請將"/path-to-image/"替換為圖像檔案的實際路徑。)
ChatGPT提供了更整潔的介面,並將「隨機化」按鈕放置得更合理。然而,在實際運行插件時,Meta AI崩潰,出現了可怕的「白屏死機」。
測試2:重寫字串函數
此測試評估AI改進實用函數的能力。成功表示對開發者有潛在幫助,失敗則意味著有改進空間。
結果:
- Meta AI:因錯誤值修正、多位小數處理不佳及格式問題而失敗。
- Meta Code Llama:成功。
- Google Gemini Advanced:失敗。
- ChatGPT:成功。
雖然Meta AI在這個看似簡單的任務上失誤,但Meta Code Llama表現出色,展示了其能力。ChatGPT也表現優異。
測試3:尋找惱人錯誤
這不是關於撰寫程式碼,而是診斷問題。成功需要深入了解WordPress API以及程式碼不同部分之間的交互。
結果:
- Meta AI:表現出色,識別問題並提出提升效率的建議。
- Meta Code Llama:失敗。
- Google Gemini Advanced:失敗。
- ChatGPT:通過。
令人意外的是,儘管Meta AI之前表現不佳,但在此表現卓越,證明了其潛力,但也凸顯了其回應的不一致性。
測試4:撰寫腳本
此測試評估對Keyboard Maestro和AppleScript等專業工具的知識。這兩個工具相對小眾,但代表了更廣泛的程式設計技能。
結果:
- Meta AI:無法從Keyboard Maestro檢索資料。
- Meta Code Llama:同樣失敗。
- Google Gemini Advanced:成功。
- ChatGPT:成功。
Gemini和ChatGPT展現了對這些工具的熟練掌握,而Meta的產品則表現不足。
總體結果
| 模型 | 成功率 |
|---|---|
| Meta AI | 1/4 |
| Meta Code Llama | 1/4 |
| Google Gemini | 1/4 |
| ChatGPT | 4/4 |
根據我六個月使用ChatGPT進行程式設計項目的經驗,我對其可靠性仍充滿信心。其他模型尚未能匹敵其一致性和有效性。雖然Meta AI偶有亮眼表現,但整體表現仍有很大改進空間。
你有沒有試過這些工具?請在下方評論中分享你的想法!
蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護
彭博社的馬克·古爾曼報道,蘋果智慧眼鏡(內部代號 N50)計劃於 2027 年 6 月的全球開發者大會(WWDC27)上首次亮相,零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布,但現已推遲,以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓,蘋果正在實施強有力的功能與政策。目前考慮的方案包括:完全移除攝像頭,專注於人工智慧互動、音訊播放和通話;或保留攝像頭但禁用照片和影片錄製功能,僅
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
Interesting test! I've been using ChatGPT for coding help and it's been decent, but honestly I'm more curious about the open-source alternatives like Llama. Meta's AI being behind isn't a huge shock, but it makes you wonder if they're focusing on different strengths. Maybe coding isn't their main goal? 🤔 Still, competition is good for us users!
Meta AI 코딩 테스트 결과는 참 실망스럽네요 😅 다른 경쟁사들보다 확실히 뒤처지는 모습인데... 그래도 아직 초기 단계니까 차차 나아지지 않을까요? 물론 빠르게 따라잡아야 하지만 말이죠!
¡Qué decepción con Meta AI! No me esperaba que fallara tan estrepitosamente en las pruebas de programación. Si no puede con lo básico, ¿cómo va a competir con los grandes como Gemini o ChatGPT? 🤔
Meta AI's coding skills are lagging behind? Ouch, that’s a rough one! 😅 Llama and Gemini are eating its lunch. Maybe it’s time for Meta to rethink their AI game plan.
Meta AI's coding skills seem underwhelming compared to Llama and others. 😕 I was hoping for a stronger contender in the AI coding space, but it looks like they’ve got some catching up to do. Anyone else tried using it for coding yet?





首頁






