首頁Github Copilot的AI測試：混合編碼成功使我感到困惑
探索 AI 編碼工具的不一致性
令人困惑的是，所有基於同一基礎大型語言模型的 AI 工具，為何表現結果如此不同。例如，ChatGPT、Perplexity 和 GitHub Copilot 皆使用 OpenAI 的 GPT-4 模型。然而，我最近的測試顯示出顯著的性能差異：ChatGPT 和 Perplexity 的專業計劃表現出色，而 GitHub Copilot 的成功率僅為 50%。
我使用整合於 VS Code 環境中的 GitHub Copilot 進行了這些測試。我將在即將推出的文章中分享設置的詳細指南。現在，讓我們深入探討我所進行的測試細節。
如果你對我的測試方法和使用的提示語感到好奇，可以查看我關於評估 AI 聊天機器人編碼能力的詳細指南。
TL;DR： GitHub Copilot 在我進行的四項測試中通過了兩項。
測試 1：撰寫 WordPress 插件
這項測試完全令人失望。這是我的初步實驗，讓我不確定 GitHub Copilot 是否在編碼上存在問題，還是 VS Code 內的交互限制影響了其能力。
背景如下：我要求 AI 開發一個功能完整的 WordPress 插件，包含管理界面和操作邏輯。插件的任務是接受一組名稱列表，對其進行排序，並分離任何重複項以避免相鄰。
這項任務源自我妻子數位商品電子商務業務的實際需求，她管理一個活躍的 Facebook 社群。
在測試的十個 AI 模型中，五個完全通過了這項測試，三個部分通過，兩個（包括 Microsoft Copilot）完全失敗。儘管給予了相同的提示語，GitHub Copilot 僅生成了 PHP 代碼。雖然問題確實可以用 PHP 獨立解決，但 GitHub Copilot 試圖引用 JavaScript 卻未實際生成。
David Gewirtz/ZDNET 截圖 當我嘗試從 JavaScript 文件中提示 GitHub Copilot 完成任務時，它居然回應了更多 PHP 代碼，仍然引用了一個不存在的 JavaScript 文件。
David Gewirtz/ZDNET 截圖 測試 2：重寫字串函數
這項測試相對簡單：我提供了一個用於驗證美元和美分的函數，但僅檢查整數美元。挑戰在於讓 AI 修正該函數。
GitHub Copilot 確實修改了代碼，但結果有問題。它假設任何輸入字串都是有效的，若字串為空則會導致錯誤。此外，更新後的正則表達式無法處理各種邊緣情況，例如 "3."、".3" 或 "00.30" 等輸入。對於一個用於驗證貨幣的函數來說，這種疏忽是不可接受的，GitHub Copilot 再次失敗。
測試 3：尋找惱人的錯誤
在這項測試中，GitHub Copilot 表現出色。這項測試基於我遇到的真實編碼挑戰，錯誤訊息並未直接指向實際問題。這有點像編碼謎題，需要深入理解 WordPress API 調用才能解決。
Microsoft Copilot、Gemini 和 Meta Code Llama 在這項測試中表現不佳，但 GitHub Copilot 完美解決，展示了其處理複雜真實世界問題的能力。
測試 4：撰寫腳本
GitHub Copilot 在這項測試中也成功了，而 Microsoft Copilot 則表現不佳。該任務涉及創建一個需要整合 AppleScript、Chrome 對象模型和 Mac 專用工具 Keyboard Maestro 的腳本。
要通過測試，AI 需要識別並處理這三個環境的細微差別，GitHub Copilot 做到了這一點。
最終想法
看到使用先進 GPT-4 模型的 GitHub Copilot 在一半的測試中失敗，令人失望。鑑於 GitHub 作為領先的源碼管理平台的地位，人們會期望其 AI 編碼支持更為可靠。
然而，AI 世界不斷演進，我樂觀地認為 GitHub Copilot 的表現將隨時間改善。我們將在幾個月後重新審視其進展。
你是否依賴 AI 進行編碼協助？你最常用的 AI 工具是哪個？你有沒有試過 GitHub Copilot？請在下方評論中分享你的經驗。
在社交媒體上關注我的每日項目進展。別忘了訂閱我的每週電子報，並在 Twitter/X 上關注我 @DavidGewirtz，在 Facebook 上關注 Facebook.com/DavidGewirtz，在 Instagram 上關注 Instagram.com/DavidGewirtz，在 Bluesky 上關注 @DavidGewirtz.com，以及在 YouTube 上關注 YouTube.com/DavidGewirtzTV。
相關文章
蘋果智慧眼鏡或將在WWDC27上首次亮相，重點突出隱私保護
彭博社的馬克·古爾曼報道，蘋果智慧眼鏡（內部代號 N50）計劃於 2027 年 6 月的全球開發者大會（WWDC27）上首次亮相，零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布，但現已推遲，以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓，蘋果正在實施強有力的功能與政策。目前考慮的方案包括：完全移除攝像頭，專注於人工智慧互動、音訊播放和通話；或保留攝像頭但禁用照片和影片錄製功能，僅
內部細節曝光：下一代 Gemini 算力緊張，內部團隊在開發優先順序和資源分配上存在分歧
報告顯示，谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧，加上計算能力有限以及複雜的審批流程，導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片，但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭，谷歌仍面臨計算資源短缺的問題。目前，高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時，領導層也發生了變化，聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中，並倡導將資源專門用於
OpenAI 否認增長放緩擔憂，稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑，人工智慧領域的領軍企業 OpenAI 於 4 月 28 日（星期二）發表了一份信心十足的宣告。該公司澄清稱，其消費產品和企業服務正在快速推進，直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法，OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求，並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露，公司內部情緒依然樂觀。儘管市場競爭日益激烈，但公司正在向投資者傳遞信心，聲稱其商業
相關專題推薦
數據分析
用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
音樂創作
最佳用於歌曲草稿的 AI 旋律創作工具
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
聊天機器人
最適合面試練習的 AI 對話訓練工具
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
設計與藝術
最適合進行創意實驗的 AI 風格轉移工具
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
漫畫創作
最適合視覺敘事的 AI 對話氣泡工具
2026 年最新、最受好評的視覺敘事 AI 對話氣泡工具，現已登陸 XIX.AI！這份精心挑選的合集收錄了強大且具顛覆性的工具，能協助創作者提升生產力並突破創作瓶頸。 查看免費版與付費版的比較、參考實際測試結果，並查閱最新排行榜，找出最適合打造引人入勝視覺敘事的必試解決方案。立即探索，發掘您的理想工具！
10 個工具
xix.ai
會議助理
頂尖 AI 會議摘要工具：清晰追蹤決策與後續行動
2026 年最新高評價最佳 AI 會議摘要工具，助您清晰追蹤決策並輕鬆進行後續跟進。這份精選清單展示了一系列強大且具顛覆性的解決方案，透過自動化會議記錄、識別關鍵行動項目，以及簡化所有專案的團隊協作，大幅提升生產力。 獲取免費版與付費版的比較分析，搭配實際測試報告及每週更新的排行榜，助您找到最合適的工具。立即探索，釋放您的 AI 優勢！
9 個工具
xix.ai
評論 (41)
0/500
![GregoryWilson]()
GitHub Copilotのテスト結果、正直謎すぎますね。同じGPT-4ベースなのに、ツールによって精度がこんなに違うのは不思議です。ChatGPTやPerplexityとはまた別の挙動を示すので、使い分けが重要になりそうです。AIの限界を実感しました🤔
![HarryMartinez]()
Honestly, this doesn't surprise me. Even with the same underlying model, the way each tool fine-tunes prompts and handles context makes a huge difference. Copilot's mixed results probably come from its integration with IDE specifics. Still, it's baffling why the same model can give such inconsistent outputs for similar tasks. 🤔
![EricAllen]()
Ich hab's auch ausprobiert und finde es echt seltsam, dass die Ergebnisse so unterschiedlich sind, obwohl die Basis ähnlich ist. Manchmal schreibt Copilot super Code, manchmal totalen Unsinn. Vielleicht liegt's an der Integration in die IDE? 🤔 Auf jeden Fall muss da noch viel verbessert werden, bevor ich mich voll darauf verlassen kann.
![ArthurJackson]()
Интересно, почему ИИ-инструменты на одной базовой модели GPT-4 работают так по-разному? GitHub Copilot иногда генерирует код, который выглядит логично, но потом выдает полную ерунду 😅 Может, дело в тонкой настройке или контексте? Это напоминает мне капризного коллегу-программиста, который то гений, то беспомощен.
![LarryMartin]()
이 기사 읽어보니 AI 코딩 도구의 편차가 정말 신기하네요. 같은 기술인데 결과가 이렇게 다를 수 있다니... 개발자로 일하면서 Copilot이 가끔 완벽한 코드를 써주다가도 갑자기 엉뚱한 걸 제안해서 당황했던 적이 많아요. 🤔 앞으로 AI 도구들이 더 안정화되길 바랍니다!
![PaulRoberts]()
Acho frustrante que ferramentas como Copilot e ChatGPT usem o mesmo modelo base mas tenham performances tão diferentes. Isso me faz questionar se a implementação é realmente bem feita ou se só estão colocando um nome famoso pra vender mais. 🤔
探索 AI 編碼工具的不一致性
令人困惑的是，所有基於同一基礎大型語言模型的 AI 工具，為何表現結果如此不同。例如，ChatGPT、Perplexity 和 GitHub Copilot 皆使用 OpenAI 的 GPT-4 模型。然而，我最近的測試顯示出顯著的性能差異：ChatGPT 和 Perplexity 的專業計劃表現出色，而 GitHub Copilot 的成功率僅為 50%。
我使用整合於 VS Code 環境中的 GitHub Copilot 進行了這些測試。我將在即將推出的文章中分享設置的詳細指南。現在，讓我們深入探討我所進行的測試細節。
如果你對我的測試方法和使用的提示語感到好奇，可以查看我關於評估 AI 聊天機器人編碼能力的詳細指南。
TL;DR： GitHub Copilot 在我進行的四項測試中通過了兩項。
測試 1：撰寫 WordPress 插件
這項測試完全令人失望。這是我的初步實驗，讓我不確定 GitHub Copilot 是否在編碼上存在問題，還是 VS Code 內的交互限制影響了其能力。
背景如下：我要求 AI 開發一個功能完整的 WordPress 插件，包含管理界面和操作邏輯。插件的任務是接受一組名稱列表，對其進行排序，並分離任何重複項以避免相鄰。
這項任務源自我妻子數位商品電子商務業務的實際需求，她管理一個活躍的 Facebook 社群。
在測試的十個 AI 模型中，五個完全通過了這項測試，三個部分通過，兩個（包括 Microsoft Copilot）完全失敗。儘管給予了相同的提示語，GitHub Copilot 僅生成了 PHP 代碼。雖然問題確實可以用 PHP 獨立解決，但 GitHub Copilot 試圖引用 JavaScript 卻未實際生成。
當我嘗試從 JavaScript 文件中提示 GitHub Copilot 完成任務時，它居然回應了更多 PHP 代碼，仍然引用了一個不存在的 JavaScript 文件。
測試 2：重寫字串函數
這項測試相對簡單：我提供了一個用於驗證美元和美分的函數，但僅檢查整數美元。挑戰在於讓 AI 修正該函數。
GitHub Copilot 確實修改了代碼，但結果有問題。它假設任何輸入字串都是有效的，若字串為空則會導致錯誤。此外，更新後的正則表達式無法處理各種邊緣情況，例如 "3."、".3" 或 "00.30" 等輸入。對於一個用於驗證貨幣的函數來說，這種疏忽是不可接受的，GitHub Copilot 再次失敗。
測試 3：尋找惱人的錯誤
在這項測試中，GitHub Copilot 表現出色。這項測試基於我遇到的真實編碼挑戰，錯誤訊息並未直接指向實際問題。這有點像編碼謎題，需要深入理解 WordPress API 調用才能解決。
Microsoft Copilot、Gemini 和 Meta Code Llama 在這項測試中表現不佳，但 GitHub Copilot 完美解決，展示了其處理複雜真實世界問題的能力。
測試 4：撰寫腳本
GitHub Copilot 在這項測試中也成功了，而 Microsoft Copilot 則表現不佳。該任務涉及創建一個需要整合 AppleScript、Chrome 對象模型和 Mac 專用工具 Keyboard Maestro 的腳本。
要通過測試，AI 需要識別並處理這三個環境的細微差別，GitHub Copilot 做到了這一點。
最終想法
看到使用先進 GPT-4 模型的 GitHub Copilot 在一半的測試中失敗，令人失望。鑑於 GitHub 作為領先的源碼管理平台的地位，人們會期望其 AI 編碼支持更為可靠。
然而，AI 世界不斷演進，我樂觀地認為 GitHub Copilot 的表現將隨時間改善。我們將在幾個月後重新審視其進展。
你是否依賴 AI 進行編碼協助？你最常用的 AI 工具是哪個？你有沒有試過 GitHub Copilot？請在下方評論中分享你的經驗。
在社交媒體上關注我的每日項目進展。別忘了訂閱我的每週電子報，並在 Twitter/X 上關注我 @DavidGewirtz，在 Facebook 上關注 Facebook.com/DavidGewirtz，在 Instagram 上關注 Instagram.com/DavidGewirtz，在 Bluesky 上關注 @DavidGewirtz.com，以及在 YouTube 上關注 YouTube.com/DavidGewirtzTV。
蘋果智慧眼鏡或將在WWDC27上首次亮相，重點突出隱私保護
彭博社的馬克·古爾曼報道，蘋果智慧眼鏡（內部代號 N50）計劃於 2027 年 6 月的全球開發者大會（WWDC27）上首次亮相，零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布，但現已推遲，以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓，蘋果正在實施強有力的功能與政策。目前考慮的方案包括：完全移除攝像頭，專注於人工智慧互動、音訊播放和通話；或保留攝像頭但禁用照片和影片錄製功能，僅
內部細節曝光：下一代 Gemini 算力緊張，內部團隊在開發優先順序和資源分配上存在分歧
報告顯示，谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧，加上計算能力有限以及複雜的審批流程，導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片，但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭，谷歌仍面臨計算資源短缺的問題。目前，高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時，領導層也發生了變化，聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中，並倡導將資源專門用於
OpenAI 否認增長放緩擔憂，稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑，人工智慧領域的領軍企業 OpenAI 於 4 月 28 日（星期二）發表了一份信心十足的宣告。該公司澄清稱，其消費產品和企業服務正在快速推進，直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法，OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求，並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露，公司內部情緒依然樂觀。儘管市場競爭日益激烈，但公司正在向投資者傳遞信心，聲稱其商業
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
2026 年最新、最受好評的視覺敘事 AI 對話氣泡工具，現已登陸 XIX.AI！這份精心挑選的合集收錄了強大且具顛覆性的工具，能協助創作者提升生產力並突破創作瓶頸。 查看免費版與付費版的比較、參考實際測試結果，並查閱最新排行榜，找出最適合打造引人入勝視覺敘事的必試解決方案。立即探索，發掘您的理想工具！
10 個工具
xix.ai
2026 年最新高評價最佳 AI 會議摘要工具，助您清晰追蹤決策並輕鬆進行後續跟進。這份精選清單展示了一系列強大且具顛覆性的解決方案，透過自動化會議記錄、識別關鍵行動項目，以及簡化所有專案的團隊協作，大幅提升生產力。 獲取免費版與付費版的比較分析，搭配實際測試報告及每週更新的排行榜，助您找到最合適的工具。立即探索，釋放您的 AI 優勢！
9 個工具
xix.ai
GitHub Copilotのテスト結果、正直謎すぎますね。同じGPT-4ベースなのに、ツールによって精度がこんなに違うのは不思議です。ChatGPTやPerplexityとはまた別の挙動を示すので、使い分けが重要になりそうです。AIの限界を実感しました🤔
Honestly, this doesn't surprise me. Even with the same underlying model, the way each tool fine-tunes prompts and handles context makes a huge difference. Copilot's mixed results probably come from its integration with IDE specifics. Still, it's baffling why the same model can give such inconsistent outputs for similar tasks. 🤔
Ich hab's auch ausprobiert und finde es echt seltsam, dass die Ergebnisse so unterschiedlich sind, obwohl die Basis ähnlich ist. Manchmal schreibt Copilot super Code, manchmal totalen Unsinn. Vielleicht liegt's an der Integration in die IDE? 🤔 Auf jeden Fall muss da noch viel verbessert werden, bevor ich mich voll darauf verlassen kann.
Интересно, почему ИИ-инструменты на одной базовой модели GPT-4 работают так по-разному? GitHub Copilot иногда генерирует код, который выглядит логично, но потом выдает полную ерунду 😅 Может, дело в тонкой настройке или контексте? Это напоминает мне капризного коллегу-программиста, который то гений, то беспомощен.
이 기사 읽어보니 AI 코딩 도구의 편차가 정말 신기하네요. 같은 기술인데 결과가 이렇게 다를 수 있다니... 개발자로 일하면서 Copilot이 가끔 완벽한 코드를 써주다가도 갑자기 엉뚱한 걸 제안해서 당황했던 적이 많아요. 🤔 앞으로 AI 도구들이 더 안정화되길 바랍니다!
Acho frustrante que ferramentas como Copilot e ChatGPT usem o mesmo modelo base mas tenham performances tão diferentes. Isso me faz questionar se a implementação é realmente bem feita ou se só estão colocando um nome famoso pra vender mais. 🤔
