家Microsoft Study Reveals AI Models' Limitations in Software Debugging
OpenAI、Anthropic、その他の主要AIラボのAIモデルは、コーディングタスクにますます活用されています。GoogleのCEOであるSundar Pichaiは10月に、AIが同社の新しいコードの25%を生成していると述べ、MetaのCEOであるMark Zuckerbergは、ソーシャルメディア大手内でAIコーディングツールを広く導入することを目指しています。
しかし、最高性能のモデルでさえ、経験豊富な開発者が容易に処理できるソフトウェアのバグ修正に苦戦しています。
MicrosoftのR&D部門が実施した最近のMicrosoft Researchの研究では、AnthropicのClaude 3.7 SonnetやOpenAIのo3-miniなどのモデルが、SWE-bench Liteソフトウェア開発ベンチマークの多くの問題を解決するのに苦労していることが示されています。この結果は、OpenAIなどの企業からの大胆な主張にもかかわらず、AIはコーディングなどの分野でまだ人間の専門知識に及ばないことを強調しています。
研究者は、Pythonデバッガを含むデバッグツールを備えた「シングルプロンプトベースのエージェント」の基盤として9つのモデルをテストしました。このエージェントは、SWE-bench Liteから選ばれた300のソフトウェアデバッグ課題に取り組む任務を負いました。
結果は、高度なモデルを使用しても、エージェントがタスクの半分以上を成功裏に解決することはほとんどありませんでした。Claude 3.7 Sonnetが48.4%の成功率でトップに立ち、OpenAIのo1が30.2%、o3-miniが22.1%でした。
デバッグツールによるモデルのパフォーマンス向上を示す研究のチャート。画像提供：Microsoft この平凡な結果の原因は何でしょうか？一部のモデルは、利用可能なデバッグツールを効果的に使用したり、特定の問題に適したツールを特定したりするのに苦労しました。研究者によると、主な問題は、特に「連続的な意思決定プロセス」を捉えたデータ、例えば人間のデバッグトレースのような十分なトレーニングデータの不足でした。
「これらのモデルをトレーニングまたは微調整することで、デバッグ能力を向上させることができると信じています」と研究者は書いています。「しかし、これには、エージェントがデバッガと対話して情報を収集し、修正を提案する前に軌跡データを取得するような特殊なデータが必要です。」
TechCrunch Sessions: AIに参加
OpenAI、Anthropic、Cohereのスピーカーが参加する当社の主要なAI業界イベントで席を確保してください。期間限定で、チケットは専門家の講演、ワークショップ、ネットワーキングの機会が1日中楽しめるわずか292ドルです。
TechCrunch Sessions: AIで展示
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約してください。展示の機会は5月9日まで、またはテーブルがすべて予約されるまで利用可能です。
この結果は驚くべきことではありません。多くの研究が、AIが生成したコードは、プログラミングロジックの理解の弱さからセキュリティの欠陥やエラーを引き起こすことが多いことを示しています。最近のテストでは、よく知られたAIコーディングツールであるDevinが、20のプログラミングタスクのうち3つしか完了できませんでした。
Microsoftの研究は、AIモデルが直面するこの継続的な課題について最も詳細な調査の1つを提供しています。AIを活用したコーディングツールへの投資家の関心を抑えることはないかもしれませんが、開発者やそのリーダーに、コーディングタスクにAIに大きく依存することを再考させる可能性があります。
注目すべきは、複数のテックリーダーが、AIがコーディングの仕事をなくすという考えに反論していることです。Microsoftの共同創業者Bill Gates、ReplitのCEOであるAmjad Masad、OktaのCEOであるTodd McKinnon、IBMのCEOであるArvind Krishnaは、プログラミングという職業が存続すると確信を表明しています。
関連記事
クアルコムの「Snapdragon」が、サムスンの生成AIエコシステムを支える
左から：Galaxy Z Flip8、Galaxy Z Fold8、Galaxy Z Fold8 Ultra。写真提供：サムスンクアルコムのクリスティアーノ・アモン氏は、サムスンとの提携により、新型Galaxyスマートフォン、スマートウォッチ、スマートグラス全体で、自然かつ状況に応じたAIを実現できると述べているスマートアイウェアを装着して、外国の街を歩いているところを想像してみてください。レスト
アリババ、エージェントを軸にAIチップを設計し、競争の構図を変える
アリババは、インテリジェントエージェント向けの専用AIプロセッサを発表し、これに伴い、複数年にわたる半導体ロードマップと新しい大規模言語モデルも公開した。これは、単に米国の輸出規制に対応するだけでなく、統合されたAIスタックを構築するという同社の戦略を示すものである。ロイター通信によると、アリババの半導体子会社であるT-Headは、Zhenwu M890が前世代モデルであるZhenwu 810Eの
米国の保健当局がOpenAIおよびAnthropicのAIモデルを評価
全国の公衆衛生機関は、「Coalition for Health AI」が主導し、OpenAI、Anthropic、アクセンチュアと提携して実施される新たな取り組みを通じて、生成AIの評価を行う予定だ。「公衆衛生ユースケースおよび学習スケーリング・エンジン（PULSE）」は、10の州、地方自治体、部族、および準州の管轄区域にわたる実証実験に資金を提供する。このイニシアチブは、同様のAI導入を検討し
関連特集おすすめ
動画作成
SaaS製品マーケティング向けAIデモ動画作成ツール
XIX.AIが厳選した、SaaS製品マーケティング向けの2026年最新・最高評価のAIデモ動画ツール。これらの画期的なソリューションは、マーケターが高品質な動画コンテンツを迅速に作成し、ライティングの効率を高め、マーケティングワークフローを効率化するのに役立ちます。 無料版と有料版の比較に加え、実地テストの結果や毎週更新されるランキングもぜひご覧ください。今すぐチェックして、SaaSの売上を伸ばすのに最適なツールを見つけましょう！
9 ツール
xix.ai
プロンプト
出力品質を向上させるためのAIプロンプトテストツール
2026年最新版・最高評価のAIプロンプトテストツールで、出力品質を向上させよう！XIX.AIは、実世界での厳格なテストを経て一貫してトップクラスの成果を保証する、強力かつ画期的な高効率ツールコレクションを厳選しました。無料版と有料版の詳細な比較分析、包括的なランキング、そしてワークフローを大幅に強化する必須ソリューションを見極めるための専門家のアドバイスをご覧いただけます。今すぐ探索して、あなたのAIでの優位性を解き放ちましょう！
11 ツール
xix.ai
仕事
製品ポジショニングのためのAI顧客洞察ツール
2026年最新かつ最も優れた、製品ポジショニングに役立つ高評価AI顧客洞察ツールがここに！XIX.AIは、実際の環境でのテストを経て週単位でランキングが更新される、強力で革新的なツール群を厳選しています。このツール群を活用すれば、顧客のニーズを迅速に把握し、執筆効率を向上させたり、最適なSEOコンテンツを作成したり、時間を無駄にすることなく完璧なソーシャルメディア投稿を作成したりできます。今すぐチェックして、あなたに最適なツールを見つけ、AIを活用した競争優位性を手に入れましょう。
10 ツール
xix.ai
ミーティングアシスタント
クライアントとの打ち合わせ、社内打ち合わせ、意思決定の追跡に役立つZoom AIノートテイカー
2026年版：性能と使いやすさでランク付けされた、最新のZoom向けAIノート作成ツールベストセレクション。XIX.AIは、クライアントとの通話中に正確なメモを取り、チーム内の情報共有を効率化し、重要な決定事項を手間なく管理するのに役立つ、高評価の強力なツールを厳選しました。 無料版と有料版の比較や実地テストの結果も併せて確認し、生産性を大幅に向上させる「必見」のソリューションを見つけましょう。今すぐチェック！
12 ツール
xix.ai
データ分析
AIを活用したスプレッドシート分析ツール：質問するだけで、即座にグラフが表示される
2026年最新の、高評価を誇るAIスプレッドシート分析ツールがXIX.AIに登場！この厳選リストには、スプレッドシート上で直接質問を入力するだけで、瞬時に正確なグラフを取得できる、強力で画期的なソリューションが揃っており、生産性を大幅に向上させます。 実環境でのテストを実施し、無料版と有料版の比較や毎週更新されるランキングを提供することで、データ処理業務を効率化する最適なツールを見つけるお手伝いをします。今すぐチェックして、AIの力を最大限に活用しましょう！
19 ツール
xix.ai
デザイン
プロダクトデザイナー向けAIワイヤーフレームツール
2026年版 プロダクトデザイナー必見！最新・最高評価のAIワイヤーフレームツール！XIX.AIは、厳格な実地テストを経て選ばれた、強力で業界に革命をもたらす「必試」ツールを厳選しました。 毎週更新される詳細なランキング、無料版と有料版の比較分析、そしてデザインの効率を高め、AIの真価を引き出すのに最適なツールを選ぶために必要なすべての重要情報を確認できます。今すぐチェックしましょう！
8 ツール
xix.ai
コメント (6)
0/500
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
OpenAI、Anthropic、その他の主要AIラボのAIモデルは、コーディングタスクにますます活用されています。GoogleのCEOであるSundar Pichaiは10月に、AIが同社の新しいコードの25%を生成していると述べ、MetaのCEOであるMark Zuckerbergは、ソーシャルメディア大手内でAIコーディングツールを広く導入することを目指しています。
しかし、最高性能のモデルでさえ、経験豊富な開発者が容易に処理できるソフトウェアのバグ修正に苦戦しています。
MicrosoftのR&D部門が実施した最近のMicrosoft Researchの研究では、AnthropicのClaude 3.7 SonnetやOpenAIのo3-miniなどのモデルが、SWE-bench Liteソフトウェア開発ベンチマークの多くの問題を解決するのに苦労していることが示されています。この結果は、OpenAIなどの企業からの大胆な主張にもかかわらず、AIはコーディングなどの分野でまだ人間の専門知識に及ばないことを強調しています。
研究者は、Pythonデバッガを含むデバッグツールを備えた「シングルプロンプトベースのエージェント」の基盤として9つのモデルをテストしました。このエージェントは、SWE-bench Liteから選ばれた300のソフトウェアデバッグ課題に取り組む任務を負いました。
結果は、高度なモデルを使用しても、エージェントがタスクの半分以上を成功裏に解決することはほとんどありませんでした。Claude 3.7 Sonnetが48.4%の成功率でトップに立ち、OpenAIのo1が30.2%、o3-miniが22.1%でした。
この平凡な結果の原因は何でしょうか？一部のモデルは、利用可能なデバッグツールを効果的に使用したり、特定の問題に適したツールを特定したりするのに苦労しました。研究者によると、主な問題は、特に「連続的な意思決定プロセス」を捉えたデータ、例えば人間のデバッグトレースのような十分なトレーニングデータの不足でした。
「これらのモデルをトレーニングまたは微調整することで、デバッグ能力を向上させることができると信じています」と研究者は書いています。「しかし、これには、エージェントがデバッガと対話して情報を収集し、修正を提案する前に軌跡データを取得するような特殊なデータが必要です。」
TechCrunch Sessions: AIに参加
OpenAI、Anthropic、Cohereのスピーカーが参加する当社の主要なAI業界イベントで席を確保してください。期間限定で、チケットは専門家の講演、ワークショップ、ネットワーキングの機会が1日中楽しめるわずか292ドルです。
TechCrunch Sessions: AIで展示
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約してください。展示の機会は5月9日まで、またはテーブルがすべて予約されるまで利用可能です。
この結果は驚くべきことではありません。多くの研究が、AIが生成したコードは、プログラミングロジックの理解の弱さからセキュリティの欠陥やエラーを引き起こすことが多いことを示しています。最近のテストでは、よく知られたAIコーディングツールであるDevinが、20のプログラミングタスクのうち3つしか完了できませんでした。
Microsoftの研究は、AIモデルが直面するこの継続的な課題について最も詳細な調査の1つを提供しています。AIを活用したコーディングツールへの投資家の関心を抑えることはないかもしれませんが、開発者やそのリーダーに、コーディングタスクにAIに大きく依存することを再考させる可能性があります。
注目すべきは、複数のテックリーダーが、AIがコーディングの仕事をなくすという考えに反論していることです。Microsoftの共同創業者Bill Gates、ReplitのCEOであるAmjad Masad、OktaのCEOであるTodd McKinnon、IBMのCEOであるArvind Krishnaは、プログラミングという職業が存続すると確信を表明しています。
クアルコムの「Snapdragon」が、サムスンの生成AIエコシステムを支える
左から：Galaxy Z Flip8、Galaxy Z Fold8、Galaxy Z Fold8 Ultra。写真提供：サムスンクアルコムのクリスティアーノ・アモン氏は、サムスンとの提携により、新型Galaxyスマートフォン、スマートウォッチ、スマートグラス全体で、自然かつ状況に応じたAIを実現できると述べているスマートアイウェアを装着して、外国の街を歩いているところを想像してみてください。レスト
アリババ、エージェントを軸にAIチップを設計し、競争の構図を変える
アリババは、インテリジェントエージェント向けの専用AIプロセッサを発表し、これに伴い、複数年にわたる半導体ロードマップと新しい大規模言語モデルも公開した。これは、単に米国の輸出規制に対応するだけでなく、統合されたAIスタックを構築するという同社の戦略を示すものである。ロイター通信によると、アリババの半導体子会社であるT-Headは、Zhenwu M890が前世代モデルであるZhenwu 810Eの
米国の保健当局がOpenAIおよびAnthropicのAIモデルを評価
全国の公衆衛生機関は、「Coalition for Health AI」が主導し、OpenAI、Anthropic、アクセンチュアと提携して実施される新たな取り組みを通じて、生成AIの評価を行う予定だ。「公衆衛生ユースケースおよび学習スケーリング・エンジン（PULSE）」は、10の州、地方自治体、部族、および準州の管轄区域にわたる実証実験に資金を提供する。このイニシアチブは、同様のAI導入を検討し
XIX.AIが厳選した、SaaS製品マーケティング向けの2026年最新・最高評価のAIデモ動画ツール。これらの画期的なソリューションは、マーケターが高品質な動画コンテンツを迅速に作成し、ライティングの効率を高め、マーケティングワークフローを効率化するのに役立ちます。 無料版と有料版の比較に加え、実地テストの結果や毎週更新されるランキングもぜひご覧ください。今すぐチェックして、SaaSの売上を伸ばすのに最適なツールを見つけましょう！
9 ツール
xix.ai
2026年最新版・最高評価のAIプロンプトテストツールで、出力品質を向上させよう！XIX.AIは、実世界での厳格なテストを経て一貫してトップクラスの成果を保証する、強力かつ画期的な高効率ツールコレクションを厳選しました。無料版と有料版の詳細な比較分析、包括的なランキング、そしてワークフローを大幅に強化する必須ソリューションを見極めるための専門家のアドバイスをご覧いただけます。今すぐ探索して、あなたのAIでの優位性を解き放ちましょう！
11 ツール
xix.ai
2026年最新かつ最も優れた、製品ポジショニングに役立つ高評価AI顧客洞察ツールがここに！XIX.AIは、実際の環境でのテストを経て週単位でランキングが更新される、強力で革新的なツール群を厳選しています。このツール群を活用すれば、顧客のニーズを迅速に把握し、執筆効率を向上させたり、最適なSEOコンテンツを作成したり、時間を無駄にすることなく完璧なソーシャルメディア投稿を作成したりできます。今すぐチェックして、あなたに最適なツールを見つけ、AIを活用した競争優位性を手に入れましょう。
10 ツール
xix.ai
2026年版：性能と使いやすさでランク付けされた、最新のZoom向けAIノート作成ツールベストセレクション。XIX.AIは、クライアントとの通話中に正確なメモを取り、チーム内の情報共有を効率化し、重要な決定事項を手間なく管理するのに役立つ、高評価の強力なツールを厳選しました。 無料版と有料版の比較や実地テストの結果も併せて確認し、生産性を大幅に向上させる「必見」のソリューションを見つけましょう。今すぐチェック！
12 ツール
xix.ai
2026年最新の、高評価を誇るAIスプレッドシート分析ツールがXIX.AIに登場！この厳選リストには、スプレッドシート上で直接質問を入力するだけで、瞬時に正確なグラフを取得できる、強力で画期的なソリューションが揃っており、生産性を大幅に向上させます。 実環境でのテストを実施し、無料版と有料版の比較や毎週更新されるランキングを提供することで、データ処理業務を効率化する最適なツールを見つけるお手伝いをします。今すぐチェックして、AIの力を最大限に活用しましょう！
19 ツール
xix.ai
2026年版 プロダクトデザイナー必見！最新・最高評価のAIワイヤーフレームツール！XIX.AIは、厳格な実地テストを経て選ばれた、強力で業界に革命をもたらす「必試」ツールを厳選しました。 毎週更新される詳細なランキング、無料版と有料版の比較分析、そしてデザインの効率を高め、AIの真価を引き出すのに最適なツールを選ぶために必要なすべての重要情報を確認できます。今すぐチェックしましょう！
8 ツール
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
