Claude 3.5十四行诗在以Chatgpt为主的AI编码测试中创造性地挣扎
测试Anthropic新款Claude 3.5 Sonnet的能力
上周,我收到Anthropic的电子邮件,宣布Claude 3.5 Sonnet发布。他们宣称它“提升了行业智能标准,在广泛的评估中超越了竞争对手模型和Claude 3 Opus”。他们还声称它非常适合复杂的任务,如代码生成。自然,我必须验证这些说法。
我对各种AI进行了一系列编码测试,你也可以试试。只需访问如何测试AI聊天机器人的编码能力 - 你也可以以获取所有细节。让我们深入探讨Claude 3.5 Sonnet在我的标准测试中的表现,看看它与其他AI如Microsoft Copilot、Meta AI、Meta Code Llama、Google Gemini Advanced和ChatGPT相比如何。
1. 编写WordPress插件
最初,Claude 3.5 Sonnet表现出了很大的潜力。它生成的用户界面令人印象深刻,布局清晰,首次在测试的AI中将数据字段并排放置。
David Gewirtz/ZDNET拍摄的截图
引起我注意的是Claude的代码生成方式。它没有像通常那样为PHP、JavaScript和CSS生成单独文件,而是提供了一个自动生成JavaScript和CSS文件的单一PHP文件,放入插件目录。虽然这是一个创新的方法,但有风险,因为它依赖于操作系统设置允许插件写入自己的文件夹——在生产环境中这是一个重大的安全漏洞。
遗憾的是,尽管解决方案很有创意,插件并未正常工作。“随机”按钮毫无反应,鉴于其最初的潜力,这令人失望。
以下是与之前测试的综合结果:
- Claude 3.5 Sonnet:界面:良好,功能:失败
- ChatGPT GPT-4o:界面:良好,功能:良好
- Microsoft Copilot:界面:一般,功能:失败
- Meta AI:界面:一般,功能:失败
- Meta Code Llama:完全失败
- Google Gemini Advanced:界面:良好,功能:失败
- ChatGPT 4:界面:良好,功能:良好
- ChatGPT 3.5:界面:良好,功能:良好
2. 重写字符串函数
此测试评估AI在重写代码以满足特定需求(本例中为美元和美分转换)方面的表现。Claude 3.5 Sonnet在去除前导零、正确处理整数和小数以及防止负值方面表现良好。它还智能地对意外输入返回“0”,有助于避免错误。
然而,它未能允许类似“.50”表示50美分的输入,这是需求之一。这意味着修改后的代码在现实场景中无法工作,因此我必须标记为失败。
以下是综合结果:
- Claude 3.5 Sonnet:失败
- ChatGPT GPT-4o:成功
- Microsoft Copilot:失败
- Meta AI:失败
- Meta Code Llama:成功
- Google Gemini Advanced:失败
- ChatGPT 4:成功
- ChatGPT 3.5:成功
3. 查找一个烦人的错误
此测试很棘手,因为它要求AI找到一个需要特定WordPress知识的微妙错误。这是我自己错过的错误,最初不得不求助于ChatGPT解决。
Claude 3.5 Sonnet不仅找到并修复了错误,还注意到发布过程中引入的一个错误,我随后进行了更正。这是我发布完整测试集以来测试的AI中的首例。
以下是综合结果:
- Claude 3.5 Sonnet:成功
- ChatGPT GPT-4o:成功
- Microsoft Copilot:失败。非常、热情地、表情丰富地失败。
- Meta AI:成功
- Meta Code Llama:失败
- Google Gemini Advanced:失败
- ChatGPT 4:成功
- ChatGPT 3.5:成功
到目前为止,Claude 3.5 Sonnet在三个测试中有两个失败了。让我们看看它在最后一个测试中的表现。
4. 编写脚本
此测试检查AI对专业编程工具如AppleScript和Keyboard Maestro的了解。虽然ChatGPT在这两方面表现出色,但Claude 3.5 Sonnet表现不佳。它编写了一个试图与Chrome交互的AppleScript,但完全忽略了Keyboard Maestro部分。
此外,AppleScript中包含一个语法错误。在尝试使匹配不区分大小写时,Claude生成了一行会导致运行时错误的代码:
if theTab's title contains input ignoring case then
“contains”语句已是不区分大小写,“ignoring case”短语位置错误,导致错误。
以下是综合结果:
- Claude 3.5 Sonnet:失败
- ChatGPT GPT-4o:成功但有保留
- Microsoft Copilot:失败
- Meta AI:失败
- Meta Code Llama:失败
- Google Gemini Advanced:成功
- ChatGPT 4:成功
- ChatGPT 3.5:失败
总体结果
以下是Claude 3.5 Sonnet与其他AI的总体表现对比:
- Claude 3.5 Sonnet:4个中1个成功
- ChatGPT GPT-4o:4个中4个成功,但有一个奇怪的双重选择答案
- Microsoft Copilot:4个中0个成功
- Meta AI:4个中1个成功
- Meta Code Llama:4个中1个成功
- Google Gemini Advanced:4个中1个成功
- ChatGPT 4:4个中4个成功
- ChatGPT 3.5:4个中3个成功
我对Claude 3.5 Sonnet的表现相当失望。Anthropic承诺它适合编程,但未能达到预期。并非它完全不能编程,只是无法正确编程。我一直希望找到一个能超越ChatGPT的AI,尤其是在这些模型集成到编程环境中时。但目前,我仍会选择ChatGPT来帮助编程,建议你也这样做。
你用过AI进行编程吗?用了哪个,效果如何?请在下方评论中分享你的经验。
在社交媒体上关注我的项目更新,订阅我的每周简讯,并在Twitter/X上通过@DavidGewirtz与我联系,在Facebook上通过Facebook.com/DavidGewirtz,在Instagram上通过Instagram.com/DavidGewirtz,在YouTube上通过YouTube.com/DavidGewirtzTV。
相关文章
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型
OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
ChatGPT 推出聊天锁定功能,以增强隐私保护
周二,OpenAI 公布了一项新功能,允许用户锁定 ChatGPT 对话,确保当他人可能访问其屏幕或设备时,敏感讨论保持私密。用户可以使用四位数字 PIN 码保护这些锁定的聊天,或在兼容设备上利用 Face ID 和 Touch ID。与创建不显示在聊天记录中的隔离会话的“临时聊天”不同,“锁定聊天”可以随时访问和继续。OpenAI 设计此功能是为了应对用户讨论个人事务或策划惊喜的场景,当将设备借给朋友或家人查看其他聊天时,希望保持这些对话的机密性。这一补充增强了 ChatGPT 的隐私框
相关专题推荐
评论 (11)
0/500
Intéressant de voir Claude 3.5 Sonnet avoir du mal avec le codage créatif. Est-ce qu'on attend trop des IA actuellement ? Après tout, l'intelligence humaine reste unique 🤷♂️
Claude 3.5 Sonnet is pretty good, but it's no match for ChatGPT in coding tests. It's like bringing a knife to a gunfight! 😂 Still, it's an improvement over the last version, so kudos to Anthropic for trying to keep up. Maybe next time, they'll surprise us!
Claude 3.5 Sonnet é bom, mas não chega aos pés do ChatGPT em testes de codificação. É como levar uma faca para uma batalha de armas! 😂 Ainda assim, é uma melhoria em relação à versão anterior, então parabéns à Anthropic por tentar acompanhar. Talvez da próxima vez eles nos surpreendam!
クロード3.5ソネットはコードテストではChatGPTにかなわないですね。まるでナイフを持って銃撃戦に挑むようなものです!😂 でも、前バージョンよりは改善されているので、アントロピックの努力には敬意を表します。次回は驚かせてくれるかも?
Claude 3.5 Sonnet qui galère en codage, c’est un peu décevant vu les promesses d’Anthropic. 😐 ChatGPT garde l’avantage, mais la course à l’IA est fascinante !
测试Anthropic新款Claude 3.5 Sonnet的能力
上周,我收到Anthropic的电子邮件,宣布Claude 3.5 Sonnet发布。他们宣称它“提升了行业智能标准,在广泛的评估中超越了竞争对手模型和Claude 3 Opus”。他们还声称它非常适合复杂的任务,如代码生成。自然,我必须验证这些说法。
我对各种AI进行了一系列编码测试,你也可以试试。只需访问如何测试AI聊天机器人的编码能力 - 你也可以以获取所有细节。让我们深入探讨Claude 3.5 Sonnet在我的标准测试中的表现,看看它与其他AI如Microsoft Copilot、Meta AI、Meta Code Llama、Google Gemini Advanced和ChatGPT相比如何。
1. 编写WordPress插件
最初,Claude 3.5 Sonnet表现出了很大的潜力。它生成的用户界面令人印象深刻,布局清晰,首次在测试的AI中将数据字段并排放置。
David Gewirtz/ZDNET拍摄的截图
引起我注意的是Claude的代码生成方式。它没有像通常那样为PHP、JavaScript和CSS生成单独文件,而是提供了一个自动生成JavaScript和CSS文件的单一PHP文件,放入插件目录。虽然这是一个创新的方法,但有风险,因为它依赖于操作系统设置允许插件写入自己的文件夹——在生产环境中这是一个重大的安全漏洞。
遗憾的是,尽管解决方案很有创意,插件并未正常工作。“随机”按钮毫无反应,鉴于其最初的潜力,这令人失望。
以下是与之前测试的综合结果:
- Claude 3.5 Sonnet:界面:良好,功能:失败
- ChatGPT GPT-4o:界面:良好,功能:良好
- Microsoft Copilot:界面:一般,功能:失败
- Meta AI:界面:一般,功能:失败
- Meta Code Llama:完全失败
- Google Gemini Advanced:界面:良好,功能:失败
- ChatGPT 4:界面:良好,功能:良好
- ChatGPT 3.5:界面:良好,功能:良好
2. 重写字符串函数
此测试评估AI在重写代码以满足特定需求(本例中为美元和美分转换)方面的表现。Claude 3.5 Sonnet在去除前导零、正确处理整数和小数以及防止负值方面表现良好。它还智能地对意外输入返回“0”,有助于避免错误。
然而,它未能允许类似“.50”表示50美分的输入,这是需求之一。这意味着修改后的代码在现实场景中无法工作,因此我必须标记为失败。
以下是综合结果:
- Claude 3.5 Sonnet:失败
- ChatGPT GPT-4o:成功
- Microsoft Copilot:失败
- Meta AI:失败
- Meta Code Llama:成功
- Google Gemini Advanced:失败
- ChatGPT 4:成功
- ChatGPT 3.5:成功
3. 查找一个烦人的错误
此测试很棘手,因为它要求AI找到一个需要特定WordPress知识的微妙错误。这是我自己错过的错误,最初不得不求助于ChatGPT解决。
Claude 3.5 Sonnet不仅找到并修复了错误,还注意到发布过程中引入的一个错误,我随后进行了更正。这是我发布完整测试集以来测试的AI中的首例。
以下是综合结果:
- Claude 3.5 Sonnet:成功
- ChatGPT GPT-4o:成功
- Microsoft Copilot:失败。非常、热情地、表情丰富地失败。
- Meta AI:成功
- Meta Code Llama:失败
- Google Gemini Advanced:失败
- ChatGPT 4:成功
- ChatGPT 3.5:成功
到目前为止,Claude 3.5 Sonnet在三个测试中有两个失败了。让我们看看它在最后一个测试中的表现。
4. 编写脚本
此测试检查AI对专业编程工具如AppleScript和Keyboard Maestro的了解。虽然ChatGPT在这两方面表现出色,但Claude 3.5 Sonnet表现不佳。它编写了一个试图与Chrome交互的AppleScript,但完全忽略了Keyboard Maestro部分。
此外,AppleScript中包含一个语法错误。在尝试使匹配不区分大小写时,Claude生成了一行会导致运行时错误的代码:
“contains”语句已是不区分大小写,“ignoring case”短语位置错误,导致错误。
以下是综合结果:
- Claude 3.5 Sonnet:失败
- ChatGPT GPT-4o:成功但有保留
- Microsoft Copilot:失败
- Meta AI:失败
- Meta Code Llama:失败
- Google Gemini Advanced:成功
- ChatGPT 4:成功
- ChatGPT 3.5:失败
总体结果
以下是Claude 3.5 Sonnet与其他AI的总体表现对比:
- Claude 3.5 Sonnet:4个中1个成功
- ChatGPT GPT-4o:4个中4个成功,但有一个奇怪的双重选择答案
- Microsoft Copilot:4个中0个成功
- Meta AI:4个中1个成功
- Meta Code Llama:4个中1个成功
- Google Gemini Advanced:4个中1个成功
- ChatGPT 4:4个中4个成功
- ChatGPT 3.5:4个中3个成功
我对Claude 3.5 Sonnet的表现相当失望。Anthropic承诺它适合编程,但未能达到预期。并非它完全不能编程,只是无法正确编程。我一直希望找到一个能超越ChatGPT的AI,尤其是在这些模型集成到编程环境中时。但目前,我仍会选择ChatGPT来帮助编程,建议你也这样做。
你用过AI进行编程吗?用了哪个,效果如何?请在下方评论中分享你的经验。
在社交媒体上关注我的项目更新,订阅我的每周简讯,并在Twitter/X上通过@DavidGewirtz与我联系,在Facebook上通过Facebook.com/DavidGewirtz,在Instagram上通过Instagram.com/DavidGewirtz,在YouTube上通过YouTube.com/DavidGewirtzTV。
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型
OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
ChatGPT 推出聊天锁定功能,以增强隐私保护
周二,OpenAI 公布了一项新功能,允许用户锁定 ChatGPT 对话,确保当他人可能访问其屏幕或设备时,敏感讨论保持私密。用户可以使用四位数字 PIN 码保护这些锁定的聊天,或在兼容设备上利用 Face ID 和 Touch ID。与创建不显示在聊天记录中的隔离会话的“临时聊天”不同,“锁定聊天”可以随时访问和继续。OpenAI 设计此功能是为了应对用户讨论个人事务或策划惊喜的场景,当将设备借给朋友或家人查看其他聊天时,希望保持这些对话的机密性。这一补充增强了 ChatGPT 的隐私框
Intéressant de voir Claude 3.5 Sonnet avoir du mal avec le codage créatif. Est-ce qu'on attend trop des IA actuellement ? Après tout, l'intelligence humaine reste unique 🤷♂️
Claude 3.5 Sonnet is pretty good, but it's no match for ChatGPT in coding tests. It's like bringing a knife to a gunfight! 😂 Still, it's an improvement over the last version, so kudos to Anthropic for trying to keep up. Maybe next time, they'll surprise us!
Claude 3.5 Sonnet é bom, mas não chega aos pés do ChatGPT em testes de codificação. É como levar uma faca para uma batalha de armas! 😂 Ainda assim, é uma melhoria em relação à versão anterior, então parabéns à Anthropic por tentar acompanhar. Talvez da próxima vez eles nos surpreendam!
クロード3.5ソネットはコードテストではChatGPTにかなわないですね。まるでナイフを持って銃撃戦に挑むようなものです!😂 でも、前バージョンよりは改善されているので、アントロピックの努力には敬意を表します。次回は驚かせてくれるかも?
Claude 3.5 Sonnet qui galère en codage, c’est un peu décevant vu les promesses d’Anthropic. 😐 ChatGPT garde l’avantage, mais la course à l’IA est fascinante !





首页






