选项
首页
新闻
Claude 3.5十四行诗在以Chatgpt为主的AI编码测试中创造性地挣扎

Claude 3.5十四行诗在以Chatgpt为主的AI编码测试中创造性地挣扎

2025-05-04
237

测试Anthropic新款Claude 3.5 Sonnet的能力

上周,我收到Anthropic的电子邮件,宣布Claude 3.5 Sonnet发布。他们宣称它“提升了行业智能标准,在广泛的评估中超越了竞争对手模型和Claude 3 Opus”。他们还声称它非常适合复杂的任务,如代码生成。自然,我必须验证这些说法。

我对各种AI进行了一系列编码测试,你也可以试试。只需访问如何测试AI聊天机器人的编码能力 - 你也可以以获取所有细节。让我们深入探讨Claude 3.5 Sonnet在我的标准测试中的表现,看看它与其他AI如Microsoft Copilot、Meta AI、Meta Code Llama、Google Gemini Advanced和ChatGPT相比如何。

1. 编写WordPress插件

最初,Claude 3.5 Sonnet表现出了很大的潜力。它生成的用户界面令人印象深刻,布局清晰,首次在测试的AI中将数据字段并排放置。

Claude 3.5 Sonnet创建的WordPress插件界面截图David Gewirtz/ZDNET拍摄的截图

引起我注意的是Claude的代码生成方式。它没有像通常那样为PHP、JavaScript和CSS生成单独文件,而是提供了一个自动生成JavaScript和CSS文件的单一PHP文件,放入插件目录。虽然这是一个创新的方法,但有风险,因为它依赖于操作系统设置允许插件写入自己的文件夹——在生产环境中这是一个重大的安全漏洞。

遗憾的是,尽管解决方案很有创意,插件并未正常工作。“随机”按钮毫无反应,鉴于其最初的潜力,这令人失望。

以下是与之前测试的综合结果:

  • Claude 3.5 Sonnet:界面:良好,功能:失败
  • ChatGPT GPT-4o:界面:良好,功能:良好
  • Microsoft Copilot:界面:一般,功能:失败
  • Meta AI:界面:一般,功能:失败
  • Meta Code Llama:完全失败
  • Google Gemini Advanced:界面:良好,功能:失败
  • ChatGPT 4:界面:良好,功能:良好
  • ChatGPT 3.5:界面:良好,功能:良好

2. 重写字符串函数

此测试评估AI在重写代码以满足特定需求(本例中为美元和美分转换)方面的表现。Claude 3.5 Sonnet在去除前导零、正确处理整数和小数以及防止负值方面表现良好。它还智能地对意外输入返回“0”,有助于避免错误。

然而,它未能允许类似“.50”表示50美分的输入,这是需求之一。这意味着修改后的代码在现实场景中无法工作,因此我必须标记为失败。

以下是综合结果:

  • Claude 3.5 Sonnet:失败
  • ChatGPT GPT-4o:成功
  • Microsoft Copilot:失败
  • Meta AI:失败
  • Meta Code Llama:成功
  • Google Gemini Advanced:失败
  • ChatGPT 4:成功
  • ChatGPT 3.5:成功

3. 查找一个烦人的错误

此测试很棘手,因为它要求AI找到一个需要特定WordPress知识的微妙错误。这是我自己错过的错误,最初不得不求助于ChatGPT解决。

Claude 3.5 Sonnet不仅找到并修复了错误,还注意到发布过程中引入的一个错误,我随后进行了更正。这是我发布完整测试集以来测试的AI中的首例。

以下是综合结果:

  • Claude 3.5 Sonnet:成功
  • ChatGPT GPT-4o:成功
  • Microsoft Copilot:失败。非常、热情地、表情丰富地失败。
  • Meta AI:成功
  • Meta Code Llama:失败
  • Google Gemini Advanced:失败
  • ChatGPT 4:成功
  • ChatGPT 3.5:成功

到目前为止,Claude 3.5 Sonnet在三个测试中有两个失败了。让我们看看它在最后一个测试中的表现。

4. 编写脚本

此测试检查AI对专业编程工具如AppleScript和Keyboard Maestro的了解。虽然ChatGPT在这两方面表现出色,但Claude 3.5 Sonnet表现不佳。它编写了一个试图与Chrome交互的AppleScript,但完全忽略了Keyboard Maestro部分。

此外,AppleScript中包含一个语法错误。在尝试使匹配不区分大小写时,Claude生成了一行会导致运行时错误的代码:

if theTab's title contains input ignoring case then

“contains”语句已是不区分大小写,“ignoring case”短语位置错误,导致错误。

以下是综合结果:

  • Claude 3.5 Sonnet:失败
  • ChatGPT GPT-4o:成功但有保留
  • Microsoft Copilot:失败
  • Meta AI:失败
  • Meta Code Llama:失败
  • Google Gemini Advanced:成功
  • ChatGPT 4:成功
  • ChatGPT 3.5:失败

总体结果

以下是Claude 3.5 Sonnet与其他AI的总体表现对比:

  • Claude 3.5 Sonnet:4个中1个成功
  • ChatGPT GPT-4o:4个中4个成功,但有一个奇怪的双重选择答案
  • Microsoft Copilot:4个中0个成功
  • Meta AI:4个中1个成功
  • Meta Code Llama:4个中1个成功
  • Google Gemini Advanced:4个中1个成功
  • ChatGPT 4:4个中4个成功
  • ChatGPT 3.5:4个中3个成功

我对Claude 3.5 Sonnet的表现相当失望。Anthropic承诺它适合编程,但未能达到预期。并非它完全不能编程,只是无法正确编程。我一直希望找到一个能超越ChatGPT的AI,尤其是在这些模型集成到编程环境中时。但目前,我仍会选择ChatGPT来帮助编程,建议你也这样做。

你用过AI进行编程吗?用了哪个,效果如何?请在下方评论中分享你的经验。

在社交媒体上关注我的项目更新,订阅我的每周简讯,并在Twitter/X上通过@DavidGewirtz与我联系,在Facebook上通过Facebook.com/DavidGewirtz,在Instagram上通过Instagram.com/DavidGewirtz,在YouTube上通过YouTube.com/DavidGewirtzTV。

相关文章
谷歌AI概述在搜索结果中占据更多席位 谷歌AI概述在搜索结果中占据更多席位 根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型 OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型 OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
ChatGPT 推出聊天锁定功能,以增强隐私保护 ChatGPT 推出聊天锁定功能,以增强隐私保护 周二,OpenAI 公布了一项新功能,允许用户锁定 ChatGPT 对话,确保当他人可能访问其屏幕或设备时,敏感讨论保持私密。用户可以使用四位数字 PIN 码保护这些锁定的聊天,或在兼容设备上利用 Face ID 和 Touch ID。与创建不显示在聊天记录中的隔离会话的“临时聊天”不同,“锁定聊天”可以随时访问和继续。OpenAI 设计此功能是为了应对用户讨论个人事务或策划惊喜的场景,当将设备借给朋友或家人查看其他聊天时,希望保持这些对话的机密性。这一补充增强了 ChatGPT 的隐私框
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (11)
0/500
CharlesYoung
CharlesYoung 2025-10-06 22:30:46

Intéressant de voir Claude 3.5 Sonnet avoir du mal avec le codage créatif. Est-ce qu'on attend trop des IA actuellement ? Après tout, l'intelligence humaine reste unique 🤷‍♂️

ScottMitchell
ScottMitchell 2025-05-05 21:17:31

Claude 3.5 Sonnet is pretty good, but it's no match for ChatGPT in coding tests. It's like bringing a knife to a gunfight! 😂 Still, it's an improvement over the last version, so kudos to Anthropic for trying to keep up. Maybe next time, they'll surprise us!

JamesMiller
JamesMiller 2025-05-05 16:59:50

Claude 3.5 Sonnet é bom, mas não chega aos pés do ChatGPT em testes de codificação. É como levar uma faca para uma batalha de armas! 😂 Ainda assim, é uma melhoria em relação à versão anterior, então parabéns à Anthropic por tentar acompanhar. Talvez da próxima vez eles nos surpreendam!

StevenNelson
StevenNelson 2025-05-05 15:23:24

クロード3.5ソネットはコードテストではChatGPTにかなわないですね。まるでナイフを持って銃撃戦に挑むようなものです!😂 でも、前バージョンよりは改善されているので、アントロピックの努力には敬意を表します。次回は驚かせてくれるかも?

JoseDavis
JoseDavis 2025-05-05 14:46:04

Claude 3.5 Sonnet qui galère en codage, c’est un peu décevant vu les promesses d’Anthropic. 😐 ChatGPT garde l’avantage, mais la course à l’IA est fascinante !

HaroldLopez
HaroldLopez 2025-05-05 12:06:54

클로드 3.5 소넷은 코드 테스트에서 ChatGPT에 비해 많이 부족해요. 마치 칼을 들고 총격전에 나서는 느낌이죠! 😂 그래도 이전 버전보다는 나아졌으니, 앤트로픽의 노력에 박수를 보냅니다. 다음에는 놀라게 해줄지 모르겠네요!

OR