Meta AI在编码测试中未能与Llama，Gemini和Chatgpt竞争

AI工具写代码的表现如何？

过去一年左右，我测试了多个大型语言模型，看它们如何应对基本编程挑战。测试的思路很简单：如果连基础都处理不好，复杂任务就更不用说了。但如果它们在基础挑战上表现良好，可能成为开发者节省时间的得力助手。

为了建立基准，我使用了四种不同测试。从简单的编码任务到需要深入了解WordPress等框架的调试练习。让我们逐一分析每个测试，比较Meta的新AI工具与其他工具的表现。

测试1：编写WordPress插件

创建WordPress插件涉及使用PHP进行Web开发，需在WordPress生态系统中操作，还需要一些UI设计。如果AI聊天机器人能完成这个任务，就能成为Web开发者的有用助手。

结果：

• Meta AI：界面尚可，但功能失败。
• Meta Code Llama：完全失败。
• Google Gemini Advanced：界面良好，功能失败。
• ChatGPT：界面简洁，功能正常。

以下是视觉比较： (注：将“/path-to-image/”替换为实际图片文件路径。)

ChatGPT提供了更简洁的界面，“随机”按钮位置更合理。然而，在实际运行插件时，Meta AI崩溃，出现可怕的“白屏死机”。

测试2：重写字符串函数

此测试评估AI改进实用函数的能力。成功表明可为开发者提供帮助，失败则说明有改进空间。

结果：

• Meta AI：因值校正错误、多小数点数字处理不当及格式问题失败。
• Meta Code Llama：成功。
• Google Gemini Advanced：失败。
• ChatGPT：成功。

Meta AI在这个看似简单的任务上失误，而Meta Code Llama表现出色，展现了能力。ChatGPT也表现优异。

测试3：查找烦人错误

这不是写代码，而是诊断问题。成功需要深入了解WordPress API及代码库各部分交互。

结果：

• Meta AI：表现出色，识别问题并提出效率提升建议。
• Meta Code Llama：失败。
• Google Gemini Advanced：失败。
• ChatGPT：通过。

令人惊讶的是，尽管之前表现不佳，Meta AI在此表现出色，证明其潜力，但也凸显其响应的不一致性。

测试4：编写脚本

此测试评估对Keyboard Maestro和AppleScript等专业工具的知识。这两者较为小众，但代表更广泛的编程技能。

结果：

• Meta AI：无法从Keyboard Maestro检索数据。
• Meta Code Llama：同样失败。
• Google Gemini Advanced：成功。
• ChatGPT：成功。

Gemini和ChatGPT展示了对这些工具的熟练掌握，而Meta的产品表现不佳。

总体结果

基于我六个月使用ChatGPT进行编码项目的经验，我对其可靠性仍充满信心。其他模型尚未能匹敌其一致性和有效性。Meta AI虽有亮点，但整体表现仍有很大改进空间。

你试过这些工具吗？在下方评论中分享你的想法！