Claude 3.5 Sonnet творчески борется в тестах на кодирование искусственного интеллекта.
Тестирование возможностей нового сонета Claude 3.5 от Anpropic
На прошлой неделе я получил электронное письмо от Anthropic, объявляющего о выпуске Sonnet Claude 3.5. Они хвастались, что «поднимает индустриальную бар для интеллекта, опережая модели конкурентов и Claude 3 Opus на широком спектре оценок». Они также утверждали, что это идеально подходит для сложных задач, таких как генерация кода. Естественно, мне пришлось сделать эти претензии на тест.
Я запустил серию тестов кодирования на различных ИИ, и вы тоже можете. Просто зайдите в то, как я тестирую способность кодирования AI Chatbot - и вы также можете найти все детали. Давайте рассмотрим, как Claude 3.5 Sonnet выступил против моих стандартных тестов, и посмотрим, как он складывается против других AIS, таких как Microsoft Copilot, Meta AI, Meta -Llama, Google Gemini Advanced и CHATGPT.
1. Написание плагина WordPress
Первоначально, Claude 3.5 Sonnet показал много обещаний. Пользовательский интерфейс, который он сгенерировал, был впечатляющим, с чистым макетом, который впервые разместил поля данных с AIS, который я тестировал.
Скриншот Дэвида Гевирца/Zdnet
Что привлекло мое внимание, так это то, как Клод подошел к поколению кода. Вместо обычных отдельных файлов для PHP, JavaScript и CSS он предоставил один файл PHP, который автоматически генерировал файлы JavaScript и CSS в каталог плагина. Несмотря на то, что это был инновационный подход, он рискован, потому что это зависит от настроек ОС, позволяя плагину писать в собственную папку - основной недостаток безопасности в производственной среде.
К сожалению, несмотря на творческое решение, плагин не работал. Кнопка «Рандомиза» ничего не сделала, что было разочаровывающим, учитывая его первоначальное обещание.
Вот совокупные результаты по сравнению с предыдущими тестами:
- Claude 3.5 Сонет: Интерфейс: хорошо, функциональность: неудача
- Chatgpt GPT-4O: Интерфейс: хорошо, функциональность: хорошо
- Microsoft Copilot: интерфейс: адекватный, функциональность: неудача
- Meta AI: интерфейс: адекватный, функциональность: неудача
- Мета -код Llama: полная неудача
- Google Gemini Advanced: Интерфейс: хорошо, функциональность: неудача
- Chatgpt 4: Интерфейс: хорошо, функциональность: хорошо
- Chatgpt 3.5: Интерфейс: хорошо, функциональность: хорошо
2. Переписывание строковой функции
Этот тест оценивает, насколько хорошо ИИ может переписать код для удовлетворения конкретных потребностей, в данном случае для преобразования в долларах и центре. Claude 3.5 Sonnet проделал хорошую работу, удаляя ведущие нули, правильно обрабатывая целые числа и десятичные активы и предотвращая негативные значения. Он также умно вернул «0» для неожиданных входов, что помогает избежать ошибок.
Однако ему не удалось разрешить такие записи, как ".50" за 50 центов, что было требованием. Это означает, что пересмотренный код не будет работать в реальном сценарии, поэтому я должен пометить его как провал.
Вот совокупные результаты:
- Claude 3.5 Сонет: не удалось
- Chatgpt GPT-4O: добился успеха
- Microsoft Copilot: не удалось
- Meta AI: неудача
- Мета -код лама: преуспел
- Google Gemini Advanced: не удалось
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: Успех
3. Найти раздражающую ошибку
Этот тест сложен, потому что он требует от ИИ, чтобы найти тонкую ошибку, которая нуждается в конкретных знаниях WordPress. Это ошибка, которую я скучал по себе, и мне пришлось обратиться в Chatgpt, чтобы изначально решить.
Claude 3.5 Sonnet не только обнаружил и исправил ошибку, но и заметил ошибку, введенную в процессе публикации, которую я затем исправил. Это было первым среди AIS, которые я тестировал с момента публикации полного набора тестов.
Вот совокупные результаты:
- Claude 3.5 Сонет: преуспел
- Chatgpt GPT-4O: добился успеха
- Microsoft Copilot: не удалось. Эффектно. С энтузиазмом. Эмоционально.
- Meta AI: преуспел
- Мета -код лама: неудача
- Google Gemini Advanced: не удалось
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: Успех
До сих пор Claude 3.5 Sonnet провалил два из трех тестов. Посмотрим, как это происходит с последним.
4. Написание сценария
Этот тест проверяет знания ИИ по специализированным инструментам программирования, таких как AppleScript и клавиатура Maestro. В то время как CHATGPT продемонстрировал мастерство в обоих, Claude 3.5 Sonnet тоже не было. Он написал AppleScript, который пытался взаимодействовать с Chrome, но полностью игнорировал компонент Maestro клавиатуры.
Кроме того, AppleScript содержал синтаксисную ошибку. Пытаясь сделать матч нечувствительным, Клод сгенерировал строку, которая вызвала ошибку во время выполнения:
Если заголовок Thetab содержит ввод, игнорируя случай, тогда
Заявление «Содержит» уже нечувствительно к случаю, и фраза «игнорирование дела» была неуместна, что привело к ошибке.
Вот совокупные результаты:
- Claude 3.5 Сонет: не удалось
- Chatgpt GPT-4O: преуспел, но с бронированием
- Microsoft Copilot: не удалось
- Meta AI: неудача
- Мета -код лама: неудача
- Google Gemini Advanced: добиться успеха
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: не удалось
Общие результаты
Вот как Claude 3.5 Sonnet выступил в целом по сравнению с другими AIS:
- Claude 3.5 Сонет: 1 из 4
- Chatgpt GPT-4O: 4 из 4 удалось, но с одним странным ответом на двойной выбор
- Microsoft Copilot: 0 из 4 следовало
- Meta ai: 1 из 4 успешных
- Мета -код лама: 1 из 4 успешных
- Google Gemini Advanced: 1 из 4 успешных
- Chatgpt 4: 4 из 4 удалось
- Chatgpt 3.5: 3 из 4 успешных
Я был очень разочарован сонетом Клода 3.5. Антропик обещал, что это подходит для программирования, но это не соответствовало этим ожиданиям. Дело не в том, что он не может программировать; Это просто не может программировать правильно. Я продолжаю надеяться найти ИИ, который может превзойти CHATGPT, особенно когда эти модели интегрируются в среды программирования. Но сейчас я придерживаюсь CHATGPT для программирования, и я рекомендую вам сделать то же самое.
Вы использовали ИИ для программирования? Какой, и как все прошло? Поделитесь своим опытом в комментариях ниже.
Следите за обновлениями моего проекта в социальных сетях, подпишитесь на мою еженедельную новостную рассылку и свяжитесь со мной в Twitter/X на @DavidgeWirtz, на Facebook на facebook.com/davidgewirtz , в Instagram на Instagram.com/davidgewirtz и на YouTube на YouTube.com/DavidgeWirtzTV .
Связанная статья
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
AI烹饪视频很容易使用Leonardo AI和Chatgpt创建
用YouTube和Tiktok等平台的配乐吸引人的烹饪内容来彻底改变烹饪视频，这并不一定像是一个永无止境的项目。得益于人工智能的进步，此过程变得更加容易。本指南将引导您浏览最简单的方法
OpenAI推出ChatGPT深度研究工具的轻量版
OpenAI正在推出其ChatGPT深度研究工具的一个“轻量级”版本，旨在浏览网络并编制各种主题的研究报告。这一令人兴奋的更新现已面向ChatGPT Plus、团队和专业用户开放，公司于周四宣布了这一消息。但不仅如此——从今天起，即使是免费的ChatGPT用户也可以参与进来！新的轻量级深度研究工具由OpenAI的o4-mini模型版本提供支持。虽然它可能不像
Комментарии (5)
![ScottMitchell]()
ScottMitchell
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet is pretty good, but it's no match for ChatGPT in coding tests. It's like bringing a knife to a gunfight! 😂 Still, it's an improvement over the last version, so kudos to Anthropic for trying to keep up. Maybe next time, they'll surprise us!
0
![StevenNelson]()
StevenNelson
5 мая 2025 г., 0:00:00 GMT
クロード3.5ソネットはコードテストではChatGPTにかなわないですね。まるでナイフを持って銃撃戦に挑むようなものです！😂 でも、前バージョンよりは改善されているので、アントロピックの努力には敬意を表します。次回は驚かせてくれるかも？
0
![HaroldLopez]()
HaroldLopez
5 мая 2025 г., 0:00:00 GMT
클로드 3.5 소넷은 코드 테스트에서 ChatGPT에 비해 많이 부족해요. 마치 칼을 들고 총격전에 나서는 느낌이죠! 😂 그래도 이전 버전보다는 나아졌으니, 앤트로픽의 노력에 박수를 보냅니다. 다음에는 놀라게 해줄지 모르겠네요!
0
![JamesMiller]()
JamesMiller
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet é bom, mas não chega aos pés do ChatGPT em testes de codificação. É como levar uma faca para uma batalha de armas! 😂 Ainda assim, é uma melhoria em relação à versão anterior, então parabéns à Anthropic por tentar acompanhar. Talvez da próxima vez eles nos surpreendam!
0
![SebastianAnderson]()
SebastianAnderson
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet está bien, pero no puede competir con ChatGPT en pruebas de codificación. ¡Es como llevar un cuchillo a un tiroteo! 😂 Sin embargo, es una mejora respecto a la versión anterior, así que felicidades a Anthropic por intentarlo. ¡Quizás la próxima vez nos sorprendan!
0
Тестирование возможностей нового сонета Claude 3.5 от Anpropic
На прошлой неделе я получил электронное письмо от Anthropic, объявляющего о выпуске Sonnet Claude 3.5. Они хвастались, что «поднимает индустриальную бар для интеллекта, опережая модели конкурентов и Claude 3 Opus на широком спектре оценок». Они также утверждали, что это идеально подходит для сложных задач, таких как генерация кода. Естественно, мне пришлось сделать эти претензии на тест.
Я запустил серию тестов кодирования на различных ИИ, и вы тоже можете. Просто зайдите в то, как я тестирую способность кодирования AI Chatbot - и вы также можете найти все детали. Давайте рассмотрим, как Claude 3.5 Sonnet выступил против моих стандартных тестов, и посмотрим, как он складывается против других AIS, таких как Microsoft Copilot, Meta AI, Meta -Llama, Google Gemini Advanced и CHATGPT.
1. Написание плагина WordPress
Первоначально, Claude 3.5 Sonnet показал много обещаний. Пользовательский интерфейс, который он сгенерировал, был впечатляющим, с чистым макетом, который впервые разместил поля данных с AIS, который я тестировал.
Что привлекло мое внимание, так это то, как Клод подошел к поколению кода. Вместо обычных отдельных файлов для PHP, JavaScript и CSS он предоставил один файл PHP, который автоматически генерировал файлы JavaScript и CSS в каталог плагина. Несмотря на то, что это был инновационный подход, он рискован, потому что это зависит от настроек ОС, позволяя плагину писать в собственную папку - основной недостаток безопасности в производственной среде.
К сожалению, несмотря на творческое решение, плагин не работал. Кнопка «Рандомиза» ничего не сделала, что было разочаровывающим, учитывая его первоначальное обещание.
Вот совокупные результаты по сравнению с предыдущими тестами:
- Claude 3.5 Сонет: Интерфейс: хорошо, функциональность: неудача
- Chatgpt GPT-4O: Интерфейс: хорошо, функциональность: хорошо
- Microsoft Copilot: интерфейс: адекватный, функциональность: неудача
- Meta AI: интерфейс: адекватный, функциональность: неудача
- Мета -код Llama: полная неудача
- Google Gemini Advanced: Интерфейс: хорошо, функциональность: неудача
- Chatgpt 4: Интерфейс: хорошо, функциональность: хорошо
- Chatgpt 3.5: Интерфейс: хорошо, функциональность: хорошо
2. Переписывание строковой функции
Этот тест оценивает, насколько хорошо ИИ может переписать код для удовлетворения конкретных потребностей, в данном случае для преобразования в долларах и центре. Claude 3.5 Sonnet проделал хорошую работу, удаляя ведущие нули, правильно обрабатывая целые числа и десятичные активы и предотвращая негативные значения. Он также умно вернул «0» для неожиданных входов, что помогает избежать ошибок.
Однако ему не удалось разрешить такие записи, как ".50" за 50 центов, что было требованием. Это означает, что пересмотренный код не будет работать в реальном сценарии, поэтому я должен пометить его как провал.
Вот совокупные результаты:
- Claude 3.5 Сонет: не удалось
- Chatgpt GPT-4O: добился успеха
- Microsoft Copilot: не удалось
- Meta AI: неудача
- Мета -код лама: преуспел
- Google Gemini Advanced: не удалось
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: Успех
3. Найти раздражающую ошибку
Этот тест сложен, потому что он требует от ИИ, чтобы найти тонкую ошибку, которая нуждается в конкретных знаниях WordPress. Это ошибка, которую я скучал по себе, и мне пришлось обратиться в Chatgpt, чтобы изначально решить.
Claude 3.5 Sonnet не только обнаружил и исправил ошибку, но и заметил ошибку, введенную в процессе публикации, которую я затем исправил. Это было первым среди AIS, которые я тестировал с момента публикации полного набора тестов.
Вот совокупные результаты:
- Claude 3.5 Сонет: преуспел
- Chatgpt GPT-4O: добился успеха
- Microsoft Copilot: не удалось. Эффектно. С энтузиазмом. Эмоционально.
- Meta AI: преуспел
- Мета -код лама: неудача
- Google Gemini Advanced: не удалось
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: Успех
До сих пор Claude 3.5 Sonnet провалил два из трех тестов. Посмотрим, как это происходит с последним.
4. Написание сценария
Этот тест проверяет знания ИИ по специализированным инструментам программирования, таких как AppleScript и клавиатура Maestro. В то время как CHATGPT продемонстрировал мастерство в обоих, Claude 3.5 Sonnet тоже не было. Он написал AppleScript, который пытался взаимодействовать с Chrome, но полностью игнорировал компонент Maestro клавиатуры.
Кроме того, AppleScript содержал синтаксисную ошибку. Пытаясь сделать матч нечувствительным, Клод сгенерировал строку, которая вызвала ошибку во время выполнения:
Если заголовок Thetab содержит ввод, игнорируя случай, тогда
Заявление «Содержит» уже нечувствительно к случаю, и фраза «игнорирование дела» была неуместна, что привело к ошибке.
Вот совокупные результаты:
- Claude 3.5 Сонет: не удалось
- Chatgpt GPT-4O: преуспел, но с бронированием
- Microsoft Copilot: не удалось
- Meta AI: неудача
- Мета -код лама: неудача
- Google Gemini Advanced: добиться успеха
- ЧАТГПТ 4: Успех
- CHATGPT 3.5: не удалось
Общие результаты
Вот как Claude 3.5 Sonnet выступил в целом по сравнению с другими AIS:
- Claude 3.5 Сонет: 1 из 4
- Chatgpt GPT-4O: 4 из 4 удалось, но с одним странным ответом на двойной выбор
- Microsoft Copilot: 0 из 4 следовало
- Meta ai: 1 из 4 успешных
- Мета -код лама: 1 из 4 успешных
- Google Gemini Advanced: 1 из 4 успешных
- Chatgpt 4: 4 из 4 удалось
- Chatgpt 3.5: 3 из 4 успешных
Я был очень разочарован сонетом Клода 3.5. Антропик обещал, что это подходит для программирования, но это не соответствовало этим ожиданиям. Дело не в том, что он не может программировать; Это просто не может программировать правильно. Я продолжаю надеяться найти ИИ, который может превзойти CHATGPT, особенно когда эти модели интегрируются в среды программирования. Но сейчас я придерживаюсь CHATGPT для программирования, и я рекомендую вам сделать то же самое.
Вы использовали ИИ для программирования? Какой, и как все прошло? Поделитесь своим опытом в комментариях ниже.
Следите за обновлениями моего проекта в социальных сетях, подпишитесь на мою еженедельную новостную рассылку и свяжитесь со мной в Twitter/X на @DavidgeWirtz, на Facebook на facebook.com/davidgewirtz , в Instagram на Instagram.com/davidgewirtz и на YouTube на YouTube.com/DavidgeWirtzTV .
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
AI烹饪视频很容易使用Leonardo AI和Chatgpt创建
用YouTube和Tiktok等平台的配乐吸引人的烹饪内容来彻底改变烹饪视频，这并不一定像是一个永无止境的项目。得益于人工智能的进步，此过程变得更加容易。本指南将引导您浏览最简单的方法
OpenAI推出ChatGPT深度研究工具的轻量版
OpenAI正在推出其ChatGPT深度研究工具的一个“轻量级”版本，旨在浏览网络并编制各种主题的研究报告。这一令人兴奋的更新现已面向ChatGPT Plus、团队和专业用户开放，公司于周四宣布了这一消息。但不仅如此——从今天起，即使是免费的ChatGPT用户也可以参与进来！新的轻量级深度研究工具由OpenAI的o4-mini模型版本提供支持。虽然它可能不像
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet is pretty good, but it's no match for ChatGPT in coding tests. It's like bringing a knife to a gunfight! 😂 Still, it's an improvement over the last version, so kudos to Anthropic for trying to keep up. Maybe next time, they'll surprise us!
0
5 мая 2025 г., 0:00:00 GMT
クロード3.5ソネットはコードテストではChatGPTにかなわないですね。まるでナイフを持って銃撃戦に挑むようなものです！😂 でも、前バージョンよりは改善されているので、アントロピックの努力には敬意を表します。次回は驚かせてくれるかも？
0
5 мая 2025 г., 0:00:00 GMT
클로드 3.5 소넷은 코드 테스트에서 ChatGPT에 비해 많이 부족해요. 마치 칼을 들고 총격전에 나서는 느낌이죠! 😂 그래도 이전 버전보다는 나아졌으니, 앤트로픽의 노력에 박수를 보냅니다. 다음에는 놀라게 해줄지 모르겠네요!
0
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet é bom, mas não chega aos pés do ChatGPT em testes de codificação. É como levar uma faca para uma batalha de armas! 😂 Ainda assim, é uma melhoria em relação à versão anterior, então parabéns à Anthropic por tentar acompanhar. Talvez da próxima vez eles nos surpreendam!
0
5 мая 2025 г., 0:00:00 GMT
Claude 3.5 Sonnet está bien, pero no puede competir con ChatGPT en pruebas de codificación. ¡Es como llevar un cuchillo a un tiroteo! 😂 Sin embargo, es una mejora respecto a la versión anterior, así que felicidades a Anthropic por intentarlo. ¡Quizás la próxima vez nos sorprendan!
0
