Meta's Model Model Clardmarks: Вводятся в заблуждение?
10 апреля 2025 г.
TimothyMitchell
10
Итак, Meta выпустила свою новую модель искусственного интеллекта, Maverick, на выходных, и уже делает волны, заняв второе место на LM Arena. Вы знаете, это место, где люди играют в судью и присяжных, сравнивая различные модели ИИ и выбирая их фавориты. Но, держись, есть поворот! Оказывается, Maverick Version, намечающая свои вещи на LM Arena, не совсем то же самое, что и та, с которой вы можете скачать и играть в качестве разработчика.
Некоторые исследователи ИИ с орлиными глазами на X (да, платформа, ранее известная как Twitter), заметили, что Meta назвала версию LM Arena «экспериментальная версия чата». И если вы загляните на веб -сайт Llama, есть диаграмма, которая проливает бобы, говоря, что тестирование было сделано с «Llama 4 Maverick Optimized для разговорности». Теперь мы говорили об этом раньше, но LM Arena не совсем золотой стандарт для измерения производительности искусственного интеллекта. Большинство компаний искусственного интеллекта не связываются со своими моделями, просто чтобы лучше забить в этом тесте - или, по крайней мере, они не признаются в этом.
Дело в том, что когда вы настраиваете модель для того, чтобы выпустить эталон, но затем выпускаете другую версию «ванили» для публики, разработчикам трудно выяснить, насколько хорошо модель действительно будет работать в реальных сценариях. Плюс, это вроде вводит в заблуждение, верно? Цитрицы, которые, как они ни были, должны дать нам четкое представление о том, что модель может и не может делать в разных задачах.
Исследователи на X быстро заметили некоторые большие различия между Maverick, который вы можете скачать, и тем, что на LM Arena. Версия на арене, по-видимому, все о смайликах и любит давать вам долгие, вытянутые ответы.
Хорошо, Llama 4 - это маленькая приготовленная, лол, что это за Yap City Pic.twitter.com/y3gvhbvz65
- Натан Ламберт (@natolambert) 6 апреля 2025 г.
По какой -то причине модель Llama 4 на арене использует гораздо больше смайликов
вместе. ИИ, кажется, лучше: pic.twitter.com/f74odx4ztt
- Tech Dev Notes (@techdevnotes) 6 апреля 2025 г.
Мы обратились к Meta и людям в Chatbot Arena, которые управляют LM Arena, чтобы посмотреть, что они говорят обо всем этом. Следите за обновлениями!
Связанная статья
메타는 LLAMA 4 릴리스를 방어하고 혼합 품질 보고서의 원인으로 버그를 인용합니다.
주말 동안, Facebook, Instagram, Whatsapp 및 Quest VR 뒤의 강국 인 Meta는 최신 AI 언어 모델 인 Llama 4를 공개하여 모든 사람들을 놀라게했습니다. 하나뿐만 아니라 3 개의 새로운 버전이 소개되었습니다.
법률 교수는 Meta와의 AI 저작권 전투에서 저자를 지원합니다.
한 저작권법 교수 그룹은 기술 대기업이 저자의 동의없이 전자 책에 대해 LLAMA AI 모델을 전자 책으로 훈련 시켰다고 주장하면서 메타를 고소하는 저자의지지를 주었다. 교수들은 금요일 캘리포니아 북부 지역의 미국 지방 법원에서 아미 쿠스 브리핑을 제출했습니다.
Meta AI는 곧 EU 사용자의 데이터를 훈련시킬 것입니다
Meta는 최근 Facebook 및 Instagram과 같은 플랫폼의 EU 사용자의 데이터를 사용하여 AI를 교육 할 계획을 공개했습니다. 이 이니셔티브는 메타 AI와의 공개 게시물, 의견 및 채팅 이력을 활용하지만 친구 및 가족과의 개인 메시지는 제한이 없습니다.
Комментарии (35)
![JerryGonzalez]()
JerryGonzalez
10 апреля 2025 г., 10:18:45 GMT
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
![CarlKing]()
CarlKing
10 апреля 2025 г., 10:18:45 GMT
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
![SamuelEvans]()
SamuelEvans
10 апреля 2025 г., 10:18:45 GMT
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
![BenWalker]()
BenWalker
10 апреля 2025 г., 10:18:45 GMT
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
![RobertLewis]()
RobertLewis
10 апреля 2025 г., 10:18:45 GMT
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
![KevinBaker]()
KevinBaker
11 апреля 2025 г., 18:25:04 GMT
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
10 апреля 2025 г.
TimothyMitchell
10
Итак, Meta выпустила свою новую модель искусственного интеллекта, Maverick, на выходных, и уже делает волны, заняв второе место на LM Arena. Вы знаете, это место, где люди играют в судью и присяжных, сравнивая различные модели ИИ и выбирая их фавориты. Но, держись, есть поворот! Оказывается, Maverick Version, намечающая свои вещи на LM Arena, не совсем то же самое, что и та, с которой вы можете скачать и играть в качестве разработчика.
Некоторые исследователи ИИ с орлиными глазами на X (да, платформа, ранее известная как Twitter), заметили, что Meta назвала версию LM Arena «экспериментальная версия чата». И если вы загляните на веб -сайт Llama, есть диаграмма, которая проливает бобы, говоря, что тестирование было сделано с «Llama 4 Maverick Optimized для разговорности». Теперь мы говорили об этом раньше, но LM Arena не совсем золотой стандарт для измерения производительности искусственного интеллекта. Большинство компаний искусственного интеллекта не связываются со своими моделями, просто чтобы лучше забить в этом тесте - или, по крайней мере, они не признаются в этом.
Дело в том, что когда вы настраиваете модель для того, чтобы выпустить эталон, но затем выпускаете другую версию «ванили» для публики, разработчикам трудно выяснить, насколько хорошо модель действительно будет работать в реальных сценариях. Плюс, это вроде вводит в заблуждение, верно? Цитрицы, которые, как они ни были, должны дать нам четкое представление о том, что модель может и не может делать в разных задачах.
Исследователи на X быстро заметили некоторые большие различия между Maverick, который вы можете скачать, и тем, что на LM Arena. Версия на арене, по-видимому, все о смайликах и любит давать вам долгие, вытянутые ответы.
Хорошо, Llama 4 - это маленькая приготовленная, лол, что это за Yap City Pic.twitter.com/y3gvhbvz65
- Натан Ламберт (@natolambert) 6 апреля 2025 г.
По какой -то причине модель Llama 4 на арене использует гораздо больше смайликов
- Tech Dev Notes (@techdevnotes) 6 апреля 2025 г.
вместе. ИИ, кажется, лучше: pic.twitter.com/f74odx4ztt
Мы обратились к Meta и людям в Chatbot Arena, которые управляют LM Arena, чтобы посмотреть, что они говорят обо всем этом. Следите за обновлениями!
메타는 LLAMA 4 릴리스를 방어하고 혼합 품질 보고서의 원인으로 버그를 인용합니다.
주말 동안, Facebook, Instagram, Whatsapp 및 Quest VR 뒤의 강국 인 Meta는 최신 AI 언어 모델 인 Llama 4를 공개하여 모든 사람들을 놀라게했습니다. 하나뿐만 아니라 3 개의 새로운 버전이 소개되었습니다.
법률 교수는 Meta와의 AI 저작권 전투에서 저자를 지원합니다.
한 저작권법 교수 그룹은 기술 대기업이 저자의 동의없이 전자 책에 대해 LLAMA AI 모델을 전자 책으로 훈련 시켰다고 주장하면서 메타를 고소하는 저자의지지를 주었다. 교수들은 금요일 캘리포니아 북부 지역의 미국 지방 법원에서 아미 쿠스 브리핑을 제출했습니다.
Meta AI는 곧 EU 사용자의 데이터를 훈련시킬 것입니다
Meta는 최근 Facebook 및 Instagram과 같은 플랫폼의 EU 사용자의 데이터를 사용하여 AI를 교육 할 계획을 공개했습니다. 이 이니셔티브는 메타 AI와의 공개 게시물, 의견 및 채팅 이력을 활용하지만 친구 및 가족과의 개인 메시지는 제한이 없습니다.
10 апреля 2025 г., 10:18:45 GMT
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
10 апреля 2025 г., 10:18:45 GMT
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
10 апреля 2025 г., 10:18:45 GMT
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
10 апреля 2025 г., 10:18:45 GMT
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
10 апреля 2025 г., 10:18:45 GMT
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
11 апреля 2025 г., 18:25:04 GMT
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
