메타의 AI 모델 벤치 마크 : 오도?
2025년 4월 10일
TimothyMitchell
10
그래서 메타는 주말 동안 새로운 AI 모델 인 Maverick을 떨어 뜨 렸으며 LM Arena에서 2 위를 차지하여 이미 파도를 만들고 있습니다. 알다시피, 그것은 인간이 판사와 배심원을 플레이하여 다양한 AI 모델을 비교하고 즐겨 찾기를 선택하는 곳입니다. 그러나, 계속, 왜곡이 있습니다! LM Arena에서 그 물건을 스트리핑하는 Maverick 버전은 개발자로 다운로드하고 플레이 할 수있는 것과 다릅니다.
X의 일부 독수리 AI 연구원 (예, 이전에 Twitter로 알려진 플랫폼)은 메타가 LM Arena 버전을 "실험 채팅 버전"이라고 불렀습니다. 그리고 라마 웹 사이트를 들여다 보면 콩을 쏟아 부는 차트가 있습니다. "Llama 4 Maverick은 대화 성을 최적화했습니다." 이제 우리는 이전에 이것에 대해 이야기했지만 LM Arena는 AI 성능을 측정하기위한 골드 표준이 아닙니다. 대부분의 AI 회사는이 테스트에서 더 나은 점수를 받기 위해 모델을 엉망으로 만들지 않습니다. 또는 적어도 인정하지 않습니다.
문제는 벤치 마크를 ACE로 만들기 위해 모델을 조정했지만 다른 "바닐라"버전을 대중에게 공개 할 때 개발자가 실제 시나리오에서 모델이 실제로 얼마나 잘 수행 할 것인지 알아 내기가 어렵다는 것입니다. 게다가, 그것은 오해의 소지가 있습니다. 그대로 결함이있는 벤치 마크는 모델이 다른 작업에서 할 수 있고 할 수없는 일에 대한 명확한 그림을 제공해야합니다.
X의 연구원들은 다운로드 할 수있는 Maverick과 LM Arena의 큰 차이점을 신속하게 알 수있었습니다. 경기장 버전은 분명히 이모티콘에 관한 것이며 당신에게 길고 뽑은 답변을주는 것을 좋아합니다.
좋아 라마 4 는 끔찍한 요리 LOL입니다.
- Nathan Lambert (@Natolambert) 2025 년 4 월 6 일
어떤 이유로, Arena의 Llama 4 모델은 훨씬 더 많은 이모티콘을 사용합니다.
함께. AI, 더 좋아 보인다 : pic.twitter.com/f74odx4ztt
- Tech Dev Notes (@techdevnotes) 2025 년 4 월 6 일
우리는 LM Arena를 운영하는 Chatbot Arena의 메타와 사람들 에게이 모든 것에 대해 무엇을 말해야하는지 확인했습니다. 계속 지켜봐!
관련 기사
메타는 LLAMA 4 릴리스를 방어하고 혼합 품질 보고서의 원인으로 버그를 인용합니다.
주말 동안, Facebook, Instagram, Whatsapp 및 Quest VR 뒤의 강국 인 Meta는 최신 AI 언어 모델 인 Llama 4를 공개하여 모든 사람들을 놀라게했습니다. 하나뿐만 아니라 3 개의 새로운 버전이 소개되었습니다.
법률 교수는 Meta와의 AI 저작권 전투에서 저자를 지원합니다.
한 저작권법 교수 그룹은 기술 대기업이 저자의 동의없이 전자 책에 대해 LLAMA AI 모델을 전자 책으로 훈련 시켰다고 주장하면서 메타를 고소하는 저자의지지를 주었다. 교수들은 금요일 캘리포니아 북부 지역의 미국 지방 법원에서 아미 쿠스 브리핑을 제출했습니다.
Meta AI는 곧 EU 사용자의 데이터를 훈련시킬 것입니다
Meta는 최근 Facebook 및 Instagram과 같은 플랫폼의 EU 사용자의 데이터를 사용하여 AI를 교육 할 계획을 공개했습니다. 이 이니셔티브는 메타 AI와의 공개 게시물, 의견 및 채팅 이력을 활용하지만 친구 및 가족과의 개인 메시지는 제한이 없습니다.
의견 (35)
0/200
![JerryGonzalez]()
JerryGonzalez
2025년 4월 10일 오전 10시 18분 45초 GMT
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
![CarlKing]()
CarlKing
2025년 4월 10일 오전 10시 18분 45초 GMT
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
![SamuelEvans]()
SamuelEvans
2025년 4월 10일 오전 10시 18분 45초 GMT
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
![BenWalker]()
BenWalker
2025년 4월 10일 오전 10시 18분 45초 GMT
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
![RobertLewis]()
RobertLewis
2025년 4월 10일 오전 10시 18분 45초 GMT
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
![KevinBaker]()
KevinBaker
2025년 4월 11일 오후 6시 25분 4초 GMT
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
2025년 4월 10일
TimothyMitchell
10
그래서 메타는 주말 동안 새로운 AI 모델 인 Maverick을 떨어 뜨 렸으며 LM Arena에서 2 위를 차지하여 이미 파도를 만들고 있습니다. 알다시피, 그것은 인간이 판사와 배심원을 플레이하여 다양한 AI 모델을 비교하고 즐겨 찾기를 선택하는 곳입니다. 그러나, 계속, 왜곡이 있습니다! LM Arena에서 그 물건을 스트리핑하는 Maverick 버전은 개발자로 다운로드하고 플레이 할 수있는 것과 다릅니다.
X의 일부 독수리 AI 연구원 (예, 이전에 Twitter로 알려진 플랫폼)은 메타가 LM Arena 버전을 "실험 채팅 버전"이라고 불렀습니다. 그리고 라마 웹 사이트를 들여다 보면 콩을 쏟아 부는 차트가 있습니다. "Llama 4 Maverick은 대화 성을 최적화했습니다." 이제 우리는 이전에 이것에 대해 이야기했지만 LM Arena는 AI 성능을 측정하기위한 골드 표준이 아닙니다. 대부분의 AI 회사는이 테스트에서 더 나은 점수를 받기 위해 모델을 엉망으로 만들지 않습니다. 또는 적어도 인정하지 않습니다.
문제는 벤치 마크를 ACE로 만들기 위해 모델을 조정했지만 다른 "바닐라"버전을 대중에게 공개 할 때 개발자가 실제 시나리오에서 모델이 실제로 얼마나 잘 수행 할 것인지 알아 내기가 어렵다는 것입니다. 게다가, 그것은 오해의 소지가 있습니다. 그대로 결함이있는 벤치 마크는 모델이 다른 작업에서 할 수 있고 할 수없는 일에 대한 명확한 그림을 제공해야합니다.
X의 연구원들은 다운로드 할 수있는 Maverick과 LM Arena의 큰 차이점을 신속하게 알 수있었습니다. 경기장 버전은 분명히 이모티콘에 관한 것이며 당신에게 길고 뽑은 답변을주는 것을 좋아합니다.
좋아 라마 4 는 끔찍한 요리 LOL입니다.
- Nathan Lambert (@Natolambert) 2025 년 4 월 6 일
어떤 이유로, Arena의 Llama 4 모델은 훨씬 더 많은 이모티콘을 사용합니다.
- Tech Dev Notes (@techdevnotes) 2025 년 4 월 6 일
함께. AI, 더 좋아 보인다 : pic.twitter.com/f74odx4ztt
우리는 LM Arena를 운영하는 Chatbot Arena의 메타와 사람들 에게이 모든 것에 대해 무엇을 말해야하는지 확인했습니다. 계속 지켜봐!
메타는 LLAMA 4 릴리스를 방어하고 혼합 품질 보고서의 원인으로 버그를 인용합니다.
주말 동안, Facebook, Instagram, Whatsapp 및 Quest VR 뒤의 강국 인 Meta는 최신 AI 언어 모델 인 Llama 4를 공개하여 모든 사람들을 놀라게했습니다. 하나뿐만 아니라 3 개의 새로운 버전이 소개되었습니다.
법률 교수는 Meta와의 AI 저작권 전투에서 저자를 지원합니다.
한 저작권법 교수 그룹은 기술 대기업이 저자의 동의없이 전자 책에 대해 LLAMA AI 모델을 전자 책으로 훈련 시켰다고 주장하면서 메타를 고소하는 저자의지지를 주었다. 교수들은 금요일 캘리포니아 북부 지역의 미국 지방 법원에서 아미 쿠스 브리핑을 제출했습니다.
Meta AI는 곧 EU 사용자의 데이터를 훈련시킬 것입니다
Meta는 최근 Facebook 및 Instagram과 같은 플랫폼의 EU 사용자의 데이터를 사용하여 AI를 교육 할 계획을 공개했습니다. 이 이니셔티브는 메타 AI와의 공개 게시물, 의견 및 채팅 이력을 활용하지만 친구 및 가족과의 개인 메시지는 제한이 없습니다.
2025년 4월 10일 오전 10시 18분 45초 GMT
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
2025년 4월 10일 오전 10시 18분 45초 GMT
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
2025년 4월 10일 오전 10시 18분 45초 GMT
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
2025년 4월 10일 오전 10시 18분 45초 GMT
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
2025년 4월 10일 오전 10시 18분 45초 GMT
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
2025년 4월 11일 오후 6시 25분 4초 GMT
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
