AI 벤치 마크 : 지금은 무시해야합니까?

TechCrunch의 정기 AI 뉴스레터에 오신 것을 환영합니다! 잠시 휴식을 취하지만, 걱정하지 마세요. TechCrunch에서 제 칼럼, 일일 분석, 속보를 포함한 모든 AI 관련 소식을 여전히 확인할 수 있습니다. 매일 이메일로 이 소식을 받고 싶으신가요? 여기에서 일일 뉴스레터에 가입하세요.

이번 주, 엘론 머스크의 AI 스타트업 xAI가 최신 플래그십 AI 모델 Grok 3를 공개했습니다. 이 모델은 회사의 Grok 챗봇 앱을 구동하며, 무려 200,000개의 GPU로 훈련되었습니다. 수학, 코딩 등의 벤치마크에서 OpenAI의 일부 모델을 포함한 여러 최고 모델을 능가하고 있습니다.

하지만 이 벤치마크가 실제로 의미하는 바를 살펴봅시다.

TC에서는 이러한 벤치마크 수치를 보도하지만, 항상 기뻐하지는 않습니다. 왜냐하면 이는 AI 산업이 모델의 개선을 보여주기 위해 사용하는 몇 안 되는 방법 중 하나이기 때문입니다. 문제는 이러한 인기 있는 AI 벤치마크가 종종 모호한 것에 초점을 맞추고, 사람들이 실제로 중요하게 여기는 작업에서의 AI 성능을 제대로 반영하지 않는 점수로 나타난다는 점입니다.

Wharton의 교수인 Ethan Mollick은 X에서 더 나은 테스트와 이를 수행할 독립적인 단체가 필요하다고 말했습니다. 그는 AI 회사들이 종종 자체 벤치마크 결과를 보고하기 때문에 이를 완전히 신뢰하기 어렵다고 지적했습니다.

"공공 벤치마크는 '그저 그렇다'고 할 수 있으며, 포화 상태에 있어 AI 테스트는 음식 리뷰처럼 취향에 기반한 경우가 많습니다,"라고 Mollick은 썼습니다. "AI가 업무에 중요하다면, 더 많은 것이 필요합니다."

AI를 위한 새로운 벤치마크를 만들려는 사람들이 많지만, 무엇이 최선인지에 대한 합의는 없습니다. 일부는 벤치마크가 유용하려면 경제적 영향에 초점을 맞춰야 한다고 생각하고, 다른 이들은 실세계에서의 채택과 유용성이 성공의 진정한 척도라고 믿습니다.

이 논쟁은 영원히 계속될 수 있습니다. 아마도 X 사용자 Roon이 제안한 것처럼, 새로운 모델과 벤치마크에 덜 신경 쓰고, 주요 AI 돌파구가 있을 때까지 기다리는 것이 정신 건강에 더 좋을지도 모릅니다. 비록 그로 인해 일부 AI 과대 광고를 놓치더라도 말입니다.

앞서 언급했듯이, This Week in AI는 휴식을 취합니다. 독자 여러분, 모든 기복을 함께해 주셔서 감사합니다. 다음에 만나요.

뉴스

OpenAI의 전 CTO인 Mira Murati는 Thinking Machines Lab이라는 새로운 스타트업을 설립했습니다. 그들은 "[사람들의 고유한 필요와 목표]를 위한 AI 작업"을 만드는 도구를 개발 중입니다.

xAI는 Grok 3를 출시하고 iOS와 웹용 Grok 앱에 새로운 기능을 추가했습니다.

Meta는 올봄 첫 번째 생성 AI 중심 개발자 컨퍼런스를 개최합니다. Llama 모델의 이름을 딴 LlamaCon으로, 4월 29일에 열립니다.

Paul은 약 20개 조직이 참여한 OpenEuroLLM 프로젝트에 대해 썼습니다. 이 프로젝트는 모든 EU 언어의 "언어적, 문화적 다양성"을 존중하는 "유럽의 투명한 AI"를 위한 기반 모델을 구축하는 것입니다.

이번 주의 연구 논문

OpenAI는 최고 성능 모델인 Anthropic의 Claude 3.5 Sonnet이 전체 SWE-Lancer 벤치마크에서 40.3%만 기록했다고 밝혔으며, 이는 AI가 아직 갈 길이 멀다는 것을 보여줍니다. 그들은 OpenAI의 o3-mini나 중국의 DeepSeek의 R1 같은 최신 모델은 테스트하지 않았습니다.

이번 주의 모델

Stepfun이라는 중국 AI 회사가 중국어, 영어, 일본어로 음성을 이해하고 생성할 수 있는 "오픈" AI 모델 Step-Audio를 출시했습니다. 사용자는 합성 오디오의 감정과 방언, 심지어 노래까지 조정할 수 있습니다.

Stepfun은 관대한 라이선스로 모델을 출시하는 잘 자금 지원받는 중국 AI 스타트업 중 하나입니다. 2023년에 설립된 이들은 최근 중국 국영 사모펀드 투자자들로부터 수억 달러 규모의 펀딩 라운드를 마무리했습니다.

잡다한 소식

그들의 모델 DeepHermes-3 Preview는 정확성과 계산 능력을 균형 있게 유지하기 위해 짧고 긴 "사고의 연쇄"를 전환할 수 있습니다. "추론" 모드에서는 더 어려운 문제를 해결하는 데 시간이 더 걸리며, 그 과정에서 사고 과정을 보여줍니다.

Anthropic은 곧 비슷한 모델을 출시할 계획이라고 하며, OpenAI도 단기 로드맵에 있다고 밝혔습니다.