AI Benchmarks: devemos ignorá -los por enquanto?

# openai # xai

Bem -vindo ao boletim informativo regular da AI da TechCrunch! Estamos fazendo uma pequena pausa, mas não se preocupe, você ainda pode obter toda a nossa cobertura de IA, incluindo minhas colunas, análise diária e notícias de última hora, aqui no TechCrunch. Quer levar essas histórias diretamente para sua caixa de entrada todos os dias? Basta se inscrever em nossos boletins diários aqui.

Nesta semana, a startup de AI de Elon Musk, XAI, lançou seu mais recente modelo de IA, Grok 3, que está alimentando os aplicativos Grok Chatbot da empresa. Eles o treinaram em uma enorme quantidade de GPUs e está superando um monte de outros modelos de topo, incluindo alguns do OpenAI, em benchmarks para matemática, codificação e muito mais.

Mas vamos falar sobre o que esses benchmarks realmente significam.

Aqui na TC, relatamos esses números de referência, mesmo que nem sempre estamos emocionados com isso, porque eles são uma das poucas maneiras pelas quais a indústria da IA ​​tenta mostrar como seus modelos estão melhorando. O problema é que esses benchmarks populares de IA geralmente se concentram em coisas obscuras e fornecem pontuações que realmente não refletem o quão bem a IA faz as coisas que as pessoas realmente se preocupam.

Ethan Mollick, professor da Wharton, levou a X para dizer que há uma necessidade real de melhores testes e grupos independentes para administrá -los. Ele ressaltou que as empresas de IA geralmente relatam seus próprios resultados de referência, o que dificulta a confiança delas completamente.

"Os benchmarks públicos são 'meh' e saturados, deixando muitos testes de IA como críticas de alimentos, com base no sabor", escreveu Mollick. "Se a IA é fundamental para trabalhar, precisamos de mais".

Há muitas pessoas por aí tentando criar novos benchmarks para a IA, mas ninguém pode concordar com o que é melhor. Alguns acham que os benchmarks devem se concentrar no impacto econômico para serem úteis, enquanto outros acreditam que a adoção e a utilidade do mundo real são as verdadeiras medidas de sucesso.

Este debate pode continuar para sempre. Talvez, como o X, o usuário Roon sugere, devemos apenas prestar menos atenção a novos modelos e benchmarks, a menos que haja um grande avanço da IA. Pode ser melhor para a nossa sanidade, mesmo que signifique perder algum hype de IA.

Como mencionado, esta semana na IA está fazendo uma pausa. Obrigado por ficar conosco, leitores, através de todos os altos e baixos. Até a próxima vez.

Notícias

O Openai está tentando "Uncenor" Chatgpt. Max escreveu sobre como eles estão mudando sua abordagem para o desenvolvimento da IA ​​para adotar a "liberdade intelectual", mesmo em tópicos difíceis ou controversos.

Mira Murati, ex -CTO do Openai, tem uma nova startup chamada Thinking Machines Lab. Eles estão trabalhando em ferramentas para "fazer a IA funcionar para as necessidades e objetivos exclusivos das pessoas".

A Xai lançou o Grok 3 e adicionou novos recursos aos aplicativos GROK para iOS e a Web.

A Meta está organizando sua primeira conferência de desenvolvedor focada na IA generativa nesta primavera. Chama -se Llamacon, depois de seus modelos de lhama, e está acontecendo em 29 de abril.

Paul escreveu sobre o OpenEurollm, um projeto de cerca de 20 organizações para construir modelos de fundação para "IA transparente na Europa", que respeita a "diversidade linguística e cultural" de todas as línguas da UE.

Documento de pesquisa da semana

Os pesquisadores do OpenAI criaram um novo benchmark de IA chamado SWE-Lancer para testar o quão bem a IA pode codificar. É composto por mais de 1.400 tarefas de engenharia de software freelancer, desde corrigindo bugs e adicionar recursos à propor implementações técnicas.

O Openai diz que o modelo de melhor desempenho, o Claude 3,5 soneto da Anthropic, obteve apenas 40,3% no benchmark completo do SWE-Lancer, que mostra que a IA ainda tem um longo caminho a percorrer. Eles não testaram modelos mais novos como o O3-Mini do Openai ou o R1 da Deepseek da China.

Modelo da semana

Uma empresa de IA chinesa chamada Stepfun lançou um modelo "aberto" chamado Step-Audio que pode entender e gerar discursos em chinês, inglês e japonês. Os usuários podem até ajustar a emoção e o dialeto do áudio sintético, incluindo o canto.

O Stepfun é uma das várias startups de IA chinesas bem financiadas que liberam modelos com licenças permissivas. Fundados em 2023, eles fecharam recentemente uma rodada de financiamento no valor de centenas de milhões de investidores, incluindo empresas de private equity estatais chinesas.

Saco de pega

A Nous Research, um grupo de pesquisa de IA, afirma ter lançado um dos primeiros modelos de IA que combina raciocínio com "recursos intuitivos de modelo de linguagem".

Seu modelo, DeepHermes-3, pode alternar entre "cadeias de pensamento" curtas e longas para equilibrar a precisão e o poder computacional. No modo de "raciocínio", leva mais tempo para resolver problemas mais difíceis e mostra seu processo de pensamento ao longo do caminho.

A Anthropic está planejando lançar um modelo semelhante em breve, e o Openai diz que está no roteiro de curto prazo.

Artigo relacionado

Comentários (55)