Avance de escala de IA cuestionado por expertos

Ha habido cierto revuelo en las redes sociales sobre investigadores que descubrieron una nueva "ley de escalado" de IA, pero los expertos lo toman con escepticismo. Las leyes de escalado de IA, más bien guías informales, muestran cómo los modelos de IA mejoran al añadir más datos y potencia computacional. Hasta hace aproximadamente un año, la gran tendencia era el "pre-entrenamiento": entrenar modelos más grandes con conjuntos de datos más grandes. Eso sigue siendo relevante, pero ahora hay dos leyes de escalado más: el escalado post-entrenamiento, que se centra en ajustar el comportamiento de un modelo, y el escalado en tiempo de prueba, que implica usar más potencia computacional durante la inferencia para mejorar las capacidades de "razonamiento" de un modelo (piensa en modelos como R1).
Recientemente, investigadores de Google y UC Berkeley publicaron un artículo que algunos en línea llaman una cuarta ley: la "búsqueda en tiempo de inferencia". Este método hace que el modelo genere múltiples respuestas posibles a una consulta al mismo tiempo y luego elija la mejor. Los investigadores afirman que puede mejorar el rendimiento de un modelo antiguo, como Google's Gemini 1.5 Pro, para superar al modelo de "razonamiento" o1-preview de OpenAI en pruebas de ciencia y matemáticas.
Eric Zhao, becario de doctorado de Google y coautor del artículo, compartió en X que, al muestrear aleatoriamente 200 respuestas y permitir que el modelo se autoverifique, Gemini 1.5 – al que llamó en broma un "modelo antiguo de principios de 2024" – podría superar a o1-preview e incluso acercarse a o1. Señaló que la autoverificación se vuelve más fácil a medida que se escala, lo cual es algo contraintuitivo pero interesante.
Pero no todos están convencidos. Matthew Guzdial, investigador de IA y profesor asistente en la Universidad de Alberta, dijo a TechCrunch que este enfoque funciona mejor cuando tienes una forma sólida de evaluar las respuestas. Sin embargo, la mayoría de las preguntas no son tan claras. Dijo: "Si no podemos escribir código para definir lo que queremos, no podemos usar la búsqueda [en tiempo de inferencia]. Para algo como la interacción lingüística general, no podemos hacer esto... Generalmente no es un gran enfoque para resolver la mayoría de los problemas."
Zhao respondió diciendo que su artículo en realidad examina casos en los que no hay una forma clara de evaluar las respuestas, y el modelo debe resolverlo por sí mismo. Argumentó que la brecha entre tener una forma clara de evaluar y no tenerla puede reducirse al escalar.
Mike Cook, investigador en King's College London, apoyó la opinión de Guzdial, diciendo que la búsqueda en tiempo de inferencia no mejora realmente el razonamiento del modelo. Es más bien una solución para la tendencia del modelo a cometer errores con confianza. Señaló que si tu modelo falla el 5% de las veces, revisar 200 intentos debería facilitar la detección de esos errores.
Esta noticia podría ser un poco decepcionante para la industria de la IA, que siempre está buscando formas de mejorar el "razonamiento" de los modelos sin gastar una fortuna. Como señalaron los autores del artículo, los modelos de razonamiento pueden acumular miles de dólares en costos computacionales solo para resolver un problema matemático.
Parece que la búsqueda de nuevas técnicas de escalado está lejos de terminar.
Actualizado el 20/3 a las 5:12 a.m. Pacífico: Se agregaron comentarios del coautor del estudio Eric Zhao, quien discrepa con la evaluación de un investigador independiente que criticó el trabajo.
Artículo relacionado
Bayer aprovecha la IA de Iambic para acelerar el descubrimiento de fármacos
El Dr. Juergen Eckhardt ocupa el cargo de director de Desarrollo Empresarial y Licencias en Bayer Pharmaceuticals.Bayer está aprovechando la tecnología de Iambic Therapeutics para implementar modelos
La IA basada en la optimización surge como una nueva vía hacia los modelos de uso general
Investigadores de la Universidad de Illinois Urbana-Champaign y la Universidad de Virginia han creado una nueva arquitectura de modelo que podría allanar el camino para sistemas de IA más resilientes
El auge de la IA recuerda las preocupaciones sobre la burbuja de la era puntocom
La afluencia de inversiones multimillonarias en IA ha alimentado un acalorado debate: ¿se encamina la industria hacia una burbuja similar a la de las puntocom?Los inversores están atentos a cualquier
Recomendaciones de temas especiales relacionados
comentario (37)
0/500
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔

Ha habido cierto revuelo en las redes sociales sobre investigadores que descubrieron una nueva "ley de escalado" de IA, pero los expertos lo toman con escepticismo. Las leyes de escalado de IA, más bien guías informales, muestran cómo los modelos de IA mejoran al añadir más datos y potencia computacional. Hasta hace aproximadamente un año, la gran tendencia era el "pre-entrenamiento": entrenar modelos más grandes con conjuntos de datos más grandes. Eso sigue siendo relevante, pero ahora hay dos leyes de escalado más: el escalado post-entrenamiento, que se centra en ajustar el comportamiento de un modelo, y el escalado en tiempo de prueba, que implica usar más potencia computacional durante la inferencia para mejorar las capacidades de "razonamiento" de un modelo (piensa en modelos como R1).
Recientemente, investigadores de Google y UC Berkeley publicaron un artículo que algunos en línea llaman una cuarta ley: la "búsqueda en tiempo de inferencia". Este método hace que el modelo genere múltiples respuestas posibles a una consulta al mismo tiempo y luego elija la mejor. Los investigadores afirman que puede mejorar el rendimiento de un modelo antiguo, como Google's Gemini 1.5 Pro, para superar al modelo de "razonamiento" o1-preview de OpenAI en pruebas de ciencia y matemáticas.
Eric Zhao, becario de doctorado de Google y coautor del artículo, compartió en X que, al muestrear aleatoriamente 200 respuestas y permitir que el modelo se autoverifique, Gemini 1.5 – al que llamó en broma un "modelo antiguo de principios de 2024" – podría superar a o1-preview e incluso acercarse a o1. Señaló que la autoverificación se vuelve más fácil a medida que se escala, lo cual es algo contraintuitivo pero interesante.
Pero no todos están convencidos. Matthew Guzdial, investigador de IA y profesor asistente en la Universidad de Alberta, dijo a TechCrunch que este enfoque funciona mejor cuando tienes una forma sólida de evaluar las respuestas. Sin embargo, la mayoría de las preguntas no son tan claras. Dijo: "Si no podemos escribir código para definir lo que queremos, no podemos usar la búsqueda [en tiempo de inferencia]. Para algo como la interacción lingüística general, no podemos hacer esto... Generalmente no es un gran enfoque para resolver la mayoría de los problemas."
Zhao respondió diciendo que su artículo en realidad examina casos en los que no hay una forma clara de evaluar las respuestas, y el modelo debe resolverlo por sí mismo. Argumentó que la brecha entre tener una forma clara de evaluar y no tenerla puede reducirse al escalar.
Mike Cook, investigador en King's College London, apoyó la opinión de Guzdial, diciendo que la búsqueda en tiempo de inferencia no mejora realmente el razonamiento del modelo. Es más bien una solución para la tendencia del modelo a cometer errores con confianza. Señaló que si tu modelo falla el 5% de las veces, revisar 200 intentos debería facilitar la detección de esos errores.
Esta noticia podría ser un poco decepcionante para la industria de la IA, que siempre está buscando formas de mejorar el "razonamiento" de los modelos sin gastar una fortuna. Como señalaron los autores del artículo, los modelos de razonamiento pueden acumular miles de dólares en costos computacionales solo para resolver un problema matemático.
Parece que la búsqueda de nuevas técnicas de escalado está lejos de terminar.
Actualizado el 20/3 a las 5:12 a.m. Pacífico: Se agregaron comentarios del coautor del estudio Eric Zhao, quien discrepa con la evaluación de un investigador independiente que criticó el trabajo.
Bayer aprovecha la IA de Iambic para acelerar el descubrimiento de fármacos
El Dr. Juergen Eckhardt ocupa el cargo de director de Desarrollo Empresarial y Licencias en Bayer Pharmaceuticals.Bayer está aprovechando la tecnología de Iambic Therapeutics para implementar modelos
La IA basada en la optimización surge como una nueva vía hacia los modelos de uso general
Investigadores de la Universidad de Illinois Urbana-Champaign y la Universidad de Virginia han creado una nueva arquitectura de modelo que podría allanar el camino para sistemas de IA más resilientes
El auge de la IA recuerda las preocupaciones sobre la burbuja de la era puntocom
La afluencia de inversiones multimillonarias en IA ha alimentado un acalorado debate: ¿se encamina la industria hacia una burbuja similar a la de las puntocom?Los inversores están atentos a cualquier
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔





Hogar






