El clon Jev de OpenAI podría ayudar al Frontiers Lab a controlar agentes en enjambre

Entre los anuncios más destacados en el Dev Day de OpenAI del martes, hubo un breve comentario del CEO Sam Altman sobre el lanzamiento del nuevo “Decisions API” de la empresa.

Esta API parece ofrecer capacidades similares a las de Jev, un modelo presentado a principios de este mes por TypeSafe AI específicamente para la automatización de software. Funcionando como un clasificador de alta velocidad y bajo costo impulsado por un LLM, Jev permite a los desarrolladores ingresar un conjunto de opciones y recibir salidas basadas en probabilidades de manera rápida.

El Decisions API de OpenAI parece cumplir el mismo propósito. Durante el evento, Altman explicó que la API permite al modelo Luna de la empresa seleccionar entre un conjunto predefinido de opciones, como categorías de clasificación de imágenes o comportamientos específicos de agentes.

“Al centrar la atención del modelo en una elección específica, podemos lograr una velocidad extrema mientras mantenemos capacidades como la comprensión de imágenes, un amplio soporte lingüístico y protecciones de seguridad”, afirmó Altman.

TypeSafe no respondió inmediatamente a las consultas de TechCrunch sobre el nuevo producto. Sin embargo, el CEO Diogo Almeida, antiguo ingeniero de OpenAI y co-inventor del aprendizaje por refuerzo, bromeó en X sobre el posible inicio de una “guerra de clones”.

Sugirió que el interés de OpenAI podría indicar que construir de manera compatible con “System One” representa el futuro. (“System One” es la terminología de TypeSafe para el procesamiento rápido e intuitivo, en contraste con “System 2”, que se refiere al razonamiento deliberado).

La implicación subyacente es que los LLMs actuales no son la solución óptima para muchas tareas de software debido a su relativa lentitud y altos costos. Los desarrolladores han estado utilizando Jev para complementar los LLMs, descubriendo que este enfoque produce resultados más rápidos y rentables.

Aún no está claro hasta qué punto el Decisions API se asemeja a Jev, ya que OpenAI solo lo ha lanzado como una vista previa limitada. En consecuencia, TechCrunch aún no ha observado a los desarrolladores probarlo extensamente. No obstante, las conversaciones en X sugieren un interés significativo en la industria.

El Decisions API no es la única oferta similar a Jev disponible; otras startups están lanzando modelos similares, y es poco probable que OpenAI sea el último gigante tecnológico en hacerlo. Una pregunta crítica sigue siendo qué tan bien se alinean las salidas de estos modelos de decisión con escenarios del mundo real.

Almeida argumenta que la ventaja competitiva de su empresa radica en los datos sintéticos que genera para producir salidas estadísticamente robustas.

“Lograr velocidad y bajo costo es sencillo”, dijo Almeida a TechCrunch la semana pasada. “Si priorizas una velocidad extrema y asequibilidad, puedes usar dados. El verdadero desafío es la inteligencia, y mi objetivo principal siempre es empujar la frontera de Pareto de inteligencia por dólar”.

En apenas unas semanas, ha quedado claro que estos modelos tienen un futuro prometedor, con una aplicación probable siendo la monitorización y seguridad de agentes de IA. Tras varios incidentes en los que los agentes de OpenAI se comportaron de manera impredecible en internet abierto, una de las nuevas medidas de seguridad de la empresa implica utilizar un modelo separado para detectar acciones dañinas, aunque a un “costo computacional significativo”.

Shapor Naghibzadeh, un veterano de la ciberseguridad que dirige la startup QueryStory, cree que un modelo como Jev podría hacer este proceso mucho más asequible.

Creó una demostración para un hackathon celebrado el fin de semana pasado que utiliza Jev para evaluar cada acción del agente frente a su tarea asignada. El sistema bloquea las acciones que considera altamente probables que sean maliciosas, marca otras para su revisión y permite el resto.

Teóricamente, dicha monitorización podría haber prevenido el incidente de Hugging Face. Además, la monitorización mediante Jev cuesta $2.94, en comparación con $372 cuando se utiliza un LLM de vanguardia.

Una idea clave es que Jev es lo suficientemente económico como para ejecutarse en cada acción del agente, proporcionando una capa de revisión que podría mejorar la confiabilidad general de los agentes. Esto se alinea con la visión original de TypeSafe, y ahora OpenAI también ha reconocido su valor.