OpenAI actualiza sus modelos de transcripción y generación de voz de voz

Operai está implementando nuevos modelos de IA para la transcripción y la generación de voz a través de su API, prometiendo mejoras significativas sobre sus versiones anteriores. Estas actualizaciones son parte de la visión "agente" más grande de OpenAI, que se centra en la creación de sistemas autónomos capaces de realizar tareas de forma independiente para los usuarios. Si bien se puede debatir el término "agente", el jefe de producto de Operai, Olivier Godement, lo ve como un chatbot que puede interactuar con los clientes de una empresa.

"Vamos a ver que cada vez más agentes emergen en los próximos meses", compartió el Dios con TechCrunch durante una sesión informativa. "El objetivo general es ayudar a los clientes y desarrolladores a utilizar agentes que sean útiles, accesibles y precisos".

El último modelo de texto a voz de OpenAI, denominado "GPT-4O-Mini-TTS", no solo tiene como objetivo producir un habla más realista y matizada, sino que también es más adaptable que sus predecesores. Los desarrolladores ahora pueden guiar el modelo utilizando comandos de lenguaje natural, como "hablar como un científico loco" o "usar una voz serena, como un maestro de atención plena". Este nivel de control permite una experiencia de voz más personalizada.

Aquí hay una muestra de un "verdadero estilo del crimen", la voz desgastada:

Y aquí hay un ejemplo de una voz "profesional" femenina:

Jeff Harris, miembro del equipo de productos de Operai, enfatizó a TechCrunch que el objetivo es permitir a los desarrolladores personalizar tanto la "experiencia" de la voz y el "contexto". "En varios escenarios, no quieres una voz monótona", explicó Harris. "Por ejemplo, en un entorno de atención al cliente donde la voz debe parecer disculpada por un error, puede infundir esa emoción en la voz. Creemos firmemente que los desarrolladores y usuarios desean controlar no solo el contenido, sino también la forma del habla".

Mudándose a las nuevas ofertas de voz a texto de OpenAi, "GPT-4O-TRANSCRIE" y "GPT-4O-Mini-Transcribe", estos modelos están configurados para reemplazar el modelo de transcripción Whisper obsoleto. Entrenados en una variedad diversa de datos de audio de alta calidad, afirman manejar mejor el habla acentuada y variada, incluso en entornos ruidosos. Además, estos modelos son menos propensos a "alucinaciones", un problema en el que Whisper a veces inventaba palabras o pasajes completos, agregando inexactitudes como comentarios raciales o tratamientos médicos ficticios a las transcripciones.

"Estos modelos muestran una mejora significativa sobre Whisper a este respecto", señaló Harris. "Asegurar la precisión del modelo es crucial para una experiencia de voz confiable, y con precisión, nos referimos a los modelos que capturan correctamente las palabras habladas sin agregar contenido sin voz".

Sin embargo, el rendimiento puede variar en todos los idiomas. Los puntos de referencia internos de OpenAI indican que GPT-4O-transcribe, cuanto más preciso de los dos, tiene una "tasa de error de palabras" que se acerca al 30% para los idiomas IND y Dravidian como Tamil, Telugu, Malayalam y Kannada. Esto sugiere que aproximadamente tres de cada diez palabras pueden diferir de una transcripción humana en estos idiomas.

En una desviación de su práctica habitual, OpenAI no hará estos nuevos modelos de transcripción disponibles gratuitamente. Históricamente, publicaron nuevas versiones Whisper bajo una licencia MIT para uso comercial. Harris señaló que GPT-4O-Transcribe y GPT-4O-Mini-Transcribe son significativamente más grandes que Whisper, lo que los hace inadecuados para el lanzamiento abierto.

"Estos modelos son demasiado grandes para ejecutar en una computadora portátil típica como Whisper podría", agregó Harris. "Cuando lanzamos modelos abiertamente, queremos hacerlo cuidadosamente, asegurando que estén adaptados a necesidades específicas. Vemos dispositivos de usuario final como un área principal para modelos de código abierto".

Actualizado el 20 de marzo de 2025, 11:54 a.m. PT para aclarar el idioma en torno a la tasa de error de palabras y actualizar la tabla de resultados de referencia con una versión más reciente.