Alternativa superior a la herramienta de transcripción de IA de OpenAI: menos alucinación, más precisión

El Whisper de OpenAI, una herramienta de reconocimiento y transcripción de voz impulsada por IA lanzada en 2022, genera frecuentemente alucinaciones o información fabricada, lo que plantea preocupaciones sobre su potencial para causar daño en entornos críticos.

Un investigador de la Universidad de Michigan descubrió alucinaciones en el 80% de las transcripciones de audio de reuniones públicas que revisó. De manera similar, un ingeniero que analizó 100 horas de transcripciones de Whisper reportó alucinaciones en aproximadamente la mitad, y otro desarrollador las encontró en casi todas las transcripciones que creó, totalizando 26,000 casos.

Aunque los errores menores en la transcripción son comunes, los expertos señalaron que el nivel de alucinación de Whisper es sin precedentes entre las herramientas de transcripción de IA. OpenAI afirma que Whisper, una red neuronal de código abierto, logra una precisión casi humana en el reconocimiento de voz en inglés. Es ampliamente utilizado en industrias para tareas como transcribir entrevistas, traducir contenido y generar subtítulos de video.

El uso generalizado de Whisper podría llevar a la propagación de texto fabricado, citas mal atribuidas y otra desinformación en diversas plataformas, con un impacto que varía según la naturaleza del contenido original. Whisper está integrado en algunas versiones de ChatGPT, usado en centros de llamadas, asistentes de voz y plataformas en la nube de Oracle y Microsoft, y fue descargado más de 4.2 millones de veces el último mes desde HuggingFace.

De particular preocupación es el creciente uso de herramientas basadas en Whisper por parte de profesionales médicos para transcribir consultas de pacientes. La AP habló con más de una docena de ingenieros, investigadores y desarrolladores que confirmaron que Whisper a menudo fabrica frases y oraciones completas, a veces incluyendo comentarios raciales, retórica violenta e incluso tratamientos médicos imaginados.

"Nadie quiere un diagnóstico erróneo," enfatizó Alondra Nelson, profesora del Instituto de Estudios Avanzados.

Aunque OpenAI desaconseja usar Whisper en dominios de alto riesgo como contextos de toma de decisiones donde los errores de precisión pueden generar problemas significativos, la precisión promocionada de la herramienta la hace atractiva para diversas industrias que buscan optimizar operaciones, a menudo pasando por alto los riesgos potenciales.

El problema no se limita a audios largos o mal grabados; los investigadores encontraron alucinaciones incluso en muestras de audio cortas y claras. Estiman que esto podría resultar en decenas de miles de transcripciones incorrectas en millones de grabaciones. Christian Vogler, director del Programa de Acceso Tecnológico de la Universidad de Gallaudet y sordo él mismo, señaló que las personas sordas o con dificultades auditivas podrían no detectar estas alucinaciones "ocultas entre todo este texto."

Estos hallazgos destacan un problema más amplio en la industria de la IA: la carrera por lanzar productos al mercado con fines de lucro, especialmente en ausencia de regulaciones integrales de IA en EE. UU. Esto es particularmente relevante en medio de debates sobre el estatus de OpenAI como empresa con o sin fines de lucro y recientes declaraciones de liderazgo que minimizan los riesgos de la IA.

Un portavoz de OpenAI dijo a la AP que la empresa está trabajando continuamente para reducir las alucinaciones y valora los hallazgos de los investigadores, incorporando retroalimentación en las actualizaciones del modelo.

Mientras tanto, sugerimos considerar Otter.ai, una herramienta de transcripción de IA confiable utilizada por periodistas, que recientemente añadió soporte para seis nuevos idiomas. Aunque un usuario de larga data reportó una estadística alucinada en una nueva función de resumen de IA, el error no apareció en la transcripción misma. Otter.ai aconseja a los usuarios revisar y editar las transcripciones para garantizar la precisión, especialmente para tareas críticas, señalando que la exactitud puede variar debido a factores como el ruido de fondo, acentos y la complejidad de la conversación.

Para usuarios de iPhone, iOS 18.1 con Apple Intelligence ahora ofrece grabación y transcripción de llamadas impulsadas por IA, aunque el editor en jefe de ZDNET, Jason Hiner, lo describe como "todavía un trabajo en progreso."

OpenAI anunció recientemente planes para proporcionar más herramientas a sus 250 millones de usuarios de ChatGPT Plus.