Alternative supérieure à l'outil de transcription d'IA d'OpenAI: moins d'hallucination, plus de précision

Le chuchotement d'Openai, un outil de reconnaissance de la parole et de transcription propulsé par l'IA publié en 2022, s'est avéré générer fréquemment des hallucinations ou fabriquer des informations, ce qui soulève des préoccupations concernant son potentiel de dommage dans les milieux critiques. Un chercheur de l'Université du Michigan a découvert des hallucinations dans 80% des transcriptions audio des réunions publiques qu'il a examinées. De même, un ingénieur qui a analysé 100 heures de transcriptions Whisper a rapporté des hallucinations dans environ la moitié d'entre eux, et un autre développeur les a trouvés dans presque tous les transcrits qu'il a créés, totalisant 26 000 instances. Bien que les erreurs mineures de transcription soient courantes, les experts ont noté que le niveau d'hallucination de Whisper est sans précédent parmi les outils de transcription d'IA. Openai affirme que Whisper, un réseau neuronal open source, atteint une précision quasi humaine en reconnaissance de la parole anglaise. Il est largement utilisé dans toutes les industries pour des tâches telles que la transcription des interviews, la traduction du contenu et la génération de sous-titres vidéo. L'utilisation généralisée de chuchotement pourrait conduire à la propagation du texte fabriqué, des citations mal attribuées et d'autres informations sur diverses plates-formes, avec l'impact variant en fonction de la nature du contenu d'origine. Whisper est intégré dans certaines versions de Chatgpt, utilisées dans les centres d'appels, les assistants vocaux et les plates-formes cloud d'Oracle et Microsoft, et a été téléchargée plus de 4,2 millions de fois le mois dernier de HuggingFace. Une préoccupation particulière est l'utilisation croissante des outils basés sur des chuchotements par des professionnels de la santé pour transcrire des consultations pour les patients. L'AP a parlé avec plus d'une douzaine d'ingénieurs, de chercheurs et de développeurs qui ont confirmé que Whisper fabrique souvent des phrases et des phrases entières, y compris parfois des commentaires raciaux, une rhétorique violente et même des traitements médicaux imaginés. "Personne ne veut un diagnostic erroné", a souligné Alondra Nelson, professeur à l'Institut d'étude avancée. Bien que OpenAI conseille d'utiliser des chuchotements dans des domaines à haut risque comme des contextes de prise de décision où les défauts de précision peuvent entraîner des problèmes importants, la précision commercialisée de l'outil le rend attrayant pour diverses industries qui cherchent à rationaliser les opérations, négligeant souvent les risques potentiels. Le problème ne se limite pas à un audio long ou mal enregistré; Les chercheurs ont trouvé des hallucinations même dans des échantillons audio courts et clairs. Ils estiment que cela pourrait entraîner des dizaines de milliers de transcriptions incorrectes dans des millions d'enregistrements. Christian Vogler, directeur du programme d'accès technologique de l'Université Gallaudet et Deaf lui-même, a souligné que les personnes sourdes ou malentendantes peuvent manquer ces hallucinations "cachées parmi tous ces autres texte". Ces résultats mettent en évidence un problème plus large dans l'industrie de l'IA: la ruée vers le marché des produits à but lucratif, en particulier en l'absence de réglementations complètes de l'IA aux États-Unis. Ceci est particulièrement pertinent au milieu des débats sur le statut à but lucratif d'Openai et à but non lucratif et des déclarations de leadership récentes qui minimisent les risques d'IA. Un porte-parole d'OpenAI a déclaré à l'AP que l'entreprise s'efforçait de réduire les hallucinations et de valoriser les résultats des chercheurs, intégrant les commentaires dans les mises à jour du modèle. Dans l'intervalle, nous suggérons de considérer Otter.ai, un outil de transcription d'IA fiable qui a fait confiance aux journalistes, qui a récemment ajouté le soutien de six nouvelles langues. Alors qu'un utilisateur de longue date a signalé une statistique hallucinée dans une nouvelle fonction de résumé d'IA, l'erreur n'est pas apparue dans la transcription elle-même. Otter.ai conseille aux utilisateurs d'examiner et de modifier les transcriptions de précision, en particulier pour les tâches critiques, notant que la précision peut varier en raison de facteurs tels que le bruit de fond, les accents et la complexité de la conversation. Pour les utilisateurs d'iPhone, iOS 18.1 avec Apple Intelligence propose désormais l'enregistrement et la transcription des appels alimentés par AI, bien que le rédacteur en chef de ZDNET, Jason Hiner, le décrit comme "toujours un travail en cours". OpenAI a récemment annoncé son intention de fournir plus d'outils à ses 250 millions d'utilisateurs Chatgpt Plus.

Article connexe

commentaires (15)