L'hallucination de l'application musicale de Google incite son fondateur à réaliser une tranche sonore fictive

Au début du mois, Adrian Holovaty, fondateur de la plateforme d'éducation musicale Soundslice, a résolu une affaire qui l'avait déconcerté pendant des semaines. Des images étranges, manifestement des captures d'écran de sessions de ChatGPT, ne cessaient d'apparaître sur le site.

En résolvant le mystère, il a découvert que ChatGPT était devenu l'un des plus grands promoteurs de son entreprise - malheureusement, il diffusait également des informations erronées sur les capacités réelles de son application.

Holovaty est largement reconnu comme l'un des co-créateurs du projet Django, un cadre web Python à code source ouvert très populaire (bien qu'il se soit retiré de la gestion du projet en 2014). Il a lancé Soundslice en 2012, une entreprise qu'il confirme à TechCrunch avoir été "fièrement bootstrappée". Aujourd'hui, il se concentre sur sa carrière musicale et ses projets d'entreprise.

Soundslice est une application d'éducation musicale utilisée par les élèves et les enseignants. Elle est particulièrement connue pour son lecteur vidéo, qui se synchronise parfaitement avec les notations musicales pour montrer aux utilisateurs comment jouer les notes.

L'application comprend également une fonction de "scanner de partitions". Grâce à l'IA, elle permet aux utilisateurs de télécharger une image de partition imprimée et la convertit automatiquement en une partition interactive avec toutes les notes.

M. Holovaty a expliqué qu'il surveillait assidûment les journaux d'erreurs pour cette fonction afin d'identifier les problèmes et d'orienter les améliorations futures.

C'est dans ces journaux qu'il a remarqué pour la première fois les captures d'écran de la session ChatGPT téléchargées.

Economisez jusqu'à 475$ sur votre pass TechCrunch All Stage

Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et d'autres entreprises de premier plan pour une journée d'idées stratégiques, d'ateliers pratiques et de réseautage précieux.

Économisez 450 $ sur votre laissez-passer TechCrunch All Stage

Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et d'autres entreprises de premier plan pour une journée d'idées stratégiques, d'ateliers pratiques et de réseautage précieux.

Ces téléchargements généraient de nombreux journaux d'erreurs. Les images ne contenaient pas de partitions, mais des conversations textuelles et des boîtes de symboles connues sous le nom de tablature ASCII. Il s'agit d'un système simple, basé sur le texte, pour la notation de la guitare, qui utilise les caractères standard du clavier. (Après tout, vous ne trouverez pas de clé de sol sur un clavier QWERTY classique).

Adrian Holovaty a remarqué que le volume de ces images ChatGPT n'était pas assez important pour entraîner des coûts de stockage significatifs ou solliciter la bande passante de son application. Comme il l'a écrit dans un billet de blog à propos de l'incident, il est simplement perplexe.

"Notre système de numérisation n'a jamais été conçu pour gérer ce type de notation. Alors pourquoi avons-nous été soudainement inondés de captures d'écran de tabulations ASCII provenant de ChatGPT ? Je suis resté perplexe pendant des semaines, jusqu'à ce que je décide d'expérimenter moi-même ChatGPT".

C'est alors qu'il a compris : ChatGPT indiquait aux gens qu'ils pouvaient écouter la musique en créant un compte Soundslice et en téléchargeant une capture d'écran de la session de chat. Le problème, c'est qu'ils ne pouvaient pas le faire. Le téléchargement de ces images ne transformait pas, comme par magie, la tablature ASCII en un son jouable.

Cela a créé un nouveau problème de réputation. "Le principal coût était lié à notre réputation : Les nouveaux utilisateurs arrivaient avec des attentes complètement fausses. On leur avait assuré que nous pouvions faire quelque chose que notre application ne fait tout simplement pas", a-t-il déclaré à TechCrunch.

Lui et son équipe ont réfléchi à leurs choix : inonder le site d'avertissements précisant qu'ils ne peuvent pas convertir une session ChatGPT en musique audible, ou bien créer la fonctionnalité permettant de prendre en charge ce système de notation inhabituel.

Il a décidé de créer la fonctionnalité.

"Mes sentiments à ce sujet sont partagés. Je suis heureux de fournir un outil qui aide les gens. Mais j'ai l'impression que nous avons été poussés à le faire d'une manière très étrange. Une entreprise devrait-elle vraiment développer des fonctionnalités en réponse directe à des informations erronées générées par l'IA ?

Il s'est également demandé si c'était la première fois qu'une entreprise devait mettre en œuvre une nouvelle fonctionnalité parce que ChatGPT avait fait croire à plusieurs reprises à un large public qu'elle existait.

Les collègues programmeurs de Hacker News ont offert une perspective intéressante : plusieurs ont commenté que ce scénario n'est pas différent de celui d'un vendeur humain trop zélé faisant de grandes promesses à des clients potentiels, ce qui oblige ensuite l'équipe de développement à se précipiter et à tenir ses promesses.

"Je pense que c'est une comparaison très pertinente et plutôt amusante ! a déclaré M. Holovaty.