A alucinação com o aplicativo de música do Google faz com que o fundador crie um Soundslice fictício

No início deste mês, Adrian Holovaty, fundador da plataforma de educação musical Soundslice, desvendou um caso que o deixou perplexo por semanas. Imagens estranhas, claramente capturas de tela de sessões do ChatGPT, continuavam aparecendo no site.

Ao resolver o mistério, ele descobriu que o ChatGPT havia se tornado um dos maiores promotores de sua empresa - infelizmente, também estava espalhando informações erradas sobre os recursos reais de seu aplicativo.

Holovaty é amplamente reconhecido como cocriador do projeto Django, uma popular estrutura da Web Python de código aberto (embora tenha deixado de gerenciá-la em 2014). Ele lançou a Soundslice em 2012, uma empresa que ele confirma ao TechCrunch ter sido "orgulhosamente bootstrapped". Atualmente, seu foco está dividido entre sua carreira musical e seus empreendimentos empresariais.

O Soundslice é um aplicativo de educação musical usado por alunos e professores. É particularmente conhecido por seu player de vídeo, que se sincroniza perfeitamente com as notações musicais para mostrar aos usuários exatamente como tocar as notas.

O aplicativo também inclui um recurso de "scanner de partituras". Usando IA, ele permite que os usuários carreguem uma imagem de partituras impressas e a converte automaticamente em uma partitura interativa completa com todas as notações.

Holovaty explicou que monitora diligentemente os registros de erros desse recurso para identificar problemas e orientar futuras melhorias.

Foi nesses registros que ele notou pela primeira vez as capturas de tela carregadas da sessão do ChatGPT.

Economize até US$ 475 em seu passe para o TechCrunch All Stage

Crie de forma mais inteligente. Dimensione mais rápido. Conecte-se mais profundamente. Junte-se aos visionários da Precursor Ventures, NEA, Index Ventures, Underscore VC e outras empresas líderes em um dia de insights estratégicos, workshops práticos e valioso networking.

Economize US$ 450 em seu passe para o TechCrunch All Stage

Crie de forma mais inteligente. Dimensione mais rapidamente. Conecte-se mais profundamente. Junte-se aos visionários da Precursor Ventures, NEA, Index Ventures, Underscore VC e outras empresas líderes em um dia de insights estratégicos, workshops práticos e valioso networking.

Esses uploads estavam gerando vários registros de erros. As imagens não continham partituras; em vez disso, mostravam conversas de texto e caixas de símbolos conhecidos como tablatura ASCII. Esse é um sistema simples, baseado em texto, para notação de violão que usa caracteres padrão do teclado. (Afinal de contas, você não encontrará uma clave de sol em um teclado QWERTY comum).

Holovaty observou que o volume dessas imagens do ChatGPT não era alto o suficiente para causar custos significativos de armazenamento ou sobrecarregar a largura de banda de seu aplicativo. Como ele escreveu em uma publicação de blog sobre o incidente, ele ficou simplesmente perplexo.

"Nosso sistema de escaneamento nunca foi projetado para lidar com esse tipo de notação. Então, por que de repente fomos inundados com capturas de tela de guias ASCII do ChatGPT? Fiquei perplexo por semanas, até que decidi fazer um experimento com o ChatGPT."

Foi então que ele percebeu: O ChatGPT estava instruindo as pessoas para que pudessem ouvir a música criando uma conta no Soundslice e fazendo o upload de uma captura de tela da sessão de bate-papo. O problema é que elas não podiam. O upload dessas imagens não transformaria magicamente a tablatura ASCII em áudio reproduzível.

Isso criou um novo problema de reputação. "O principal custo foi para nossa reputação: Os novos usuários estavam chegando com expectativas completamente falsas. Eles tinham a certeza de que poderíamos fazer algo que nosso aplicativo simplesmente não faz", disse ele ao TechCrunch.

Ele e sua equipe consideraram suas opções: cobrir o site com avisos de isenção de responsabilidade esclarecendo que não era possível converter uma sessão do ChatGPT em música audível ou, alternativamente, criar a funcionalidade para realmente suportar esse sistema de notação incomum.

Ele decidiu criar o recurso.

"Meus sentimentos sobre isso são mistos. Fico feliz em oferecer uma ferramenta que ajuda as pessoas. Mas parece que fomos pressionados a fazer isso de uma forma muito estranha. Será que uma empresa deveria realmente desenvolver recursos em resposta direta à desinformação gerada por IA?", escreveu ele.

Ele também questionou se esse foi o primeiro caso conhecido de uma empresa que teve que implementar um novo recurso porque o ChatGPT repetidamente alucinou sua existência para um grande público.

Os colegas programadores do Hacker News ofereceram uma perspectiva interessante: vários comentaram que esse cenário não é diferente de um vendedor humano excessivamente zeloso que faz grandes promessas a clientes em potencial, o que força a equipe de desenvolvimento a se esforçar para cumprir as promessas.

"Acho que essa é uma comparação muito apropriada e bastante engraçada!" concordou Holovaty.