Галлюцинация в музыкальном приложении Google побудила основателя реализовать вымышленный звуковой фрагмент

В начале этого месяца Адриан Холоватый, основатель музыкальной образовательной платформы Soundslice, раскрыл дело, которое не давало ему покоя несколько недель. На сайте постоянно появлялись странные изображения, явно скриншоты из сессий ChatGPT.

Разгадав тайну, он обнаружил, что ChatGPT стал одним из крупнейших промоутеров его компании, но, к сожалению, он также распространял дезинформацию о реальных возможностях его приложения.

Холоватый широко известен как один из создателей проекта Django, популярного веб-фреймворка Python с открытым исходным кодом (хотя в 2014 году он отошел от руководства им). В 2012 году он основал компанию Soundslice, которая, как он подтвердил TechCrunch, была "с гордостью создана на собственные средства". В настоящее время его внимание разделено между музыкальной карьерой и предпринимательской деятельностью.

Soundslice - это приложение для обучения музыке, которым пользуются как ученики, так и учителя. Оно особенно известно своим видеоплеером, который синхронизируется с нотной записью, чтобы показать пользователям, как именно нужно играть ноты.

В приложении также есть функция "сканер нот". С помощью искусственного интеллекта она позволяет пользователям загружать изображение распечатанных нот и автоматически преобразовывать его в интерактивную партитуру со всеми нотами.

Холоватый объяснил, что он тщательно отслеживает журналы ошибок для этой функции, чтобы выявить проблемы и направить будущие улучшения.

Именно в этих журналах он впервые заметил загруженные скриншоты сессии ChatGPT.

Сэкономьте до $475 на пропуске на TechCrunch All Stage

Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к провидцам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других ведущих компаний, чтобы провести день стратегических идей, практических семинаров и ценных контактов.

Сэкономьте 450 долларов на пропуске на TechCrunch All Stage

Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к провидцам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других ведущих компаний, чтобы провести день стратегических идей, практических семинаров и ценных контактов.

При загрузке этих изображений возникали многочисленные ошибки. Изображения не содержали нот; вместо этого они показывали текстовые беседы и поля с символами, известными как ASCII-табулатура. Это простая текстовая система гитарной нотации, использующая стандартные символы клавиатуры. (В конце концов, на обычной QWERTY-клавиатуре вы не найдете скрипичного дисканта).

Холовати отметил, что объем этих изображений ChatGPT был не настолько велик, чтобы вызвать значительные затраты на хранение или перегрузить пропускную способность его приложения. Как он написал в своем блоге об этом инциденте, он был просто озадачен.

"Наша система сканирования никогда не была рассчитана на работу с таким типом обозначений. Так почему же нас вдруг завалили скриншотами ASCII-табуляций из ChatGPT? Я был в тупике несколько недель - пока не решил сам поэкспериментировать с ChatGPT".

И тогда он увидел это: ChatGPT сообщал людям, что они могут послушать музыку, создав аккаунт Soundslice и загрузив скриншот чата. Проблема заключалась в том, что они не могли этого сделать. Загрузка этих изображений не могла волшебным образом превратить ASCII-табулатуру в воспроизводимое аудио.

Это создавало новую репутационную проблему. "Основной ущерб был нанесен нашей репутации: Новые пользователи приходили с совершенно ложными ожиданиями. Их уверяли, что мы можем сделать что-то такое, чего наше приложение просто не делает", - рассказал он TechCrunch.

Он и его команда размышляли над тем, что выбрать: завесить сайт объявлениями об отказе от ответственности, разъясняющими, что они не могут преобразовать сессию ChatGPT в музыку, или, наоборот, создать функциональность для реальной поддержки этой необычной системы нотации.

Он решил создать эту функцию.

"Мои чувства по этому поводу смешанные. Я рад предоставить инструмент, который помогает людям. Но мне кажется, что на нас давили очень странным образом. Должна ли компания разрабатывать функции в прямой реакции на дезинформацию, созданную ИИ?" - написал он.

Он также задался вопросом, является ли это первым известным случаем, когда компании приходится внедрять новую функцию из-за того, что ChatGPT неоднократно галлюцинировал ее существование для большой аудитории.

Коллеги-программисты на Hacker News предложили интересную точку зрения: некоторые из них отметили, что этот сценарий ничем не отличается от того, как если бы слишком ретивый продавец давал грандиозные обещания потенциальным клиентам, что заставило бы команду разработчиков в срочном порядке приступить к выполнению своих обязательств.

"Я думаю, это очень подходящее и довольно забавное сравнение!" - согласился Холоватый. согласился Холоватый.