Чат -боты искажают новости, влияющие на даже оплачиваемых пользователей

Почему это важно? Если чат-боты не могут даже извлекать новости так же эффективно, как Google, сложно доверять им в точной интерпретации и цитировании этих новостей. Это делает содержание их ответов, даже при наличии ссылок, гораздо менее надежным.

Уверенно давая неправильные ответы

Исследователи отметили, что чат-боты отвечали неправильно с «тревожной уверенностью», редко оговаривая свои результаты или признавая пробелы в знаниях. Например, ChatGPT «никогда не отказывался давать ответ», несмотря на то, что 134 из 200 его ответов были неверными. Из всех восьми инструментов только Copilot отказывался отвечать на большее количество запросов, чем отвечал.

«Все инструменты последовательно чаще давали неправильный ответ, чем признавали свои ограничения», — уточняется в отчете.

Платные уровни не более надежны

Даже премиум-модели, такие как Grok-3 Search и Perplexity Pro, хотя и более точные, чем их бесплатные аналоги, все равно уверенно давали неправильные ответы. Это вызывает вопросы о ценности их часто высоких подписных затрат.

«Это противоречие проистекает главным образом из склонности [ботов] давать окончательные, но неверные ответы, вместо того чтобы отказываться отвечать на вопрос напрямую», — объясняется в отчете. «Основная проблема выходит за рамки фактических ошибок чат-ботов и касается их авторитетного разговорного тона, который затрудняет пользователям различение точной и неточной информации».

«Эта незаслуженная уверенность создает для пользователей потенциально опасную иллюзию надежности и точности», — добавлено в отчете.

Изобретение ссылок

Модели AI печально известны галлюцинациями, но исследование Tow показало, что Gemini и Grok 3 делали это чаще всего — более половины времени. «Даже когда Grok правильно определял статью, он часто ссылался на выдуманный URL», — отмечено в отчете, что означает, что Grok мог найти правильное название и издателя, но затем создать ссылку на саму статью.

Анализ данных трафика Comscore, проведенный инициативой Северо-Западного университета Generative AI in the Newsroom, подтвердил эту закономерность. Их исследование с июля по ноябрь 2024 года показало, что ChatGPT сгенерировал 205 неработающих URL в своих ответах. Хотя издания иногда удаляют статьи, что может привести к ошибкам 404, исследователи отметили, что отсутствие архивных данных указывает на то, что «модель создавала правдоподобные ссылки на авторитетные новостные издания при ответе на запросы пользователей».

Учитывая рост популярности AI-поисковиков — Google впервые за 10 лет упал ниже 90% рыночной доли в четвертом квартале 2024 года — эти выводы вызывают беспокойство. Компания также на прошлой неделе выпустила AI Mode для некоторых пользователей, заменив обычный поиск чат-ботом, несмотря на широкую непопулярность AI Overviews.

С примерно 400 миллионами пользователей, еженедельно использующих ChatGPT, ненадежность и искажение его цитирований делают его и другие популярные инструменты AI потенциальными источниками дезинформации, даже когда они извлекают контент из тщательно проверенных новостных сайтов.

Отчет Tow пришел к выводу, что неправильное указание источников или неверное представление их работы может негативно сказаться на репутации издателей.

Игнорирование заблокированных краулеров

Ситуация ухудшается для издателей, поскольку отчет Tow установил, что несколько чат-ботов все еще могли извлекать статьи от издателей, которые заблокировали их краулеры с помощью протокола исключения роботов (REP) или robots.txt. Однако, парадоксально, чат-боты не могли правильно ответить на запросы о сайтах, которые разрешают им доступ к своему контенту.

«Perplexity Pro был худшим нарушителем в этом отношении, правильно идентифицировав почти треть из девяноста отрывков из статей, к которым он не должен был иметь доступ», — указано в отчете.

Это говорит о том, что компании AI все еще игнорируют REP — как это делали Perplexity и другие в прошлом году — и что издатели, находящиеся в любом виде лицензионного соглашения с ними, не гарантированно будут правильно процитированы.

Отчет Колумбийского университета — лишь один из симптомов более крупной проблемы. Отчет Generative AI in the Newsroom также выявил, что чат-боты редко направляют трафик на новостные сайты, из которых они извлекают информацию, что подтверждают другие отчеты. С июля по ноябрь 2024 года Perplexity передал 7% рефералов на новостные сайты, тогда как ChatGPT — только 3%. Для сравнения, инструменты AI отдавали предпочтение образовательным ресурсам, таким как Scribd.com, Coursera и ресурсам, связанным с университетами, направляя на них до 30% трафика.

Итог: оригинальные репортерские материалы остаются более надежным источником новостей, чем то, что воспроизводят инструменты AI. Всегда проверяйте ссылки, прежде чем принимать информацию за факт, и используйте свои навыки критического мышления и медиаграмотности для оценки ответов.