Ай не готов как «ко-научный», говорят эксперты

Google недавно представил свой «ИИ-соученый», инструмент ИИ, предназначенный для помощи ученым в создании гипотез и исследовательских планов. Компания рекламировала его как революционное средство для раскрытия новых знаний, но эксперты скептически относятся к его реальному влиянию.

«Этот предварительный инструмент, хотя и интересен, вряд ли будет серьезно использоваться», — сказала Сара Бири, исследователь компьютерного зрения в MIT, в интервью TechCrunch. «Я не уверена, что в научном сообществе есть спрос на такой тип системы генерации гипотез».

Google — лишь последний технологический гигант, утверждающий, что ИИ произведет революцию в научных исследованиях, особенно в таких данных-насыщенных областях, как биомедицина. Генеральный директор OpenAI Сэм Альтман написал в эссе ранее в этом году, что «сверхинтеллектуальный» ИИ может «значительно ускорить научные открытия и инновации». Аналогично, генеральный директор Anthropic Дарио Амодеи предсказал, что ИИ может помочь разработать лекарства от большинства видов рака.

Однако многие исследователи считают, что современные инструменты ИИ не соответствуют этим амбициозным заявлениям. Они утверждают, что приложения, такие как ИИ-соученый Google, больше связаны с рекламной шумихой, чем с реальным содержанием, и не имеют эмпирических данных для подтверждения обещаний.

Например, пост в блоге Google об ИИ-соученом хвалился его потенциалом в перепрофилировании лекарств для острого миелоидного лейкоза, типа рака крови, который поражает костный мозг. Однако результаты были настолько расплывчатыми, что «ни один серьезный ученый не воспринял бы их всерьез», по словам Фавии Дубик, патологоанатома из Northwest Medical Center-Tucson в Аризоне.

«Это может быть хорошей отправной точкой для исследователей, но отсутствие деталей вызывает беспокойство и не внушает мне доверия», — сказала Дубик TechCrunch. «Недостаток предоставленной информации действительно затрудняет понимание, может ли это быть действительно полезным».

Это не первый случай, когда Google сталкивается с критикой со стороны научного сообщества за продвижение прорыва в области ИИ без предоставления достаточных деталей для воспроизведения результатов другими.

Еще в 2020 году Google утверждал, что одна из его систем ИИ, обученная обнаружению опухолей молочной железы, превзошла радиологов-людей. Но исследователи из Гарварда и Стэнфорда опубликовали опровержение в Nature, утверждая, что отсутствие подробных методов и кода в исследовании Google «подрывало его научную ценность».

Ученые также критиковали Google за преуменьшение ограничений его инструментов ИИ в таких областях, как материаловедение. В 2023 году компания заявила, что около 40 «новых материалов» были синтезированы с помощью ее системы ИИ GNoME. Однако независимый анализ показал, что ни один из этих материалов на самом деле не был новым.

«Мы не сможем по-настоящему понять сильные и слабые стороны таких инструментов, как «ИИ-соученый» Google, пока они не пройдут тщательную независимую оценку в различных научных дисциплинах», — сказал Ашик ХудаБукш, доцент по программной инженерии в Рочестерском технологическом институте, в интервью TechCrunch. «ИИ часто хорошо работает в контролируемых условиях, но может потерпеть неудачу при применении в масштабе».

Сложные процессы

Разработка инструментов ИИ для помощи в научных открытиях сложна, потому что трудно предсказать все факторы, которые могут помешать работе. ИИ может быть полезен для просеивания огромного списка возможностей, но менее ясно, может ли он справиться с тем видом творческого решения проблем, который приводит к крупным прорывам.

«На протяжении истории мы видели, что некоторые из наиболее важных научных достижений, таких как разработка мРНК-вакцин, были обусловлены человеческой интуицией и настойчивостью перед лицом скептицизма», — сказал ХудаБукш. «ИИ, в его нынешнем виде, возможно, не подходит для воспроизведения этого».

Лана Синапайен, исследователь ИИ в Sony Computer Science Laboratories в Японии, считает, что такие инструменты, как ИИ-соученый Google, сосредотачиваются на неправильных аспектах научной работы.

Синапайен видит ценность в ИИ, который может автоматизировать утомительные задачи, такие как обобщение новой академической литературы или форматирование заявок на гранты. Но она утверждает, что спрос на ИИ-соученого, который генерирует гипотезы, невелик, поскольку многие исследователи находят эту задачу интеллектуально удовлетворительной.

«Для многих ученых, включая меня, генерация гипотез — это самая интересная часть работы», — сказала Синапайен TechCrunch. «Зачем мне отдавать свою радость компьютеру, а затем оставаться с тяжелой работой, которую нужно делать самостоятельно? В целом, многие исследователи генеративного ИИ, кажется, неправильно понимают, почему люди делают то, что делают, и в итоге мы получаем предложения продуктов, которые автоматизируют именно ту часть, которая приносит нам радость».

Бири отметила, что самая сложная часть научного процесса часто заключается в разработке и реализации исследований для проверки гипотез, с чем современные системы ИИ справляются с трудом. ИИ не может физически проводить эксперименты, и он часто сталкивается с проблемами, когда данных недостаточно.

«Большинство наук невозможно проводить полностью виртуально — часто значительная часть научного процесса является физической, например, сбор новых данных и проведение экспериментов в лаборатории», — сказала Бири. «Одно большое ограничение систем, таких как ИИ-соученый Google, по сравнению с реальным научным процессом, что определенно ограничивает его полезность, — это контекст лаборатории и исследователя, использующего систему, их конкретные исследовательские цели, их предыдущая работа, их навыки и ресурсы, к которым они имеют доступ».

Риски ИИ

Технические ограничения и риски ИИ, такие как его склонность к «галлюцинациям» или генерации ложной информации, заставляют ученых осторожно относиться к его использованию для серьезной работы.

ХудаБукш опасается, что инструменты ИИ могут в конечном итоге заполнить научную литературу шумом, а не способствовать прогрессу.

Это уже происходит. Недавнее исследование показало, что «мусорная наука», сгенерированная ИИ, заполняет Google Scholar, бесплатную поисковую систему Google для научной литературы.

«Исследования, сгенерированные ИИ, если их не контролировать тщательно, могут заполнить научное поле исследованиями низкого качества или даже вводящими в заблуждение, перегружая процесс рецензирования», — сказал ХудаБукш. «Перегруженный процесс рецензирования уже является проблемой в таких областях, как информатика, где ведущие конференции столкнулись с экспоненциальным ростом числа заявок».

Даже хорошо спроектированные исследования могут быть скомпрометированы из-за некорректного поведения ИИ, предупредила Синапайен. Хотя она ценит идею инструмента, который мог бы помочь с обзором литературы и синтезом, она не доверяет современному ИИ выполнять эту работу надежно.

«Это задачи, которые различные существующие инструменты заявляют, что могут выполнять, но это не те задачи, которые я лично доверила бы современному ИИ», — сказала Синапайен. Она также выразила озабоченность по поводу того, как обучаются системы ИИ и сколько энергии они потребляют. «Даже если бы все этические проблемы были решены, текущий ИИ просто недостаточно надежен, чтобы я могла основывать свою работу на его результатах в любом случае».