По словам Саканы, сгенерированные AI бумажные проходы, но подробности нюансы.

Японский стартап ИИ Сакана недавно поднял волны, утверждая, что его система ИИ, ученый ИИ-V2, создал одну из первых рецензируемых научных публикаций. Тем не менее, есть несколько важных деталей, которые необходимо рассмотреть, прежде чем мы будем слишком взволнованы.

Дебаты о роли ИИ в науке нагреваются. Некоторые исследователи считают, что ИИ не готов быть «ко-научным», в то время как другие видят потенциал, но признают, что мы все еще на ранних стадиях. Сакана попадает в последнюю группу.

Компания использовала ученый ИИ-V2, чтобы создать статью, которая была представлена ​​на семинар в ICLR, уважаемой конференции AI. Сакана работал с Университетом Британской Колумбии и Оксфордским университетом, чтобы представить три документа, созданных AI, в этот семинар. ИИ обрабатывал все, от гипотез до экспериментов, кода, анализа данных, визуализаций и даже названий.

«Мы создали исследовательские идеи, предоставив ИИ Аннотация и описание семинара», - сказал TechCrunch Роберт Ланге, ученый -исследователь и основатель Sakana в Sakana. «Это гарантировало, что сгенерированные документы были по теме и подходящим представлениям».

Одна из трех работ была принята мастерской ICLR. Он был сосредоточен на критике методов обучения для моделей искусственного интеллекта. Тем не менее, Сакана сняла газету, прежде чем она может быть опубликована, сославшись на прозрачность и уважение к конвенциям ICLR.

Но давайте пока не будем увлекаться. Сакана призналась в своем сообщении в блоге, что их искусственный интеллект допустил некоторые «смущающие» ошибки цитирования, например, приписывая метод статьи 2016 года вместо оригинальной работы 1997 года.

Кроме того, газета не проходила так много внимания, как другие рецензируемые публикации. Он был отозван после первоначального обзора, поэтому он не получил «мета-обзор» от организаторов семинара, которые могли бы его отвергнуть.

Еще одна вещь, которую следует иметь в виду, это то, что семинары по конференциям часто имеют более высокие показатели принятия, чем основной трек конференции. Сакана упомянул об этом в своем посте в блоге и отметила, что ни одно из их сгенерированных AI исследований не соответствовало их внутренним стандартам для трека ICLR Conference.

Мэтью Гусдиал, исследователь ИИ и доцент в Университете Альберты, назвал результаты Саканы «немного вводящими в заблуждение».

«Ребята из саканы выбрали документы из некоторых сгенерированных, что означает, что они использовали человеческое суждение с точки зрения выбора результатов, которые, по их мнению, могут попасть», - сказал он по электронной почте. «Я думаю, что это показывает, что люди плюс ИИ могут быть эффективными, а не только ИИ может создать научный прогресс».

Майк Кук, научный сотрудник King's College London, специализирующийся на искусственном интеллекте, поставил под сомнение строгость рецензентов и семинара.

«Новые семинары, как этот, часто рассматриваются более младшими исследователями», - сказал он TechCrunch. «Стоит также отметить, что этот семинар о негативных результатах и ​​трудностях - что здорово, я раньше проводил аналогичный семинар - но, возможно, легче заставить ИИ писать о неудаче убедительно».

Кук не был удивлен, что ИИ может пройти обзор, учитывая, что ИИ хорош в написании человеческой прозы. Он указал, что частично сгенерированные AI документы, проходящие обзор журнала, не новы, и это поднимает этические вопросы для научного сообщества.

Технические проблемы ИИ, такие как его тенденция «галлюцинации», делают многих ученых осторожны с использованием его для серьезной работы. Существует также страх, что ИИ может просто добавить шум к научной литературе, а не продвигать знания.

«Нам нужно спросить себя, является ли результат [Саканы] о том, насколько хорош ИИ в проектировании и проведении экспериментов, или о том, насколько хорошо это продавать идеи людям - которые, как мы знаем, уже отлично подходит», - сказал Кук. «Существует разница между прохождением рецензирования и содействием знаниями в поле».

К чести Саканы, они не утверждают, что их ИИ может производить новаторскую или даже особенно новую научную работу. Их целью было «изучить качество исследований, сгенерированных ИИ», и подчеркнуть необходимость «норм, касающихся науки, сгенерированной ИИ».

«Существуют сложные вопросы о том, следует ли сначала судить о том, следует ли сначала судить о науке, чтобы избежать предвзятости против нее»,-написала компания. «В дальнейшем мы будем продолжать обмениваться мнениями с исследовательским сообществом о состоянии этой технологии, чтобы гарантировать, что она не превратится в ситуацию в будущем, когда ее единственная цель - пройти проверку, тем самым в значительной степени подрывая значение научного процесса рассмотрения сверстников».