RSI становится новым AGI, который так же трудно определить

Термин «рекурсия» стал новым модным словом в сфере искусственного интеллекта. Два разных стартапа взяли его в качестве названия, а многие другие теперь упоминают «рекурсивное самосовершенствование» (RSI) в своих планах развития. Подобно тому, как ранее это было с AGI, RSI превратилось в трехбуквенное сокращение, обозначающее революционный прорыв в области ИИ — даже если его точное определение до сих пор вызывает споры.

По сути, RSI описывает систему ИИ, способную непрерывно самосовершенствоваться. Как только такие системы смогут справляться с циклом самосовершенствования более эффективно, чем люди, этот процесс превратится в замкнутый цикл, ограниченный лишь доступными вычислительными мощностями, а участие человека станет ненужным или даже контрпродуктивным.

Независимо от того, вызывает ли это беспокойство или нет, эта концепция является той, к которой стремятся многие лаборатории, занимающиеся ИИ.

В начале этого месяца известный исследователь в области ИИ Ричард Сочер основал компанию с многозначительным названием Recursive Superintelligence, чьей явной миссией является RSI. «Наша главная задача — создать по-настоящему рекурсивный, самосовершенствующийся суперинтеллект в широком масштабе», — заявил Сочер TechCrunch во время запуска. «Это означает, что весь процесс генерации, реализации и проверки исследовательских идей будет автоматизирован».

Несколько других видных исследователей преследуют ту же цель, надеясь на прорыв, который сделает рекурсивное самосовершенствование реальностью.

Одним из самых заметных является Алекс Карпати, легендарная фигура из Tesla и OpenAI, который использует рои агентов для обучения моделей большого языкового объёма (LLM) выполнению простых задач в рамках проекта под названием Auto-Research. Карпати демонстрирует необычайную открытость в отношении проекта, регулярно публикуя в Твиттере информацию о достигнутых этапах и предоставляя исходные компоненты через общедоступный репозиторий на GitHub. Пока что работа в основном сосредоточена на внесении незначительных улучшений в модель масштаба GPT-2 — как отметил Карпати в марте, «это (пока) не новое, революционное „исследование“», — но этого оказалось достаточно, чтобы убедить многих других исследователей преследовать мечту о RSI. Теперь, когда Карпати занимается предварительным обучением в компании Anthropic, у него появится достаточно возможностей применить эту концепцию в более широком масштабе.

Компания Adaption, основанная бывшей сотрудницей Cohere и Google Сарой Хукер, недавно запустила аналогичный инструмент под названием AutoScientist для автоматизации обучения моделей на передовой. Подобно «автоисследователям» Карпати, система обучает агентов постепенному совершенствованию, но цель Adaption — упростить обучение полномасштабной модели, работающей на границе возможностей. Если эти же исследователи начнут продвигать границу возможностей вперед, система может быстро эволюционировать в нечто очень близкое к RSI.

Основательница Disarray Дорис Синь привлекла более конкретный интерес со стороны RSI, когда её самообучающийся агент машинного обучения завоевал 28 медалей на недавнем конкурсе Kaggle, превзойдя по результатам многих агентов, обученных людьми. С её точки зрения, главная проблема — это надёжность.

«Я бы сказала, что при наличии неограниченных вычислительных ресурсов и бесконечного временного горизонта мы уже достигли этой цели», — сказала мне Синь. «Я хочу подчеркнуть, что на самом деле это не творческое начинание. В основном это солидная инженерная работа».

Еще не дошли

Существует также множество доказательств того, что индустрия искусственного интеллекта далека от создания значимых рекурсивных систем — и по-прежнему испытывает трудности с донесением своих достижений до настороженной общественности. Генеральный директор Google Сундар Пичаи по сути признал это в недавнем интервью для подкаста.

«Это непрерывный процесс, и мы все, безусловно, движемся вперед, — сказал Пичаи. — Но то, как люди описывают R.S.I., представляет собой следующий уровень ускорения с множеством последствий, и мы пока еще не дошли до этого».

Тем не менее этот непрерывный процесс включает в себя огромное количество самосовершенствующихся систем ИИ. В январе один из ведущих программистов Anthropic, работающий над проектом Claude Code, оценил, что «почти 100%» кода его команды было написано этим инструментом — что является откровенным признанием того, что Claude Code буквально писал себя сам.

То, что инженеры используют инструмент ИИ, не означает, что он может их заменить — но, похоже, Anthropic приближается и к тому, чтобы заменить самих инженеров. В недавнем опросе, связанном с предварительным просмотром Mythos, пять из 18 инженеров Anthropic считали, что благодаря усовершенствованиям этой версии Mythos вскоре сможет заменить инженера уровня L4 — программиста среднего уровня, способного справляться со сложными проектами без надзора.

Тем не менее, некоторые ожидаемые слабые стороны сохранились.

«К числу основных отмеченных слабых сторон Claude по сравнению с инженером уровня L4 относятся: самостоятельное выполнение неоднозначных задач, рассчитанных на неделю, понимание приоритетов организации, чувство вкуса, проверка, следование инструкциям и эпистемика», — говорится в отчете.

Другими словами, его слабые стороны охватывают всё, что связано с самоуправлением, которое является основой RSI. Но во всём остальном Claude готов взять на себя ответственность.

Подобно тому, как это было ранее с термином «общая искусственная интеллигенция» (AGI), отрасль искусственного интеллекта также не может сказать, насколько она далека от демонстрации значимой рекурсивной системы. Когда в прошлом году Центр безопасности и новых технологий Джорджтаунского университета собрал группу экспертов для изучения RSI, в оценках мнения разделились: одни предсказывали скорый взрыв «суперинтеллекта», другие ожидали более медленного прогресса и в конечном итоге стагнации. Но все сошлись во мнении, что рекурсия делает будущее особенно трудно предсказуемым.

Хелен Тонер, директор CSET и бывший член совета директоров OpenAI, заявила TechCrunch, что простое использование инструментов ИИ для проведения исследований в области ИИ недостаточно, чтобы считаться RSI. «Они просто используют ИИ настолько, насколько могут», — говорит Тонер TechCrunch. «И я считаю, что это отличается от классического определения RSI, которое на самом деле подразумевает полное отсутствие необходимости в участии людей».

Тонер ссылается на недавний пост Аджеи Котры из METR, в котором выделяются различные этапы на пути к тому, чтобы исследования в области ИИ полностью перешли под контроль ИИ. Один из этапов, который Котра называет «адекватностью», наступит тогда, когда система сможет продолжать проводить исследования даже после того, как все люди будут исключены из процесса — даже если результаты таких исследований будут менее ценными или эффективными. «Паритет» наступает, когда система, состоящая исключительно из ИИ, проводит исследования не хуже, чем система, состоящая исключительно из людей. «Превосходство» — заключительный этап — наступает, когда система, состоящая исключительно из ИИ, превосходит по эффективности систему, в которой люди и ИИ работают совместно.

В конечном итоге Котра приходит к выводу, что ИИ находится очень близко к порогу адекватности, позволяющему ему самостоятельно производить определенные результаты — аналогично постепенным изменениям, вносимым системой Auto-Research Карпати. «Я не была бы полностью удивлена, если бы вы сказали мне, что этот рубеж уже пройден, и я ожидаю, что это произойдет в ближайшие пару лет», — пишет Котра.

Она менее уверена в том, когда наступит паритет, но считает, что как только это произойдет, это «значительно ускорит темпы прогресса ИИ, что приведет к превосходству ИИ в области исследований уже через год».

Препятствия на пути

Учитывая, насколько ИИ основан на законах масштабирования, существует сильная тенденция предполагать, что RSI будет следовать той же кривой. Тонер считает, что многие из тех, кто занимается исследованиями и разработками в области ИИ с помощью RSI, «представляют себе это как довольно ровную лестницу, по которой можно просто продолжать подниматься».

Но даже если исследователи в области ИИ смогут добиваться постепенных улучшений, подобно «автоисследователям» Карпати, остаются более серьезные проблемы, связанные с передачей контроля над всем исследовательским процессом. Тонер рассматривает это через призму истории вычислительной техники, где люди передавали все большую часть процесса, при этом по-прежнему управляя всем сверху.

«Мы прошли путь от машинных языков к ассемблеру и компилируемым языкам; мы всё дальше и дальше удаляемся от внутреннего устройства компьютера», — говорит Тонер. «Но человек, в некотором интуитивном смысле, по-прежнему держит всё под контролем».

Выход за пределы этой парадигмы потребует решения серьезных задач как в области инженерии, так и в области согласования. Но даже при огромных инвестициях бесконечные вычислительные ресурсы недоступны — и фундаментальный компромисс между человеческим трудом и машинным интеллектом будет трудно преодолеть.

Что же касается полностью рекурсивной системы ИИ из апокалиптических видений? Единственное, в чём исследователи в основном сходятся, — это то, что, как и ОИИ, её пока нет.