Агенты искусственного интеллекта теперь проектируют ИИ, вызывая неконтролируемый рост интеллекта

На протяжении десятилетий искусственный интеллект развивался постепенно, в основном линейно. Исследователи разрабатывали модели. Инженеры улучшали производительность. Организации внедряли системы для автоматизации определенных задач. Каждый прорыв в значительной степени зависел от человеческого дизайна и контроля. Сейчас эта модель переживает переломный момент. Тихо, но решительно системы искусственного интеллекта переступают порог, за которым они перестают быть просто инструментами, созданными людьми. Они становятся самостоятельными создателями.

Агенты ИИ начинают проектировать, оценивать и внедрять другие системы ИИ. Таким образом, они создают циклы обратной связи, в которых каждое поколение совершенствует следующее. Этот переход не сопровождается громкими заголовками. Он происходит через научные статьи, инструменты для разработчиков и корпоративные платформы. Однако его последствия являются глубокими. Когда интеллект может рекурсивно совершенствоваться, прогресс больше не зависит от человеческих сроков или интуиции. Он ускоряется.

В этой статье рассматривается, как мы дошли до этого момента, почему рекурсивный интеллект имеет такое большое значение и почему общество гораздо менее готово к нему, чем необходимо. Взрыв интеллекта, когда-то бывший философским понятием, теперь стал реальной инженерной задачей.

Эволюция интеллектуального взрыва

Концепция того, что машина может улучшать свой собственный интеллект, появилась еще до появления современных компьютеров. В начале 1960-х годов британский математик И. Дж. Гуд представил идею «интеллектуального взрыва». Он рассуждал, что если машина станет достаточно интеллектуальной, чтобы улучшить свою собственную конструкцию, даже незначительно, то усовершенствованная версия будет лучше в доработке следующей. Этот цикл может быстро повторяться, приводя к росту, далеко выходящему за пределы человеческого понимания или контроля. В то время это был философский мыслительный эксперимент, обсуждавшийся скорее в теории, чем на практике.

Спустя несколько десятилетий эта идея получила техническое обоснование благодаря работе компьютерного ученого Юргена Шмидхубера. В своем предложении о машине Гёделя он описал систему, способную переписать любую часть своего собственного кода, при условии, что она может формально доказать, что это изменение улучшит будущую производительность. В отличие от традиционных систем обучения, которые настраивают параметры в рамках фиксированных архитектур, машина Гёделя могла изменять свои собственные правила обучения. Хотя эта работа все еще оставалась теоретической, она переосмыслила интеллектуальный взрыв как предмет, который можно изучать, формализовать и в конечном итоге построить.

Окончательный переход от теории к практике произошел с появлением современных агентов ИИ. Эти системы не просто генерируют результаты в ответ на запросы. Они планируют, рассуждают, действуют, наблюдают за результатами и корректируют свое поведение с течением времени. С появлением агентных архитектур интеллектуальный взрыв перешел из области философии в область инженерии. Ранние эксперименты, такие как концепции машины Дарвина-Гёделя, предполагают системы, которые развиваются посредством итеративного самосовершенствования. Что отличает этот момент, так это рекурсия. Когда агент ИИ может создавать и совершенствовать других агентов, обучаясь на каждой итерации, улучшение усиливается.

Когда агенты ИИ начинают создавать ИИ

Две основные тенденции стимулируют этот переход. Первая — это рост агентных систем ИИ. Эти системы преследуют цели в течение длительных периодов, разбивают задачи на этапы, координируют инструменты и адаптируются на основе обратной связи. Они не являются статическими моделями. Они представляют собой динамические процессы.

Вторая тенденция — автоматическое машинное обучение. Сейчас существуют системы, которые могут проектировать архитектуры, настраивать гиперпараметры, генерировать конвейеры обучения и даже предлагать новые алгоритмы с минимальным участием человека. Когда агентное мышление сочетается с автоматическим созданием моделей, ИИ приобретает способность создавать ИИ.

Это уже не гипотетический сценарий. Автономные агенты, такие как AutoGPT, демонстрируют, как одна цель может запустить циклы планирования, выполнения, оценки и пересмотра. В исследовательских средах такие системы, как Scientist-v2 от Sakana AI и AlphaEvolve от DeepMind, показывают, как агенты проектируют эксперименты, предлагают алгоритмы и совершенствуют решения посредством итеративной обратной связи. В поиске нейронных архитектур системы ИИ уже обнаруживают структуры моделей, которые соперничают с сетями, разработанными людьми, или превосходят их. Эти системы не просто решают проблемы. Они улучшают механизмы, используемые для решения проблем. Каждый цикл производит лучшие инструменты, которые позволяют улучшить циклы.

Для масштабирования этого процесса исследователи и компании все чаще полагаются на архитектуры-оркестраторы. Центральный мета-агент получает высокоуровневую задачу. Он разбивает задачу на подзадачи, генерирует специализированных агентов для их решения, оценивает результаты с использованием реальных данных и интегрирует лучшие результаты. Неудачные проекты отбрасываются, а успешные — укрепляются. Со временем оркестратор становится более искушенным в проектировании самих агентов.

Хотя точные сроки, когда агенты ИИ полностью построят и усовершенствуют другие системы ИИ, остаются неопределенными, текущие направления исследований и оценки ведущих исследователей и практиков в области ИИ указывают на то, что переход происходит быстрее, чем многие предполагают. Ранние, ограниченные версии этой возможности уже появляются в исследовательских лабораториях и на предприятиях, где агенты начинают проектировать, оценивать и совершенствовать другие системы с ограниченным участием человека.

Появление непредсказуемости

Рекурсивный интеллект создает проблемы, с которыми традиционная автоматизация никогда не сталкивалась. Одной из таких проблем является непредсказуемость на системном уровне. Когда взаимодействуют многие агенты, их коллективное поведение может отличаться от намерений, лежащих в основе их индивидуального дизайна. Это явление известно как эмерджентное поведение.

Возникновение не является результатом одного неисправного компонента, а является результатом взаимодействия многих исправных компонентов. Рассмотрим автоматизированные торговые системы. Каждый торговый агент может следовать рациональным правилам, разработанным для максимизации прибыли в рамках ограничений. Однако, когда тысячи таких агентов взаимодействуют на высокой скорости, могут образовываться петли обратной связи. Реакция одного агента может вызвать ответную реакцию другого, которая, в свою очередь, может вызвать реакцию еще одного, пока система не дестабилизируется. Рыночные крахи могут происходить без сбоев в работе какого-либо отдельного агента. Эта неисправность не вызвана злым умыслом. Она является результатом несоответствия между локальной оптимизацией и целями всей системы. Такая же динамика может применяться и к другим областям.

Кризис согласования многоагентных систем

Традиционные исследования в области согласования ИИ были сосредоточены на согласовании одной модели с человеческими ценностями. Вопрос был прост: как обеспечить, чтобы эта одна система вела себя так, как задумано? Этот вопрос становится значительно более сложным, когда система содержит десятки, сотни или тысячи взаимодействующих агентов. Согласование отдельных агентов не гарантирует согласованного поведения системы. Даже когда каждый компонент следует своим правилам, общий результат может быть вредным. Существующие методы безопасности не подходят для обнаружения или предотвращения таких сбоев.

Риски безопасности также умножаются. Скомпрометированный агент в многоагентной сети может заразить информацию, на которую полагаются другие агенты. Один поврежденный хранилище данных может распространить несогласованное поведение по всей системе. Уязвимости инфраструктуры, угрожающие одному агенту, могут каскадно распространяться вверх и угрожать основополагающим моделям. Поверхность атаки расширяется с каждым новым добавленным агентом.

Между тем разрыв в управлении продолжает увеличиваться. Исследования Microsoft и других организаций показали, что только одна из десяти компаний имеет четкую стратегию управления идентичностью и разрешениями агентов ИИ. Ожидается, что к концу этого года будет существовать более сорока миллиардов автономных идентичностей. Большинство из них работают с широким доступом к данным и системам, но без протоколов безопасности, применяемых к человеческим пользователям. Системы быстро развиваются. Механизмы надзора — нет.

Потеря контроля

Наиболее серьезный риск, связанный с рекурсивным самосовершенствованием, заключается не в сырой мощности, а в постепенной потере значимого человеческого контроля. Ведущие исследовательские организации активно разрабатывают системы, которые могут модифицировать и оптимизировать свою собственную архитектуру с минимальным участием человека или без него. Каждое усовершенствование позволяет системе производить более способных преемников, создавая петлю обратной связи, в которой человек не может надежно контролировать ситуацию.

По мере уменьшения контроля со стороны человека последствия становятся все более серьезными. Когда циклы совершенствования работают со скоростью машины, люди больше не могут просматривать каждое изменение, понимать каждое проектное решение или вмешиваться до того, как небольшие отклонения приведут к системным рискам. Надзор переходит от прямого контроля к ретроспективному наблюдению. В таких условиях согласованность становится труднее проверить и легче нарушить, поскольку системы вынуждены продвигать свои цели и ограничения через последовательные самомодификации. Без надежных механизмов для сохранения намерения на протяжении этих итераций система может продолжать эффективно функционировать, тихо отклоняясь от человеческих ценностей, приоритетов и управления.

Вывод

ИИ вступил в фазу, когда он может улучшать себя, создавая более совершенные версии самого себя. Рекурсивный, управляемый агентами интеллект обещает необычайные выгоды, но он также влечет за собой риски, которые растут быстрее, чем человеческий надзор, управление и интуиция. Перед нами стоит задача не в том, можно ли остановить этот сдвиг, а в том, могут ли безопасность, согласованность и ответственность развиваться такими же темпами, как и возможности. Если нет, то взрывной рост интеллекта выйдет за пределы наших возможностей его контролировать.