Руководители исследовательских центров призывают технический сектор отслеживать процессы рассуждений ИИ

Исследователи ИИ из OpenAI, Google DeepMind, Anthropic и широкой коалиции компаний и некоммерческих организаций выступают за углубление исследований в области мониторинга так называемых мыслительных процессов моделей рассуждений ИИ, говорится в опубликованном во вторник документе с изложением позиции.

Определяющей характеристикой моделей рассуждений ИИ, таких как o3 от OpenAI и R1 от DeepSeek, является использование цепочек мышления, или ЦМ - внешнего процесса, в котором модели ИИ систематически решают задачи, подобно тому, как человек использует бумагу для решения сложных математических уравнений. Модели рассуждений являются основой для работы ИИ-агентов, и авторы статьи утверждают, что мониторинг CoTs может стать жизненно важным методом для удержания под контролем все более способных и широко распространенных ИИ-агентов.

"Мониторинг CoT предлагает ценное дополнение к протоколам безопасности для передовых ИИ, предоставляя уникальное окно в то, как агенты ИИ принимают свои решения", - заявляют исследователи в документе. "Однако нет никакой уверенности в том, что этот уровень видимости сохранится. Мы призываем исследовательское сообщество и разработчиков передовых ИИ максимально использовать преимущества наблюдаемости CoT и изучить способы ее сохранения".

В документе содержится призыв к ведущим разработчикам ИИ изучить, что делает CoT "контролируемыми" - в частности, какие факторы повышают или понижают прозрачность того, как модели ИИ действительно генерируют свои ответы. Авторы отмечают, что хотя мониторинг CoT является многообещающим подходом для понимания моделей рассуждений ИИ, он остается хрупким, и они предостерегают от любых изменений, которые могут снизить его прозрачность или надежность.

Кроме того, авторы призывают разработчиков ИИ постоянно отслеживать возможность мониторинга CoT и изучить, как этот метод может быть в конечном итоге реализован в качестве меры безопасности.

Под документом подписались главный научный сотрудник OpenAI Марк Чен, генеральный директор Safe Superintelligence Илья Суцкевер, нобелевский лауреат Джеффри Хинтон, соучредитель Google DeepMind Шейн Легг, советник по безопасности xAI Дэн Хендрикс и соучредитель Thinking Machines Джон Шульман. Среди ведущих авторов - представители британского Института безопасности искусственного интеллекта и Apollo Research, а также представители METR, Amazon, Meta и Калифорнийского университета в Беркли.

Этот документ представляет собой объединенные усилия многих лидеров индустрии ИИ, направленные на ускорение исследований в области безопасности ИИ. Он появился в период острой конкуренции между технологическими компаниями - конкуренции, которая побудила Meta переманить лучших исследователей из OpenAI, Google DeepMind и Anthropic с помощью многомиллионных предложений. Среди наиболее востребованных исследователей - те, кто специализируется на агентах ИИ и моделях рассуждений.

LIVE NOW! TechCrunch All Stage

Создавайте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к новаторам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других компаний, чтобы провести день, наполненный практическими стратегиями, увлекательными семинарами и полезным общением.

Сэкономьте 450 долларов на пропуске на TechCrunch All Stage

Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к новаторам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других организаций, чтобы провести день, насыщенный практическими стратегиями, увлекательными семинарами и полезным общением.

"Мы находимся в переломном моменте, когда у нас появилась новая возможность цепочки мыслей. Она кажется очень полезной, но может исчезнуть через несколько лет, если ей не будет уделено пристальное внимание", - сказал в интервью TechCrunch Боуэн Бейкер, исследователь OpenAI, участвовавший в работе над документом. "Выпуск такого документа, как этот, на мой взгляд, является способом привлечь больше исследований и внимания к этой теме, пока не стало слишком поздно".

OpenAI впервые выпустила предварительную версию своей начальной модели рассуждений ИИ, o1, в сентябре 2024 года. В последующие месяцы технологическая индустрия быстро представила конкурирующие модели со схожими возможностями, а некоторые из них от Google DeepMind, xAI и Anthropic продемонстрировали еще более высокие показатели.

Тем не менее, понимание того, как работают модели рассуждений ИИ, по-прежнему ограничено. Хотя за последний год лаборатории ИИ добились значительных успехов в повышении производительности ИИ, это не всегда привело к более четкому пониманию процессов принятия решений.

Компания Anthropic стала пионером в понимании того, как функционируют модели ИИ - эта область известна как интерпретируемость. Ранее в этом году генеральный директор компании Дарио Амодеи пообещал раскрыть "черный ящик" моделей ИИ к 2027 году и увеличить инвестиции в интерпретируемость. Он также призвал OpenAI и Google DeepMind продолжить исследования в этой области.

Первые исследования Anthropic показывают, что CoT могут быть не совсем надежными индикаторами того, как эти модели генерируют ответы. В то же время исследователи OpenAI заявили, что мониторинг CoT может со временем стать надежным методом отслеживания согласованности и безопасности моделей ИИ.

Позиционные документы, подобные этому, направлены на повышение осведомленности и привлечение большего внимания к новым областям исследований, таким как мониторинг CoT. Такие компании, как OpenAI, Google DeepMind и Anthropic, уже проводят исследования в этой области, но эта публикация может помочь стимулировать дополнительное финансирование и исследования.