Дом
Главный научный сотрудник OpenAI обсуждает вопрос прозрачности рассуждений ИИ: сложность остается стабильной, резкого скачка не наблюдается

2 сентября Якуб Пачоцкий, главный научный сотрудник OpenAI, ответил в X на публичные опасения по поводу модели Astra, уточнив утверждения о том, что она работает без надзора и не обладает прозрачным механизмом рассуждений.
Почему возник спор: глубокое рекуррентное связывание скрывает пути рассуждений
Проблема возникла после подробного отчета издания The Information, в котором сообщалось, что OpenAI экспериментирует с технологией «глубокого рекуррентного связывания». Этот подход может усложнить способность исследователей отслеживать процесс рассуждений модели через «цепочку мыслей».
В то время как основные модели, такие как ChatGPT, Claude и Gemini, используют архитектуру Transformer — обрабатывая информацию линейными шагами и иногда выводя рассуждения на естественном языке — этот вывод не всегда отражает внутренние вычисления. «Глубокое рекуррентное связывание» позволяет моделям многократно вызывать одни и те же слои сети, непрерывно обновляя внутренние состояния. В отличие от традиционных линейных структур, этот метод может сохранять значительную часть рассуждений в непрозрачных внутренних состояниях, что затрудняет для исследователей отслеживание путей принятия решений через цепочку мыслей. После публикации отчета сообщество искусственного интеллекта выразило обеспокоенность тем, что такая технология может помешать работе внешних инструментов мониторинга, снижая прозрачность того, как модели приходят к выводам.
Пачоцкий уточняет: глубина графа вычислений остается управляемой
В своем посте Пачоцкий выразил желание предотвратить «гонку к необследованному искусственному интеллекту», подстегиваемую вводящими в заблуждение медиа-нарративами. Он уточнил, что глубина графа вычислений текущих продвинутых моделей OpenAI, включая Astra, менее чем в два раза превышает аналогичный показатель у GPT-4, что указывает на отсутствие внезапного скачка архитектурной сложности, которого опасались.
Он отметил, что с момента появления первых моделей рассуждений OpenAI приоритетом поддерживала и использовала мониторинг цепочки мыслей. Эта технология имеет решающее значение для понимания того, как выравнивание модели обобщается на основе обучающих данных. Однако он признал, что текущий мониторинг цепочки мыслей является хрупким и снижается по причинам, не связанным с изменениями архитектуры. Команда планирует внедрить меры по укреплению этой возможности, которая является ключевой целью текущих исследований. В OpenAI подтвердили, что для Astra будет развернут улучшенный мониторинг цепочки мыслей.
Глубина графа вычислений измеряет сложность нейронной сети, представляя собой последовательные слои вычислений от входа к выходу. Более высокие значения указывают на более сложные структуры.
Связанная статья
Apple и Google заключили партнерство с Anthropic для устранения уязвимости, существовавшей 27 лет, с помощью технологии Glass Wing Protection
По мере стремительного развития искусственного интеллекта в области генерации кода и логического мышления сфера кибербезопасности сталкивается с беспрецедентными вызовами. Недавно известный стартап в
ВМС США выбрали компанию Blue Water Autonomy для проведения глубоководных исследовательских миссий
Судно класса «Liberty» компании Blue Water Autonomy представляет собой 190-футовое стальное автономное судно. | Источник: Blue Water AutonomyБостонская технологическая и судостроительная компания Blue
OpenAI обещает не повышать счета за электроэнергию и минимальное потребление воды для центров обработки данных
На фоне растущего сопротивления развитию инфраструктуры искусственного интеллекта по всей стране компания OpenAI переходит к более сотруднической стратегии. Согласно сообщению Business Insider от 23 июля, OpenAI активно ищет поддержку сообщества для
Рекомендации по связанным специальным темам
Комментарии (0)

2 сентября Якуб Пачоцкий, главный научный сотрудник OpenAI, ответил в X на публичные опасения по поводу модели Astra, уточнив утверждения о том, что она работает без надзора и не обладает прозрачным механизмом рассуждений.
Почему возник спор: глубокое рекуррентное связывание скрывает пути рассуждений
Проблема возникла после подробного отчета издания The Information, в котором сообщалось, что OpenAI экспериментирует с технологией «глубокого рекуррентного связывания». Этот подход может усложнить способность исследователей отслеживать процесс рассуждений модели через «цепочку мыслей».
В то время как основные модели, такие как ChatGPT, Claude и Gemini, используют архитектуру Transformer — обрабатывая информацию линейными шагами и иногда выводя рассуждения на естественном языке — этот вывод не всегда отражает внутренние вычисления. «Глубокое рекуррентное связывание» позволяет моделям многократно вызывать одни и те же слои сети, непрерывно обновляя внутренние состояния. В отличие от традиционных линейных структур, этот метод может сохранять значительную часть рассуждений в непрозрачных внутренних состояниях, что затрудняет для исследователей отслеживание путей принятия решений через цепочку мыслей. После публикации отчета сообщество искусственного интеллекта выразило обеспокоенность тем, что такая технология может помешать работе внешних инструментов мониторинга, снижая прозрачность того, как модели приходят к выводам.
Пачоцкий уточняет: глубина графа вычислений остается управляемой
В своем посте Пачоцкий выразил желание предотвратить «гонку к необследованному искусственному интеллекту», подстегиваемую вводящими в заблуждение медиа-нарративами. Он уточнил, что глубина графа вычислений текущих продвинутых моделей OpenAI, включая Astra, менее чем в два раза превышает аналогичный показатель у GPT-4, что указывает на отсутствие внезапного скачка архитектурной сложности, которого опасались.
Он отметил, что с момента появления первых моделей рассуждений OpenAI приоритетом поддерживала и использовала мониторинг цепочки мыслей. Эта технология имеет решающее значение для понимания того, как выравнивание модели обобщается на основе обучающих данных. Однако он признал, что текущий мониторинг цепочки мыслей является хрупким и снижается по причинам, не связанным с изменениями архитектуры. Команда планирует внедрить меры по укреплению этой возможности, которая является ключевой целью текущих исследований. В OpenAI подтвердили, что для Astra будет развернут улучшенный мониторинг цепочки мыслей.
Глубина графа вычислений измеряет сложность нейронной сети, представляя собой последовательные слои вычислений от входа к выходу. Более высокие значения указывают на более сложные структуры.
Apple и Google заключили партнерство с Anthropic для устранения уязвимости, существовавшей 27 лет, с помощью технологии Glass Wing Protection
По мере стремительного развития искусственного интеллекта в области генерации кода и логического мышления сфера кибербезопасности сталкивается с беспрецедентными вызовами. Недавно известный стартап в
ВМС США выбрали компанию Blue Water Autonomy для проведения глубоководных исследовательских миссий
Судно класса «Liberty» компании Blue Water Autonomy представляет собой 190-футовое стальное автономное судно. | Источник: Blue Water AutonomyБостонская технологическая и судостроительная компания Blue
OpenAI обещает не повышать счета за электроэнергию и минимальное потребление воды для центров обработки данных
На фоне растущего сопротивления развитию инфраструктуры искусственного интеллекта по всей стране компания OpenAI переходит к более сотруднической стратегии. Согласно сообщению Business Insider от 23 июля, OpenAI активно ищет поддержку сообщества для











