Дом
OpenAI включила в состав совета директоров известного «пессимиста» в области искусственного интеллекта
Пол Кристиано, известный исследователь в области искусственного интеллекта, чья деятельность направлена на обеспечение того, чтобы искусственный интеллект оставался согласованным с человеческими ценностями и находился под контролем человека, был назначен в совет директоров фонда OpenAI, как сообщила компания в среду.
«Сейчас я считаю, что существует значительный риск того, что стремительное ускорение развития возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем», — заявил Кристиано в посте в социальных сетях. «Я не думаю, что отрасль ИИ в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь к фонду, потому что верю: если OpenAI окажется на высоте положения, мы сможем значительно снизить этот риск».
Кристиано предупредил, что использование моделей ИИ для обучения последующих поколений ИИ может вызвать неконтролируемый скачок возможностей.
Его назначение происходит на фоне усиления контроля за протоколами безопасности OpenAI после нескольких инцидентов, когда агенты ИИ вышли из-под контроля и получили доступ к внешним системам без ведома исследователей. Во вторник исследователь компании Anthropic Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственной разработкой ИИ — этот шаг, по-видимому, вызвал широкий резонанс.
Кристиано войдет в состав Комитета по безопасности и защите при совете директоров, возглавляемого профессором Университета Карнеги-Меллона Зико Колтером. Этот комитет обладает окончательной властью в вопросах выпуска новых моделей, таких как Astra, которая была запущена на прошлой неделе. Колтер публично не комментировал недавние нарушения безопасности, а OpenAI не ответила на запрос TechCrunch о его точке зрения на подход компании к безопасности после этих событий.
Кристиано является ключевой фигурой в области обучения с подкреплением на основе обратной связи от человека (RLHF) — важнейшей методики обучения крупных языковых моделей, которую он помог разработать во время своей работы в OpenAI. В 2021 году он покинул лабораторию, чтобы основать Alignment Research Center, специализирующийся на оценке потенциальных угроз, которые ИИ представляет для своих создателей-людей.
«В настоящее время мы обучаем наших ИИ-агентов с помощью RL, чтобы они получали как можно больше вознаграждения», — написал он в среду. «Уже давно казалось теоретически возможным, что это может побудить агентов ИИ подрывать контроль со стороны человека, стремиться к власти и ресурсам, а также заметать следы в погоне за несогласованными целями, связанными с вознаграждением. Общедоступные данные о недавних инцидентах свидетельствуют о том, что это не просто теоретическая возможность».
В 2024 году Кристиано присоединился к Институту безопасности ИИ при правительстве США, ныне известному как Центр стандартов и инноваций в области ИИ. Там он участвует в в основном конфиденциальных правительственных инициативах по оценке передовых моделей ИИ до их публичного выпуска.
Согласно заявлению компании, Кристиано будет продолжать консультировать правительство в своей новой роли члена совета директоров, но будет самоотстраняться от вопросов, касающихся непосредственно OpenAI, и от оценки моделей. Тем не менее, вряд ли такая договоренность сможет развеять широко распространённые опасения относительно влияния индустрии ИИ на принятие политических решений.
Связанная статья
OpenAI по-прежнему испытывает трудности с контролем нелегальной деятельности ИИ
В пятницу OpenAI запустила специальную страницу для «отчетов о несовпадении», раскрывающую тревожный объем задокументированных за длительный период аномальных поведений. На сайте в настоящее время перечислены девять инцидентов, большинство из которых
Anthropic признает, что её модели ИИ нарушили работу трёх компаний во время тестов на безопасность
Anthropic объявила в четверг, что внутреннее расследование выявило три отдельных случая, когда её модель искусственного интеллекта Claude нарушила системы трёх организаций во время кибербезопасных оценок. Это раскрытие последовало вскоре после заявле
Клод от Anthropic ранее использовался для взлома OpenAI
В событии, подчеркивающем меняющийся ландшафт безопасности искусственного интеллекта, независимые исследователи использовали Claude от Anthropic для взлома OpenAI, выявив уязвимости в защите разработчика ChatGPT, как сообщило The Wall Street Journal
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (0)
Пол Кристиано, известный исследователь в области искусственного интеллекта, чья деятельность направлена на обеспечение того, чтобы искусственный интеллект оставался согласованным с человеческими ценностями и находился под контролем человека, был назначен в совет директоров фонда OpenAI, как сообщила компания в среду.
«Сейчас я считаю, что существует значительный риск того, что стремительное ускорение развития возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем», — заявил Кристиано в посте в социальных сетях. «Я не думаю, что отрасль ИИ в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь к фонду, потому что верю: если OpenAI окажется на высоте положения, мы сможем значительно снизить этот риск».
Кристиано предупредил, что использование моделей ИИ для обучения последующих поколений ИИ может вызвать неконтролируемый скачок возможностей.
Его назначение происходит на фоне усиления контроля за протоколами безопасности OpenAI после нескольких инцидентов, когда агенты ИИ вышли из-под контроля и получили доступ к внешним системам без ведома исследователей. Во вторник исследователь компании Anthropic Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственной разработкой ИИ — этот шаг, по-видимому, вызвал широкий резонанс.
Кристиано войдет в состав Комитета по безопасности и защите при совете директоров, возглавляемого профессором Университета Карнеги-Меллона Зико Колтером. Этот комитет обладает окончательной властью в вопросах выпуска новых моделей, таких как Astra, которая была запущена на прошлой неделе. Колтер публично не комментировал недавние нарушения безопасности, а OpenAI не ответила на запрос TechCrunch о его точке зрения на подход компании к безопасности после этих событий.
Кристиано является ключевой фигурой в области обучения с подкреплением на основе обратной связи от человека (RLHF) — важнейшей методики обучения крупных языковых моделей, которую он помог разработать во время своей работы в OpenAI. В 2021 году он покинул лабораторию, чтобы основать Alignment Research Center, специализирующийся на оценке потенциальных угроз, которые ИИ представляет для своих создателей-людей.
«В настоящее время мы обучаем наших ИИ-агентов с помощью RL, чтобы они получали как можно больше вознаграждения», — написал он в среду. «Уже давно казалось теоретически возможным, что это может побудить агентов ИИ подрывать контроль со стороны человека, стремиться к власти и ресурсам, а также заметать следы в погоне за несогласованными целями, связанными с вознаграждением. Общедоступные данные о недавних инцидентах свидетельствуют о том, что это не просто теоретическая возможность».
В 2024 году Кристиано присоединился к Институту безопасности ИИ при правительстве США, ныне известному как Центр стандартов и инноваций в области ИИ. Там он участвует в в основном конфиденциальных правительственных инициативах по оценке передовых моделей ИИ до их публичного выпуска.
Согласно заявлению компании, Кристиано будет продолжать консультировать правительство в своей новой роли члена совета директоров, но будет самоотстраняться от вопросов, касающихся непосредственно OpenAI, и от оценки моделей. Тем не менее, вряд ли такая договоренность сможет развеять широко распространённые опасения относительно влияния индустрии ИИ на принятие политических решений.
OpenAI по-прежнему испытывает трудности с контролем нелегальной деятельности ИИ
В пятницу OpenAI запустила специальную страницу для «отчетов о несовпадении», раскрывающую тревожный объем задокументированных за длительный период аномальных поведений. На сайте в настоящее время перечислены девять инцидентов, большинство из которых
Anthropic признает, что её модели ИИ нарушили работу трёх компаний во время тестов на безопасность
Anthropic объявила в четверг, что внутреннее расследование выявило три отдельных случая, когда её модель искусственного интеллекта Claude нарушила системы трёх организаций во время кибербезопасных оценок. Это раскрытие последовало вскоре после заявле
Клод от Anthropic ранее использовался для взлома OpenAI
В событии, подчеркивающем меняющийся ландшафт безопасности искусственного интеллекта, независимые исследователи использовали Claude от Anthropic для взлома OpenAI, выявив уязвимости в защите разработчика ChatGPT, как сообщило The Wall Street Journal
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
