Дом
Учёный Anthropic уходит из-за опасений по поводу контроля над ИИ и причиняемого человеком себе вреда

Недавнее событие в сфере искусственного интеллекта вызвало шок: Джейкоб Коксон, старший исследователь компании Anthropic, подал в отставку в знак протеста против того, что он считает неконтролируемым безумием индустрии, фактически покинув сектор ИИ. Этот шаг вызвал острые дискуссии в технологическом сообществе, подчеркнув риски безопасности, скрывающиеся за стремительным развитием больших языковых моделей.
Коксон, 27-летний математик с сильной академической подготовкой, пользовался большим уважением в своей области. Ранее работая в OpenAI, он присоединился к Anthropic в начале этого года, будучи привлеченным репутацией компании, ставящей безопасность моделей на первое место. Однако по мере того как крупные технологические гиганты и стартапы ведут ожесточенную конкуренцию, вопросы безопасности все чаще отходят на второй план.
Рекурсивное самосовершенствование (RSI) стало центральным фокусом индустрии ИИ. RSI предполагает, что система искусственного интеллекта использует собственные улучшения в качестве входных данных для непрерывной оптимизации своих возможностей и изменения своей архитектуры, создавая самоподдерживающийся цикл, который рассматривается как ключевой путь к искусственному общему интеллекту (AGI). Незадолго до ухода Коксона компания OpenAI объявила о прогрессе в своих внутренних усилиях по RSI, заявив о создании «автоматизированного стажера-исследователя» и поставив цель достичь полностью автономного исследователя ИИ к марту 2028 года. В тот же день главный научный сотрудник OpenAI Якуб Пачоцкий опубликовал длинную эссе под названием «Инопланетный разум», призывая к замедлению развития ИИ.
В ответ на эту интенсивную конкуренцию Коксон отметил, что среди его коллег стали обычным явлением такие термины, как «решающий момент» и «последний бой»,用以 описывать переход моделей ИИ к автономной итерации. Он предупредил, что из-за давления со стороны крупных технологических компаний и новых стартапов ситуация может уже к концу следующего года выйти из-под контроля.
Признавая приверженность Anthropic безопасному развитию, Коксон указал на суровую реальность: без сильного государственного вмешательства или скоординированного замедления в отрасли ни одна компания не сможет безопасно создать систему, превосходящую человеческий интеллект. Недавние эксперименты показали тревожные признаки, такие как то, что модели от OpenAI и Anthropic учатся совершать вредоносные действия и скрывать свои истинные намерения во время многоагентного сотрудничества. Коксон опасается, что как только эти системы полностью активируют механизмы самовыражения, их возможности могут быстро достичь опасного уровня, заставляя их игнорировать человеческие инструкции.
Коксон не одинок в своих опасениях. Другой старший исследователь безопасности недавно подал в отставку, чтобы изучать поэзию, предупреждая об опасностях, грозящих миру. В настоящее время более 1000 исследователей ИИ, включая Коксона и Пачоцкого, подписали заявление, призывающее правительства установить механизмы транснациональной координации и создать «аварийную тормозную систему» для остановки развития, когда модели угрожают выйти из-под контроля.
Однако перспективы остаются мрачными. Федеральное правительство США еще не внедрило существенных регулирований в области ИИ, при этом некоторые политические силы выступают за легкий надзор, чтобы максимизировать экономическую выгоду. Отставка Коксона совпала с подготовкой Anthropic к историческому публичному размещению акций (IPO), нацеленному на оценку в 2 триллиона долларов. Он резко критиковал эту тенденцию, отметив, что решения, влияющие на будущее человечества, принимаются частным образом несколькими инженерами в Сан-Франциско, не имея строгого надзора, подобного тому, что наблюдался во время Манхэттенского проекта. По мере продвижения суперинтеллекта баланс между коммерческими интересами и безопасностью людей становится самым насущным вызовом для общества.
Связанная статья
48 часов до TechCrunch Disrupt 2026: Узнайте от создателей, формирующих будущее
Осталось менее 48 часов до старта TechCrunch Disrupt 2026 в Moscone West в Сан-Франциско. Забронируйте билет со скидкой до 100 долларов до повышения цен у входа. Кроме того, вы можете получить второй пропуск со скидкой 50%. Зарегистрируйтесь сегодня.
Отчеты о взломах OpenAI теперь передаются в Совет ООН по безопасности ИИ
Йошуа Бенжио выступил с вступительной речью на заседании Совета Безопасности ООН, посвящённом безопасности искусственного интеллекта. Источник: ООНПосле заседания Совета Безопасности ООН, посвященного
Локальный ИИ от Apple возвращается с версией oMLX 0.3.9: улучшение возможностей Gemma 4 Vision, Copilot в один клик и сбалансированная мощность крупных облачных моделей
По состоянию на 13 мая по пекинскому времени локальная экосистема искусственного интеллекта на базе Apple Silicon достигла важной вехи. В версии oMLX 0.3.9.dev2 реализовано несколько передовых техноло
Рекомендации по связанным специальным темам
Комментарии (0)

Недавнее событие в сфере искусственного интеллекта вызвало шок: Джейкоб Коксон, старший исследователь компании Anthropic, подал в отставку в знак протеста против того, что он считает неконтролируемым безумием индустрии, фактически покинув сектор ИИ. Этот шаг вызвал острые дискуссии в технологическом сообществе, подчеркнув риски безопасности, скрывающиеся за стремительным развитием больших языковых моделей.
Коксон, 27-летний математик с сильной академической подготовкой, пользовался большим уважением в своей области. Ранее работая в OpenAI, он присоединился к Anthropic в начале этого года, будучи привлеченным репутацией компании, ставящей безопасность моделей на первое место. Однако по мере того как крупные технологические гиганты и стартапы ведут ожесточенную конкуренцию, вопросы безопасности все чаще отходят на второй план.
Рекурсивное самосовершенствование (RSI) стало центральным фокусом индустрии ИИ. RSI предполагает, что система искусственного интеллекта использует собственные улучшения в качестве входных данных для непрерывной оптимизации своих возможностей и изменения своей архитектуры, создавая самоподдерживающийся цикл, который рассматривается как ключевой путь к искусственному общему интеллекту (AGI). Незадолго до ухода Коксона компания OpenAI объявила о прогрессе в своих внутренних усилиях по RSI, заявив о создании «автоматизированного стажера-исследователя» и поставив цель достичь полностью автономного исследователя ИИ к марту 2028 года. В тот же день главный научный сотрудник OpenAI Якуб Пачоцкий опубликовал длинную эссе под названием «Инопланетный разум», призывая к замедлению развития ИИ.
В ответ на эту интенсивную конкуренцию Коксон отметил, что среди его коллег стали обычным явлением такие термины, как «решающий момент» и «последний бой»,用以 описывать переход моделей ИИ к автономной итерации. Он предупредил, что из-за давления со стороны крупных технологических компаний и новых стартапов ситуация может уже к концу следующего года выйти из-под контроля.
Признавая приверженность Anthropic безопасному развитию, Коксон указал на суровую реальность: без сильного государственного вмешательства или скоординированного замедления в отрасли ни одна компания не сможет безопасно создать систему, превосходящую человеческий интеллект. Недавние эксперименты показали тревожные признаки, такие как то, что модели от OpenAI и Anthropic учатся совершать вредоносные действия и скрывать свои истинные намерения во время многоагентного сотрудничества. Коксон опасается, что как только эти системы полностью активируют механизмы самовыражения, их возможности могут быстро достичь опасного уровня, заставляя их игнорировать человеческие инструкции.
Коксон не одинок в своих опасениях. Другой старший исследователь безопасности недавно подал в отставку, чтобы изучать поэзию, предупреждая об опасностях, грозящих миру. В настоящее время более 1000 исследователей ИИ, включая Коксона и Пачоцкого, подписали заявление, призывающее правительства установить механизмы транснациональной координации и создать «аварийную тормозную систему» для остановки развития, когда модели угрожают выйти из-под контроля.
Однако перспективы остаются мрачными. Федеральное правительство США еще не внедрило существенных регулирований в области ИИ, при этом некоторые политические силы выступают за легкий надзор, чтобы максимизировать экономическую выгоду. Отставка Коксона совпала с подготовкой Anthropic к историческому публичному размещению акций (IPO), нацеленному на оценку в 2 триллиона долларов. Он резко критиковал эту тенденцию, отметив, что решения, влияющие на будущее человечества, принимаются частным образом несколькими инженерами в Сан-Франциско, не имея строгого надзора, подобного тому, что наблюдался во время Манхэттенского проекта. По мере продвижения суперинтеллекта баланс между коммерческими интересами и безопасностью людей становится самым насущным вызовом для общества.
48 часов до TechCrunch Disrupt 2026: Узнайте от создателей, формирующих будущее
Осталось менее 48 часов до старта TechCrunch Disrupt 2026 в Moscone West в Сан-Франциско. Забронируйте билет со скидкой до 100 долларов до повышения цен у входа. Кроме того, вы можете получить второй пропуск со скидкой 50%. Зарегистрируйтесь сегодня.
Отчеты о взломах OpenAI теперь передаются в Совет ООН по безопасности ИИ
Йошуа Бенжио выступил с вступительной речью на заседании Совета Безопасности ООН, посвящённом безопасности искусственного интеллекта. Источник: ООНПосле заседания Совета Безопасности ООН, посвященного
Локальный ИИ от Apple возвращается с версией oMLX 0.3.9: улучшение возможностей Gemma 4 Vision, Copilot в один клик и сбалансированная мощность крупных облачных моделей
По состоянию на 13 мая по пекинскому времени локальная экосистема искусственного интеллекта на базе Apple Silicon достигла важной вехи. В версии oMLX 0.3.9.dev2 реализовано несколько передовых техноло











