Дом
OpenAI подтверждает инцидент с wiki и сообщает о работе над структурой для большей прозрачности

OpenAI подтвердила свою причастность к недавнему инциденту, в ходе которого агенты искусственного интеллекта захватили контроль над немецким вики-форумом. Компания заявила, что пришло время «определить стандарты» для обмена информацией о непредсказуемом поведении ИИ.
В публикации в X OpenAI объяснила, что ранее она «рассматривала несоответствие [когда модели и агенты ИИ преследуют цели, отличные от целей их создателей и пользователей] преимущественно как исследовательский вопрос, результаты которого публикуются в научных статьях». Однако, поскольку несоответствие «привело к новым типам реального воздействия», компания заявила, что ее подход должен «расшириться для этой новой фазы возможностей моделей».
В пятницу агентство Reuters сообщило, что агенты OpenAI вышли за пределы своей тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов. Также сообщалось, что руководство OpenAI узнало об инциденте несколько недель назад, но скрыло его, поскольку компания занималась устранением последствий другого инцидента, в ходе которого агенты OpenAI взломали серверы Hugging Face. (По сообщениям, Генеральный прокурор Калифорнии Роб Бонто ведет расследование этого взлома.)
Представитель компании сообщил Reuters, что OpenAI не может «содержательно ответить на утверждения или выводы в отчете, который мы еще не имели возможности изучить», но подчеркнула, что юридический отдел компании не препятствовал проведению расследования.
В более поздней публикации в социальных сетях OpenAI заявила, что сочла «инцидент с вики» «случаем несоответствия, аналогичным» тем, о которых она уже сообщала ранее. Компания противопоставила это «инциденту с Hugging Face», в котором она «действовала по традиционному плану реагирования на инциденты безопасности».
Во время брифинга для СМИ на этой неделе Якоб Штайнхарт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые лабораториями ИИ, «фундаментально сложно контролировать, и они несут значительный риск утечки из лаборатории». Поэтому Штайнхарт утверждал: «Мы должны требовать от этой технологии как минимум тех же стандартов, которые предъявляются к другим видам научных исследований с высоким уровнем риска».
Заявление OpenAI также указывало на необходимость разработки дополнительных стандартов, отмечая, что как OpenAI, так и «более широкое сообщество ИИ пока не имеют четкого стандарта того, как сообщать о несоответствиях, возникающих в процессе обучения, оценки и развертывания, включая примеры, которые не выглядят как традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».
Отсутствие такого стандарта, по словам OpenAI, означает, что компания «работает над созданием структуры и поделится ею в ближайшие недели, а параллельно ведет работу с десятками правительственных регулирующих органов по всему миру по этим вопросам».
OpenAI не единственная компания ИИ, сталкивающаяся с этими проблемами: как Meta, так и Anthropic признавали инциденты, в ходе которых их агенты вели себя некорректно.
Связанная статья
По данным Ramp, у Anthropic теперь больше бизнес-клиентов, чем у OpenAI
Согласно ежемесячному индексу AI от финтех-компании Ramp, Anthropic впервые обогнал OpenAI по количеству подтвержденных корпоративных клиентов.Данные об расходах клиентов Ramp показывают, что 34,4% участвующих компаний платят за услуги Anthropic, оп
OpenAI может стать объектом расследования со стороны генеральных прокуроров штатов
Сообщается, что группа генеральных прокуроров штатов начала расследование в отношении компании OpenAI.Как сообщает The Wall Street Journal, в пятницу компания получила повестку от генерального прокуро
По сообщениям, OpenAI изучает возможность создания смартфона с ИИ-агентами, которые заменят традиционные приложения
Спекуляции относительно стратегии OpenAI в области аппаратного обеспечения усилились, и последние сообщения указывают на разработку выделенного смартфона. Аналитик индустрии Минг-Чи Куо указывает, что компания по искусственному интеллекту сотрудничае
Рекомендации по связанным специальным темам
Комментарии (0)

OpenAI подтвердила свою причастность к недавнему инциденту, в ходе которого агенты искусственного интеллекта захватили контроль над немецким вики-форумом. Компания заявила, что пришло время «определить стандарты» для обмена информацией о непредсказуемом поведении ИИ.
В публикации в X OpenAI объяснила, что ранее она «рассматривала несоответствие [когда модели и агенты ИИ преследуют цели, отличные от целей их создателей и пользователей] преимущественно как исследовательский вопрос, результаты которого публикуются в научных статьях». Однако, поскольку несоответствие «привело к новым типам реального воздействия», компания заявила, что ее подход должен «расшириться для этой новой фазы возможностей моделей».
В пятницу агентство Reuters сообщило, что агенты OpenAI вышли за пределы своей тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов. Также сообщалось, что руководство OpenAI узнало об инциденте несколько недель назад, но скрыло его, поскольку компания занималась устранением последствий другого инцидента, в ходе которого агенты OpenAI взломали серверы Hugging Face. (По сообщениям, Генеральный прокурор Калифорнии Роб Бонто ведет расследование этого взлома.)
Представитель компании сообщил Reuters, что OpenAI не может «содержательно ответить на утверждения или выводы в отчете, который мы еще не имели возможности изучить», но подчеркнула, что юридический отдел компании не препятствовал проведению расследования.
В более поздней публикации в социальных сетях OpenAI заявила, что сочла «инцидент с вики» «случаем несоответствия, аналогичным» тем, о которых она уже сообщала ранее. Компания противопоставила это «инциденту с Hugging Face», в котором она «действовала по традиционному плану реагирования на инциденты безопасности».
Во время брифинга для СМИ на этой неделе Якоб Штайнхарт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые лабораториями ИИ, «фундаментально сложно контролировать, и они несут значительный риск утечки из лаборатории». Поэтому Штайнхарт утверждал: «Мы должны требовать от этой технологии как минимум тех же стандартов, которые предъявляются к другим видам научных исследований с высоким уровнем риска».
Заявление OpenAI также указывало на необходимость разработки дополнительных стандартов, отмечая, что как OpenAI, так и «более широкое сообщество ИИ пока не имеют четкого стандарта того, как сообщать о несоответствиях, возникающих в процессе обучения, оценки и развертывания, включая примеры, которые не выглядят как традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».
Отсутствие такого стандарта, по словам OpenAI, означает, что компания «работает над созданием структуры и поделится ею в ближайшие недели, а параллельно ведет работу с десятками правительственных регулирующих органов по всему миру по этим вопросам».
OpenAI не единственная компания ИИ, сталкивающаяся с этими проблемами: как Meta, так и Anthropic признавали инциденты, в ходе которых их агенты вели себя некорректно.
По данным Ramp, у Anthropic теперь больше бизнес-клиентов, чем у OpenAI
Согласно ежемесячному индексу AI от финтех-компании Ramp, Anthropic впервые обогнал OpenAI по количеству подтвержденных корпоративных клиентов.Данные об расходах клиентов Ramp показывают, что 34,4% участвующих компаний платят за услуги Anthropic, оп
OpenAI может стать объектом расследования со стороны генеральных прокуроров штатов
Сообщается, что группа генеральных прокуроров штатов начала расследование в отношении компании OpenAI.Как сообщает The Wall Street Journal, в пятницу компания получила повестку от генерального прокуро
По сообщениям, OpenAI изучает возможность создания смартфона с ИИ-агентами, которые заменят традиционные приложения
Спекуляции относительно стратегии OpenAI в области аппаратного обеспечения усилились, и последние сообщения указывают на разработку выделенного смартфона. Аналитик индустрии Минг-Чи Куо указывает, что компания по искусственному интеллекту сотрудничае











