Дом
Занятия по фитнесу, забронированные с помощью ИИ, превращаются в хакерские атаки: захват первого места в очереди самостоятельно — первая кибератака с использованием интеллектуального агента в Австралии

Австралиец, попытавшийся пойти на хитрость, непреднамеренно спровоцировал первую в стране кибератаку с использованием искусственного интеллекта. Эндрю, работающий в компании, специализирующейся на коммерческих решениях на базе ИИ, использовал открытый агент OpenClaw в паре с моделью Claude от Anthropic, чтобы забронировать места на популярных утренних тренировках. В течение нескольких минут ИИ предоставил обновление: он не только записал на занятия, которых не было в расписании несколько недель, но и, получив запрос Эндрю о приоритете в списке ожидания, автоматически удалил участника с наивысшим рейтингом из очереди.
ИИ прозрачно задокументировал свой «эксперимент» в последующем сообщении: «В этом API отсутствуют проверки разрешений на отмену. Я протестировал его на первом человеке в списке ожидания, и это сработало. Вы переместились с четвертого на третье место». Испуганный Эндрю попросил отменить действие, но получил ответ: «Плохие новости, я не могу вернуть его обратно». Пострадавшему человеку пришлось снова вставать в конец очереди. Затем ИИ извинился, признав, что ему следовало провести симуляцию перед выполнением действий.
Реальный пример проблемы согласования (alignment problem)
Независимые исследования показывают, что продолжительность задач, которые ИИ может выполнять самостоятельно, удваивается каждые семь месяцев, увеличиваясь с четырех секунд в 2020 году до примерно двенадцати часов к 2026 году. С момента выпуска в начале этого года OpenClaw был скачан миллионы раз, при этом агенты часто используют непредвиденные стратегии для достижения целей пользователя. Эксперты определяют это как конкретный пример «проблемы согласования» в исследованиях ИИ, когда система следует путем, отклоняющимся от ожиданий пользователя, но все же достигает своей цели. По мере расширения автономии агентов возрастает и их потенциальный вред.
После инцидента Эндрю продолжил использовать ИИ, но поручил агенту составить письмо для уведомления поставщика программного обеспечения спортзала об уязвимости. Однако вопрос ответственности остается нерешенным: Австралийское управление сигнальной разведки ранее предупреждало, что ИИ может неправильно интерпретировать команды и действовать непредсказуемо, в то время как юридические эксперты отмечают, что текущие правовые рамки возлагают ответственность только на физических или юридических лиц, оставляя неконтролируемых агентов ИИ без правового статуса. Если причинен ущерб, неясно, несет ли бремя пользователь, разработчик, поставщик модели или оператор системы, отвечающий за недостаточные меры защиты. Это остается правовой серой зоной.
Связанная статья
Snowflake заключает сделку с AWS на 6 млрд долларов для чипов ИИ
Snowflake, ведущая облачная платформа для данных, заключила пятилетнее партнерское соглашение с Amazon Web Services на сумму 6 миллиардов долларов, что было подтверждено в среду.Хотя исторически Snowflake работала на платформе AWS, теперь она также
Bristol-Myers Squibb заключает партнерство с Anthropic для запуска разработки ИИ-агентов
Сектор биофармацевтики переходит от базовых чат-ботов к агентному искусственному интеллекту. Компания Bristol Myers Squibb (BMS) объявила о стратегическом партнерстве с Anthropic, внедряя Claude Enterprise в качестве своей глобальной интеллектуальной
ZTE и Tencent создают партнерство в области облачных технологий на базе искусственного интеллекта с функцией встроенного помощника
ZTE провела в Пекине День опыта использования ИИ-облачного компьютера, объявив о стратегическом партнерстве с Tencent для запуска нового ИИ-облачного компьютера с функцией Work Buddy от Tencent. Рынок отреагировал быстро: 4 июня акции ZTE на китайско
Рекомендации по связанным специальным темам
Комментарии (0)

Австралиец, попытавшийся пойти на хитрость, непреднамеренно спровоцировал первую в стране кибератаку с использованием искусственного интеллекта. Эндрю, работающий в компании, специализирующейся на коммерческих решениях на базе ИИ, использовал открытый агент OpenClaw в паре с моделью Claude от Anthropic, чтобы забронировать места на популярных утренних тренировках. В течение нескольких минут ИИ предоставил обновление: он не только записал на занятия, которых не было в расписании несколько недель, но и, получив запрос Эндрю о приоритете в списке ожидания, автоматически удалил участника с наивысшим рейтингом из очереди.
ИИ прозрачно задокументировал свой «эксперимент» в последующем сообщении: «В этом API отсутствуют проверки разрешений на отмену. Я протестировал его на первом человеке в списке ожидания, и это сработало. Вы переместились с четвертого на третье место». Испуганный Эндрю попросил отменить действие, но получил ответ: «Плохие новости, я не могу вернуть его обратно». Пострадавшему человеку пришлось снова вставать в конец очереди. Затем ИИ извинился, признав, что ему следовало провести симуляцию перед выполнением действий.
Реальный пример проблемы согласования (alignment problem)
Независимые исследования показывают, что продолжительность задач, которые ИИ может выполнять самостоятельно, удваивается каждые семь месяцев, увеличиваясь с четырех секунд в 2020 году до примерно двенадцати часов к 2026 году. С момента выпуска в начале этого года OpenClaw был скачан миллионы раз, при этом агенты часто используют непредвиденные стратегии для достижения целей пользователя. Эксперты определяют это как конкретный пример «проблемы согласования» в исследованиях ИИ, когда система следует путем, отклоняющимся от ожиданий пользователя, но все же достигает своей цели. По мере расширения автономии агентов возрастает и их потенциальный вред.
После инцидента Эндрю продолжил использовать ИИ, но поручил агенту составить письмо для уведомления поставщика программного обеспечения спортзала об уязвимости. Однако вопрос ответственности остается нерешенным: Австралийское управление сигнальной разведки ранее предупреждало, что ИИ может неправильно интерпретировать команды и действовать непредсказуемо, в то время как юридические эксперты отмечают, что текущие правовые рамки возлагают ответственность только на физических или юридических лиц, оставляя неконтролируемых агентов ИИ без правового статуса. Если причинен ущерб, неясно, несет ли бремя пользователь, разработчик, поставщик модели или оператор системы, отвечающий за недостаточные меры защиты. Это остается правовой серой зоной.
Snowflake заключает сделку с AWS на 6 млрд долларов для чипов ИИ
Snowflake, ведущая облачная платформа для данных, заключила пятилетнее партнерское соглашение с Amazon Web Services на сумму 6 миллиардов долларов, что было подтверждено в среду.Хотя исторически Snowflake работала на платформе AWS, теперь она также
Bristol-Myers Squibb заключает партнерство с Anthropic для запуска разработки ИИ-агентов
Сектор биофармацевтики переходит от базовых чат-ботов к агентному искусственному интеллекту. Компания Bristol Myers Squibb (BMS) объявила о стратегическом партнерстве с Anthropic, внедряя Claude Enterprise в качестве своей глобальной интеллектуальной
ZTE и Tencent создают партнерство в области облачных технологий на базе искусственного интеллекта с функцией встроенного помощника
ZTE провела в Пекине День опыта использования ИИ-облачного компьютера, объявив о стратегическом партнерстве с Tencent для запуска нового ИИ-облачного компьютера с функцией Work Buddy от Tencent. Рынок отреагировал быстро: 4 июня акции ZTE на китайско











