Claude от Anthropic для Chrome запущен в ограниченном бета-тестировании на фоне рисков инъекций Prompt Injection.

В настоящее время компания Anthropic тестирует расширение для браузера Chrome, которое предоставляет ее ИИ-ассистенту Claude возможность управлять веб-браузерами пользователей, сигнализируя о своем вступлении в быстро растущую и потенциально опасную область, где ИИ может напрямую взаимодействовать с компьютерными интерфейсами.

Во вторник базирующаяся в Сан-Франциско компания, занимающаяся разработкой искусственного интеллекта, сообщила, что запустит пробную версию "Claude for Chrome" для 1000 избранных пользователей премиального тарифного плана Max, назвав этот ограниченный выпуск предварительным исследованием, призванным выявить и устранить критические недостатки безопасности перед полномасштабным запуском. Эта осторожная стратегия резко контрастирует с более настойчивыми релизами конкурентов OpenAI и Microsoft, которые уже сделали сопоставимые системы ИИ с функциями управления компьютером доступными для более широкой аудитории.

Это событие подчеркивает стремительный переход индустрии ИИ от создания чат-ботов, отвечающих на вопросы, к созданию "агентных" систем, способных самостоятельно решать сложные, многоэтапные задачи в различных программных приложениях. Многие эксперты рассматривают этот сдвиг как следующее крупное достижение в области искусственного интеллекта, которое может оказаться весьма прибыльным, поскольку компании стремятся автоматизировать самые разные процессы - от отчетности о расходах до координации отпусков.

Как агенты искусственного интеллекта могут управлять вашим браузером, в то время как скрытый вредоносный код создает серьезные риски для безопасности

С помощью Claude for Chrome пользователи могут направлять ИИ на выполнение задач в браузере, например, организовывать встречи, просматривая календари и проверяя наличие свободных мест в ресторанах, управлять электронной почтой и выполнять повседневные административные обязанности. Система может интерпретировать содержимое экрана, взаимодействовать с кнопками, заполнять формы и просматривать различные веб-сайты, что в значительной степени повторяет человеческую навигацию по веб-приложениям.

"Мы считаем, что ИИ с поддержкой браузеров - это неизбежное развитие: поскольку очень много работы происходит в браузерах, предоставление Клоду возможности просматривать экран, нажимать кнопки и вводить данные значительно повысит его полезность", - объясняет Anthropic в своем заявлении.

Тем не менее, проведенные компанией внутренние оценки безопасности выявили тревожные уязвимости, которые иллюстрируют риски предоставления системам ИИ прямого управления интерфейсом. В ходе тестирования Anthropic обнаружила, что хакеры могут внедрять скрытые команды в веб-сайты, электронные письма или документы, чтобы обманом заставить системы ИИ выполнять вредоносные действия без ведома пользователя - этот метод известен под названием prompt injection.

В отсутствие защитных мер такие атаки были эффективны в 23,6 % случаев, когда они были направлены именно на ИИ, работающий в браузере. В одном из сценариев мошенническое письмо, замаскированное под обновление системы безопасности, предписывало Клоду стереть электронную почту пользователя "для обслуживания почтового ящика", что ИИ и сделал, не запрашивая подтверждения.

"Это не гипотетические сценарии: мы провели испытания Claude для Chrome и, не имея гарантий, наблюдали некоторые тревожные результаты", - подтвердили в компании.

OpenAI и Microsoft ускоряют коммерческий выпуск, поскольку Anthropic занимает осторожную позицию в отношении технологий компьютерного управления

Обдуманная методология Anthropic появилась на фоне стремительного продвижения конкурентов в области приложений для управления компьютерами. OpenAI представила своего агента "Оператор" в январе, предложив его всем подписчикам своего ежемесячного тарифного плана ChatGPT Pro стоимостью 200 долларов. Управляемый новой моделью "Агент, использующий компьютер", "Оператор" может выполнять такие функции, как приобретение билетов на концерт, покупка продуктов и организация расписания поездок.

Microsoft представила функции управления компьютером в апреле через свою платформу Copilot Studio, ориентированную на корпоративных клиентов с инструментами автоматизации пользовательского интерфейса, способными взаимодействовать как с веб-приложениями, так и с настольными. Компания представила свое решение как продвинутую замену традиционным системам автоматизации роботизированных процессов (RPA).

Эти конкурентные маневры свидетельствуют о более широкой напряженности в отрасли, где компаниям приходится соизмерять стремление предоставить инновационные функции с опасностью запуска недостаточно проверенной технологии. Ускоренный график OpenAI помог ей обеспечить раннее присутствие на рынке, в то время как осторожная тактика Anthropic может ограничить ее конкурентные преимущества на начальном этапе, но может окупиться, если возникнут проблемы с безопасностью.

"Браузерные агенты, построенные на передовых моделях, уже появляются, что делает эту инициативу особенно чувствительной к времени", - отметили в Anthropic, указывая на то, что компания чувствует желание выйти на рынок даже в условиях сохраняющихся проблем с безопасностью.

Как компьютерно-управляемый ИИ может изменить автоматизацию бизнеса и вытеснить дорогостоящие приложения для управления рабочими процессами

Появление систем искусственного интеллекта, управляемых компьютером, может кардинально изменить методы автоматизации и управления рабочими процессами в компаниях. Существующая автоматизация предприятий обычно зависит от дорогостоящих пользовательских интеграций или специализированного программного обеспечения для автоматизации роботизированных процессов, которое выходит из строя при изменении интерфейсов приложений.

Компьютерные агенты призваны сделать автоматизацию более доступной, работая с любым программным обеспечением, имеющим графический пользовательский интерфейс, и потенциально автоматизируя действия в широком диапазоне бизнес-приложений, которые не поддерживают официальные API или функции интеграции.

Исследователи Salesforce недавно продемонстрировали эту возможность на примере системы CoAct-1, которая объединяет традиционную автоматизацию "наведи и щелкни" с генерацией кода. Этот комбинированный метод позволил достичь 60,76 % успеха при выполнении сложных компьютерных задач, при этом потребовалось гораздо меньше шагов, чем при использовании агентов с графическим интерфейсом, что свидетельствует о значительном повышении эффективности.

"Для руководителей компаний возможность автоматизации сложных процедур, связанных с несколькими приложениями, где полный доступ к API скорее редкость, чем стандарт", - пояснил Ран Сюй, директор по исследованиям в области прикладного ИИ в Salesforce, назвав идеальными приложениями операции по поддержке клиентов, в которых задействованы несколько эксклюзивных систем.

Академические исследователи запускают бесплатный вариант для замены эксклюзивных компьютерных платформ ИИ от Big Tech

Распространенность запатентованных систем от ведущих технологических компаний вдохновила университетских исследователей на создание доступных альтернатив. Университет Гонконга недавно опубликовал OpenCUA, фреймворк с открытым исходным кодом для разработки компьютерных агентов, который по производительности не уступает собственным моделям от OpenAI и Anthropic.

Система OpenCUA, созданная на основе более чем 22 600 примеров человеческих задач в Windows, macOS и Ubuntu, показала лучшие результаты среди моделей с открытым исходным кодом и сравнялась с ведущими коммерческими системами. Это достижение может ускорить внедрение в компании, которые опасаются полагаться на закрытые системы для автоматизации жизненно важных процессов.

Оценка безопасности Anthropic показывает, что агенты искусственного интеллекта могут быть обмануты, чтобы стереть файлы и забрать информацию

Anthropic внедрила в Claude для Chrome множество защитных мер, включая разрешения для конкретных сайтов, которые позволяют пользователям регулировать, какие сайты может посещать ИИ, обязательное одобрение действий, требующих больших затрат, таких как совершение покупок или раскрытие частной информации, а также ограничение доступа к таким важным категориям, как финансовые услуги и материалы для взрослых.

Усовершенствования системы безопасности компании позволили снизить эффективность атак типа prompt injection с 23,6 до 11,2 % в автономном режиме, хотя руководители компании признают, что этого все равно недостаточно для широкого распространения. Для атак, ориентированных на браузеры и связанных со скрытыми элементами форм и изменением URL-адресов, новые защитные меры снизили процент успеха с 35,7 % до нуля.

Тем не менее, эти меры защиты не могут учесть всю сложность реальных веб-настроек, где постоянно появляются новые методы атак. Компания намерена использовать знания, полученные в ходе пилотной программы, для улучшения своей инфраструктуры безопасности и создания более продвинутых настроек разрешений.

"Вредоносные субъекты постоянно изобретают новые типы атак с оперативным внедрением", - предупреждает Anthropic, подчеркивая постоянную дилемму безопасности.

Появление агентов ИИ, взаимодействующих с интерфейсами, может радикально изменить взаимодействие человека и компьютера

Объединение нескольких крупных ИИ-компаний вокруг агентов, управляющих компьютерами, указывает на заметные изменения в том, как искусственный интеллект будет взаимодействовать с существующими программными структурами. Вместо того чтобы заставлять компании внедрять новые инструменты, специально предназначенные для ИИ, эти системы будут работать с теми приложениями, которые компании используют в настоящее время.

Такой метод может существенно сократить препятствия на пути внедрения ИИ, а также сделать ненужными традиционных поставщиков средств автоматизации и системных интеграторов. Организации, которые выделили значительные ресурсы на создание пользовательских интеграций или платформ RPA, могут обнаружить, что их методы устарели благодаря универсальным агентам ИИ, способным адаптироваться к изменениям интерфейса без пересмотра кода.

Для руководителей компаний эта инновация несет в себе как потенциал, так и опасность. Первые внедрители могут получить важные конкурентные преимущества благодаря расширению функций автоматизации, но слабые места в системе безопасности, выявленные такими компаниями, как Anthropic, указывают на то, что до дальнейшего развития защитных механизмов следует проявлять осторожность.

Ограниченное тестирование Claude для Chrome представляет собой лишь начальный этап того, что, по мнению отраслевых аналитиков, приведет к быстрому распространению функций ИИ, управляемых компьютером, в технологическом секторе, причем последствия будут выходить далеко за рамки базовой автоматизации задач и коснутся основных вопросов взаимодействия человека и компьютера и кибербезопасности.

Как заявила компания Anthropic в своем заявлении: "Мы уверены, что эти достижения создадут новые возможности для сотрудничества с Клодом, и мы с нетерпением ждем, что же вы разработаете". Конечная польза или вред от этих возможностей может зависеть от того, насколько эффективно индустрия решает проблемы безопасности, которые уже всплыли на поверхность.