Gecko Robotics заключила партнерство с NVIDIA для интеграции безопасности и управления ИИ-агентами

Компания Gecko Robotics использует новейший слой безопасности агентного ИИ от NVIDIA в своем флоте инспекционных роботов. Источник: Gecko Robotics

Компания NVIDIA Corp. сегодня представила свою Открытую платформу безопасности агентов (Open Agent Safety Platform), включающую программное обеспечение с открытым исходным кодом OpenShell и эталонную систему проектирования Sentry. Эти инструменты предназначены для улучшения управления и контроля на уровнях аппаратного обеспечения, вычислений и программного обеспечения для роботов, использующих агентов ИИ. Компания Gecko Robotics Inc. входит в число более чем 100 организаций, сотрудничающих с технологией NVIDIA.

После недавних инцидентов, когда агенты ИИ от OpenAI обошли контроль на уровне приложений для атаки на платформу Hugging Face, разработчики в секторах ИИ и робототехники усилили усилия по обеспечению отслеживаемости, подотчетности и превентивных мер безопасности.

«По мере того как мы продолжаем исследовать передовые возможности ИИ, мы должны ускорить исследования в области безопасности ИИ», — сказал Дженсен Хуанг, генеральный директор NVIDIA. «Безопасность и защита требуют комплексной инженерии. Платформа NVIDIA Open Agent Safety Platform объединяет отрасль, исследователей и организации государственного сектора для обмена передовым опытом, согласования методов решения проблем и содействия международному сотрудничеству».

Примечание редактора: Физический ИИ является ключевой темой конференции RoboBusiness 2026, которая состоится 20 и 21 октября в Санта-Кларе, Калифорния. Зарегистрируйтесь сейчас, чтобы принять участие.

OpenShell и Sentry от NVIDIA обеспечивают соблюдение политик

OpenShell предоставляет безопасную границу среды выполнения, которая отслеживает все действия и обеспечивает соблюдение политик при работе агентов ИИ на процессорах NVIDIA Vera. По словам NVIDIA, он обеспечивает детерминированное управление выполнением агентов, доступом и маршрутизацией вывода.

Как программное обеспечение с открытым исходным кодом, OpenShell может быть расширен для работы с вычислительными платформами сторонних производителей, включая решения от Arm и Intel, добавила компания со штаб-квартирой в Санта-Кларе, Калифорния.

NVIDIA Sentry добавляет независимый контрольный механизм (watchdog), работающий на устройствах обработки данных BlueField-4 (DPU), для непрерывного мониторинга поведения агентов. Компания заявила, что Sentry контролирует результаты в соответствии с политиками и может изолировать агентов, пытающихся нарушить границы, за миллисекунды.

«Чтобы экономика агентов росла, нам нужна надежная основа как на уровне кремния, так и программного обеспечения», — сказал Джастин Бойтано, вице-президент по корпоративному ИИ в NVIDIA, во время пресс-брифинга. «Мы хотим привлечь всех к продвижению нового уровня безопасности агентов».

«Независимая доверенная область работает так же, как в беспилотных автомобилях», — пояснил он. «Основная система обрабатывает восприятие, а остров безопасности гарантирует безопасное отключение всей системы. Те же принципы применяются к передовым системам ИИ».

OpenShell может при необходимости переносить безопасность на кремний или DPU, в то время как Sentry отслеживает цепочки рассуждений. Модуль доказателя политик (Policy Prover) в составе платформы NVIDIA Open Agent Safety Platform является детерминированным и работает на высокой скорости.

«Если вы напишете политику, которая запрещает агенту читать код из Github, агент может создать отдельные подагенты для его чтения, а затем опубликовать эту информацию, при этом флоты могут игнорировать глобальные политики», — сказал Бойтано. «Доказатель политик проверяет главное дерево решений, анализируя совокупный доступ к файлам и сети, чтобы выявить непреднамеренную утечку данных. Оно основано на исследованиях S3 от AWS для создания проверяемых политик».

«Мы считаем, что долгосрочное поведение агентов — это другая проблема, чем песочница», — добавил он. «OpenShell проецирует намерение политики в инфраструктуру».

Платформа NVIDIA Open Agent Safety Platform включает OpenShell и Sentry. Источник: NVIDIA

Gecko предоставляет агентам ИИ контроль над движением робота

Хотя недавние инциденты безопасности происходили исключительно в программной среде, компания Gecko Robotics отметила, что они выявили потенциальную уязвимость, затрагивающую всех агентов ИИ, включая роботов. Компания использовала NVIDIA OpenShell для изучения того, как исполняемые границы могут удерживать роботов с ИИ в рамках разрешений, определенных человеком. Gecko стремится установить необходимые меры защиты для ответственного развертывания большей автономии.

«Как говорит Дженсен, безопасность — это инженерная проблема, а не юридическая», — сказал Джейк Лусарариан, соучредитель и генеральный директор Gecko Robotics. «Идея о том, что потеря контроля над ИИ неизбежна, является опасным оправданием бездействия. Мы несем ответственность за создание мер защиты, которые удерживают ИИ в пределах, установленных людьми».

«То, что NVIDIA создала со своей платформой безопасности агентов, и что Gecko тестирует для роботов, — это устранение рисков до того, как они достигнут физического мира, и помощь в обеспечении того, чтобы большая автономия не достигалась ценой человеческого контроля», — добавил он.

Gecko использует роботов, способных лазать, ползать, летать и плавать на критической инфраструктуре компаний из списка Fortune 100 в сфере энергетики, а также ВВС и ВМС США. Ее системы проверяют все: от топливных баков до атомных подводных лодок и авианосцев.

Ариэль Вайнгартен, директор по инженерии в Gecko, сообщил The Robot Report, что его агенты имеют доступ к тем же системным командам, что и операторы на местах, включая:

Запуск и остановку сбора данныхУправление движением робота и планирование путейПодъем и опускание полезной нагрузки

Он сказал, что они не обрабатывают жизненный цикл данных или их загрузку в облако управления Gecko.

В то время как исследования безопасности агентов ИИ продолжаются, базирующаяся в Питтсбурге Gecko использует NVIDIA OpenShell для создания безопасных границ среды выполнения, которые разработчики могут использовать для определения разрешенных действий и ограничений.

Робот Komodo включает слой принудительного исполнения

Komodo от Gecko, робот, развернутый ВМС США, помещает независимый слой принудительного исполнения между агентом ИИ и аппаратным обеспечением. «Разработчик решает, что должен делать Komodo; OpenShell гарантирует, что он остается в рамках правил», — заявила компания.

«Физический ИИ и робототехника представляют собой следующий рубеж технологий», — утвердила Gecko Robotics. «Перенос интеллекта из программного обеспечения в машины также несет большую ответственость. Безопасности на уровне моделей недостаточно».

Поскольку Gecko уже следует четко определенным мерам безопасности для военных активов США, их внедрение в OpenShell было менее сложной задачей, сказал Вайнгартен.

«Разрабатывая исполняемые элементы управления по всему технологическому стеку, NVIDIA и Gecko помогают обеспечить, чтобы меры защиты, регулирующие физический ИИ, развивались так же быстро, как и сама технология», — добавила компания.

Платформа Cantilever от Gecko с ИИ преобразует массивные наборы данных, собранные ее роботами, в полезные выводы. Компания заявила, что ее системы позволяют принимать решения на основе данных и доказательств относительно структур, обеспечивая возврат инвестиций (ROI) для клиентов.

Поскольку OpenShell работает в границах полевой системы Komodo, он напрямую не взаимодействует с Cantilever, отметил Вайнгартен. По его словам, Gecko намерена использовать слой безопасности NVIDIA как для оборонных, так и для военных систем в будущем. Детерминированный контроль также может принести пользу операциям на уровне роя.

«Безусловно, полезно иметь инварианты на уровне отдельных единиц, которые можно использовать для анализа динамики роя/флота», — сказал Вайнгартен. «Мы рады развиваться по мере перехода от управления отдельными системами к агентно-ассистируемой работе всего развертывания».