Автономные системы искусственного интеллекта ставят систему управления на испытание в реальных условиях

Автономные системы искусственного интеллекта выходят за пределы программных сред и проникают на склады, в сети доставки и общественные места. Этот сдвиг вызывает вопросы о том, в достаточной ли мере существующие нормы регулирования ИИ учитывают системы, функционирующие в физической среде.

Большинство современных рамок регулирования ИИ сосредоточено на онлайн-угрозах и результатах работы моделей, таких как предвзятость, дезинформация и вредоносный контент. Системы воплощенного ИИ создают риски в физической среде, где сбои могут повлиять на инфраструктуру, имущество или безопасность людей.

20 мая Управление по развитию информационно-коммуникационных технологий и СМИ Сингапура (IMDA) опубликовало версию 1.5 своей «Типовой рамочной концепции регулирования агентного ИИ». Эта концепция содержит рекомендации для организаций, внедряющих агентов ИИ, способных планировать, принимать решения и предпринимать действия на нескольких этапах для достижения целей, определенных пользователем.

В концепции отмечается, что агенты могут взаимодействовать с инструментами, внешними системами и другими агентами, включая системы, которые обновляют базы данных, записывают файлы, управляют устройствами или выполняют транзакции. В качестве мер управления при внедрении в ней обозначены контроль доступа, мониторинг и утверждение со стороны человека.

ИИ проникает в физические системы

На саммите по ИИ, прошедшем на прошлой неделе в Сингапуре, дискуссии по робототехнике и воплощенному ИИ были сосредоточены на вопросах эксплуатационной безопасности, которые чаще ассоциируются с авиацией, промышленными системами и надзором за критически важной инфраструктурой, чем с традиционным регулированием программного обеспечения.

Докладчики также рассмотрели вопрос о том, могут ли автономные системы безопасно и надежно функционировать в непредсказуемых реальных условиях в течение длительных периодов времени.

Д-р Я-Цинь Чжан, декан-основатель Института исследований в области искусственного интеллекта при Университете Цинхуа, отметил, что системы воплощенного ИИ усиливают риски, уже присутствующие в автономном программном обеспечении. По его словам, сбои могут напрямую повлиять на транспортные системы, дроны, логистические сети и критически важную инфраструктуру.

«Любой риск в цифровой сфере будет усиливаться в физической сфере, а в физической сфере это будет иметь реальные последствия», — заявил Чжан в беседе с MLex в кулуарах саммита.

Он добавил, что транспортные средства, дроны, «умные» энергосистемы и другая инфраструктура могут стать уязвимыми по мере того, как системы искусственного интеллекта будут все глубже интегрироваться в физические операции.

Докладчики выделили надежность, оперативный мониторинг и обеспечение качества после внедрения в качестве ключевых вопросов управления. В ходе обсуждений на саммите было отмечено, что предпочтительны модели управления, ориентированные на процесс внедрения и построенные на основе моделирования, телеметрии и итеративного тестирования, а не только на разовой сертификации.

В рамках концепции IMDA также рекомендуется постепенное внедрение, непрерывный мониторинг и дополнительное тестирование после развертывания. В ней отмечается, что агенты динамически взаимодействуют со своим окружением, и не все риски можно предвидеть до выпуска.

Мониторинг становится проблемой внедрения

Компания Grab, которая проводит пилотные испытания автономных транспортных средств и роботов-доставщиков в сингапурском районе Пунгол, заявила, что управление внедрением в значительной степени зависит от моделирования, тестирования и непрерывного мониторинга.

«Мы проводим много симуляций, много тестируем на закрытых и открытых трассах, чтобы убедиться в надежности наших роботов», — сказал Сутен Томас Парадатх, технический директор Grab, во время одной из панельных дискуссий саммита.

«Прежде чем масштабировать проект до сотен роботов, мы сначала убеждаемся, что все работает идеально в ходе моделирования и при использовании небольшого количества роботов», — добавил он.

Компания Grab также указала на системы мониторинга, предназначенные для отслеживания производительности роботов и выявления непредвиденных сбоев после их внедрения.

«Существует целый ряд проблем, которые могут возникнуть», — отметил Парадатет.

Согласно рекомендациям IMDA, организации должны оценивать сценарии использования агентского ИИ с учетом доступа к данным, доступа к внешним системам, степени автономности и сложности задач. Также следует учитывать масштаб и обратимость действий агентов, участие третьих сторон и общую сложность системы.

Кроме того, в ней рекомендуется ограничивать доступ агентов к инструментам и системам, применять принцип «минимальных привилегий» и определять стандартные операционные процедуры для рабочих процессов агентов. Организации также должны предусмотреть механизмы отключения агентов от сети в случае их неисправности.

Ответственность распределяется между большим числом участников

MLex сообщила, что в разработке, производстве и внедрении систем воплощенного ИИ могут участвовать несколько сторон. К ним относятся разработчики ИИ, производители робототехники, поставщики полупроводников и операторы инфраструктуры.

MLex также отметил, что определение ответственности может затрудняться, когда системы продолжают адаптироваться после развертывания посредством обновлений программного обеспечения, телеметрии и эксплуатационных данных.

IMDA заявляет, что организации и люди остаются ответственными за действия агентов, даже когда агенты работают автономно. Данная концепция предусматривает четкое распределение ответственности по всей цепочке создания ценности агентного ИИ — от поставщиков моделей и платформ до организаций, осуществляющих развертывание, поставщиков инструментария и конечных пользователей.

Компания Applied Materials отметила, что широкомасштабное внедрение робототехники также связано с экономикой производства полупроводников и системной интеграцией. Ом Наламасу, технический директор компании, заявил, что робототехнические системы будут зависеть от более совершенных датчиков, энергоэффективности, передовых технологий упаковки и вычислительных архитектур.

Наламасу отметил, что робототехнические системы потребуют специализированных конструкций, адаптированных к конкретным промышленным экосистемам, а не единого решения для всех сред.

Чжао Юли, директор по стратегии китайского стартапа в области робототехники Galbot, заявил, что Пекин уделяет приоритетное внимание масштабам внедрения и промышленной коммерциализации посредством поддерживаемых государством испытательных площадок, промышленных партнерств и инициатив по долгосрочному финансированию.

Компания Galbot внедрила гуманоидные робототехнические системы в розничной торговле, на складах и в фармацевтической отрасли в Китае. Среди них — автономные магазины, работающие круглосуточно. Чжао отметил, что полуструктурированные промышленные среды, вероятно, станут одним из первых направлений коммерциализации, поскольку они обеспечивают более контролируемые условия эксплуатации.

Япония уделяет больше внимания разработке стандартов, наборам данных по робототехнике и управлению безопасностью. Профессор Ютака Мацуо из Высшей инженерной школы Токийского университета упомянул проект «Ассоциации ИИ», направленный на сбор 100 000 часов данных по робототехнике для поддержки базовых моделей робототехники.

Мацуо также упомянул Японский институт безопасности ИИ и «Процесс Хиросимы по ИИ» как часть более широких усилий по разработке стандартов управления для воплощенных систем ИИ совместно с Сингапуром и другими азиатскими странами.

Сингапур определяет меры контроля над агентами

Сингапурская концепция определяет четыре области регулирования для агентского ИИ. Они охватывают предварительную оценку рисков, подотчетность человека, технические меры контроля и ответственность конечных пользователей. В концепции эти аспекты описываются как итеративный процесс, а не как разовая оценка.

В концепции отмечается, что человеческий надзор должен быть адаптирован к системам с агентами, поскольку постоянный мониторинг всех рабочих процессов становится нецелесообразным при масштабном внедрении. Рекомендуется вводить человеческое утверждение на ключевых контрольных точках, включая действия с высокими рисками, необратимые действия и отклоняющееся от нормы поведение.

IMDA также выделяет «предвзятость автоматизации» и «усталость от предупреждений» в качестве рисков при человеческом надзоре за способными агентами. Рекомендуется проводить аудит надзора с помощью таких показателей, как частота вмешательства человека и время реагирования, а также использовать автоматизированный мониторинг в режиме реального времени для выявления непредвиденного поведения.

В рамках концепции указано, что пользователи должны быть проинформированы о том, какие действия может совершать агент, к каким данным он имеет доступ и какие обязанности остаются за пользователем. Также рекомендуется проводить обучение сотрудников по вопросам взаимодействия человека с агентом, надзора и профессиональных навыков, необходимых для оценки результатов работы агента.

Компании тестируют ИИ в регулируемых рабочих процессах

JPMorgan внедряет инструменты ИИ во всех подразделениях своего глобального инвестиционного банкинга, сообщил Reuters Пол Урен, глава подразделения инвестиционного банкинга банка в Азиатско-Тихоокеанском регионе. Банк заявил, что эти инструменты помогают банкирам получать доступ к большему объему информации и интегрировать её с внутренними системами. Они также используются для подготовки контента и поддержки взаимодействия с клиентами.

Генеральный директор JPMorgan Джейми Даймон заявил Bloomberg News, что банк будет нанимать больше специалистов по ИИ и меньше традиционных банкиров. Reuters сообщило, что глобальные банки увеличивают инвестиции в ИИ, перестраивают кадровый состав и меняют должностные обязанности.

Банк также входит в число избранных организаций, которым компания Anthropic разрешила использовать свою модель кибербезопасности Mythos в рамках контролируемой инициативы под названием Project Glasswing. По данным Anthropic, Mythos способен выявлять старые уязвимости в браузерах, инфраструктуре и программном обеспечении.

Агентство Reuters сообщило, что Goldman Sachs, Citigroup, Bank of America и Morgan Stanley также имеют доступ к Mythos или тестируют эту систему, сославшись на источники и руководителей компаний.

В рамках концепции IMDA приводится пример из практики OCBC Bank of Singapore, касающийся анализа источников богатства. Система анализирует документы, связанные с доходами, и составляет отчет об источниках богатства. Она не принимает самостоятельных решений по кредитованию, открытию счетов или оценке рисков.

В данном случае автономность рабочего процесса ограничивается уровнем выполнения задач и запускается только при запуске заранее определённых рабочих процессов. На критических этапах принятия решений требуется проверка со стороны человека, а окончательная проверка остаётся за назначенными проверяющими.

Роботы находят применение в промышленности

Согласно опросу Reuters, проведенному Nikkei Research с 1 по 15 мая, в Японии треть компаний уже использует или рассматривает возможность использования роботов на базе искусственного интеллекта. В ходе опроса было опрошено 492 компании, из которых 220 ответили на условиях анонимности.

Около 4 % респондентов заявили, что уже используют роботов с ИИ, 5 % планируют их внедрить, а 25 % рассматривают такую возможность. Остальные 66 % заявили, что у них нет таких планов.

Наиболее активной группой в опросе оказались производители транспортного оборудования: 80 % из них уже используют роботов с ИИ или рассматривают возможность их внедрения. Для сравнения: 94 % респондентов из сектора оптовой торговли заявили, что не планируют внедрять роботов с ИИ.

Среди компаний, использующих, планирующих использовать или рассматривающих возможность использования роботов с ИИ, 71 % указали производство в качестве области применения. Еще 19 % выбрали выполнение опасных задач, а 11 % — обслуживание клиентов.

Правительство Японии рассчитывает, что роботы с ИИ помогут решить проблему хронической нехватки рабочей силы в стране и укрепить позиции Японии в сфере промышленной робототехники. В Японии базируются такие компании-производители робототехники, как Fanuc, Yaskawa Electric и Kawasaki Heavy Industries, однако в сфере робототехники на базе искусственного интеллекта стране приходится сталкиваться с конкуренцией со стороны Китая и США.

Роботы-агенты в розничной торговле выходят за рамки поиска

Walmart обнародовал планы по использованию агентского ИИ в рабочих процессах, связанных с покупками, сотрудниками, поставщиками и разработчиками.

В июле 2025 года ритейлер объявил о планах по внедрению четырёх «суперагентов» на базе ИИ. Они предназначены для покупателей, сотрудников магазинов, поставщиков и продавцов, а также разработчиков программного обеспечения. Walmart заявил, что эти агенты станут основным каналом взаимодействия с ИИ для всех этих групп.

Один из инструментов, Sparky, уже доступен в приложении Walmart в качестве генеративного помощника по покупкам на базе ИИ. Хари Васудев, технический директор Walmart в США, заявил, что его расширенная версия сможет повторно заказывать товары и планировать мероприятия. Кроме того, она будет использовать компьютерное зрение для подбора рецептов на основе содержимого холодильника покупателя.

Walmart также разрабатывает «суперагента» Associate для сотрудников магазинов и корпоративного персонала. Отдельный агент Marty создается для продавцов, поставщиков и рекламодателей. Ритейлер также работает над «суперагентом» Developer для тестирования, разработки и запуска будущих инструментов ИИ.

Компания отказалась отвечать на вопрос, приведут ли эти агенты к сокращению рабочих мест. Дэйв Глик, старший вице-президент по корпоративным бизнес-системам, заявил, что эти инструменты создадут новые рабочие места, не приведя при этом дополнительных подробностей.

См. также: OpenAI открывает лабораторию ИИ в Сингапуре, а IMDA обновляет рамочную концепцию ИИ

Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проходит одновременно с другими ведущими технологическими событиями. Нажмите здесь, чтобыполучить дополнительную информацию.

AI News поддерживается TechForge Media. Узнайте о других предстоящих мероприятиях и вебинарах по корпоративным технологиям здесь.