Мередит Уиттакер подчеркивает «глубокую» безопасность, риски конфиденциальности в агентском ИИ

На конференции SXSW в Остине, штат Техас, президент Signal Мередит Уиттакер выразила серьезные опасения по поводу рисков для конфиденциальности, связанных с агентным AI. Она ярко описала использование AI-агентов как "помещение вашего мозга в банку", подчеркивая тревожную природу этой новой технологии. Уиттакер отметила, что AI-агенты, которые продвигаются как инструменты для улучшения повседневной жизни путем управления задачами, такими как поиск концертов, бронирование билетов и планирование событий, создают значительные проблемы с конфиденциальностью и безопасностью.

"Так мы можем просто поместить наш мозг в банку, потому что эта штука делает все, и нам не нужно к ней прикасаться, верно?" — размышляла Уиттакер, подчеркивая подход без вмешательства, который поощряют AI-агенты. Она продолжила, подробно описывая обширный доступ, который потребуется этим агентам, включая контроль над веб-браузерами, информацией о кредитных картах, календарями и приложениями для обмена сообщениями. "Ему нужно будет управлять этим [процессом] по всей нашей системе с чем-то вроде root-доступа, получая доступ к каждой из этих баз данных — вероятно, в открытом виде, потому что нет модели для выполнения этого в зашифрованном виде", — предупредила она.

Уиттакер также коснулась вычислительной мощности, необходимой для этих AI-агентов, отметив, что такие операции, скорее всего, будут происходить на облачных серверах, а не на устройстве пользователя. "Это почти наверняка отправляется на облачный сервер, где обрабатывается и возвращается обратно. Таким образом, существует глубокая проблема с безопасностью и конфиденциальностью, которая преследует этот ажиотаж вокруг агентов, и которая в конечном итоге угрожает разрушить барьер между слоем приложений и слоем ОС, объединяя все эти отдельные сервисы [и] смешивая их данные", — заключила она.

Она выразила особую озабоченность по поводу последствий для конфиденциальности, если приложение для обмена сообщениями, такое как Signal, будет интегрировано с AI-агентами. Такая интеграция поставила бы под угрозу конфиденциальность сообщений, поскольку агенту пришлось бы получать доступ к приложению для отправки текстов и извлечения данных для их обобщения.

Замечания Уиттакер прозвучали после того, как она обсудила зависимость индустрии AI от модели наблюдения, которая включает массовый сбор данных. Она раскритиковала парадигму AI "больше — значит лучше", которая отдает приоритет накоплению данных, предупреждая о потенциальных негативных последствиях. С агентным AI, по ее словам, мы рискуем еще больше подорвать конфиденциальность и безопасность в погоне за "волшебным джинном-ботом, который позаботится о жизненных нуждах".