Неконтролируемая автономность ИИ представляет серьезную опасность

Если вы когда-нибудь ездили на беспилотном Uber по центру Лос-Анджелеса, то, возможно, помните ту странную неопределенность, которая одолевает вас, когда в салоне нет водителя и нет разговоров — только тихая машина, интерпретирующая окружающий мир. Поездка кажется нормальной, пока автомобиль не интерпретирует тень неправильно или не тормозит резко без реальной угрозы. В этот момент вы понимаете основную проблему автономности: она не паникует, когда должна. Именно в этом разрыве между уверенностью и суждением и строится или разрушается доверие. Большая часть современного корпоративного ИИ выглядит удивительно похожей. Он способен, но не уверен, эффективен, но не эмпатичен. Вот почему критическим фактором любого успешного внедрения больше не является сырая вычислительная мощность, а доверие.

Отчет MLQ «Состояние ИИ в бизнесе в 2025 году» [PDF] дает четкую цифру: 95 % ранних пилотных проектов в области ИИ не приносят измеримой рентабельности инвестиций. Это не из-за слабой технологии, а потому, что она применяется к неверным проблемам. Эта картина повторяется во всех отраслях. Руководители становятся беспокойными, когда не могут проверить точность результатов; команды сомневаются в своих дашбордах; клиенты теряют терпение, когда взаимодействие кажется скорее роботизированным, чем поддерживающим. Любой, кто когда-либо был заблокирован в своем банковском счете, в то время как автоматическая система восстановления настаивала, что его ответы неверны, знает, как быстро исчезает доверие.

Klarna остается самым известным примером крупномасштабной автоматизации на практике. С 2022 года компания сократила штат сотрудников вдвое и сообщает, что ее внутренний ИИ теперь выполняет работу 853 штатных сотрудников, по сравнению с 700 в начале этого года. Выручка выросла на 108%, а средняя заработная плата сотрудников увеличилась на 60%, что частично финансируется за счет этих операционных прибылей. Однако картина более сложная. Klarna по-прежнему демонстрирует квартальный убыток в 95 миллионов долларов, а ее генеральный директор предупреждает о дальнейшем сокращении персонала. Это показывает, что автоматизация сама по себе не гарантирует стабильности. Без надлежащей подотчетности и структуры пользовательский опыт разрушается задолго до того, как это происходит с ИИ. Как заявляет Джейсон Рус, генеральный директор поставщика CCaaS Cirrus, «любая трансформация, которая подрывает доверие, как внутри компании, так и за ее пределами, несет за собой издержки, которые нельзя игнорировать. Это может ухудшить ваше положение».

Мы уже видели, что происходит, когда автономность превосходит подотчетность. Министерство труда и пенсий Великобритании использовало алгоритм, который ошибочно пометил около 200 000 законных заявлений на получение жилищных пособий как потенциально мошеннические. Проблема заключалась не в технологии, а в отсутствии четкой ответственности за принятые решения. Когда автоматизированная система блокирует не тот счет, отклоняет действительную заявку или вызывает ненужную тревогу, вопрос заключается не только в том, «почему модель дала сбой?», но и в том, «кто несет ответственность за результат?». Без ответа на этот вопрос доверие становится хрупким.

«Недостающим шагом всегда является готовность, — говорит Рус. — Если процесс, данные и защитные механизмы не на месте, автономность не повышает производительность, а усиливает слабые стороны. Ответственность должна быть на первом месте. Начните с желаемого результата, определите напрасные усилия, проверьте свою готовность и управление, и только потом приступайте к автоматизации. Пропустите эти шаги, и ответственность исчезнет так же быстро, как и появится повышение эффективности».

Часть проблемы заключается в одержимости масштабом без оснований для его поддержания. Многие организации спешат внедрить автономных агентов, которые могут действовать решительно, но лишь немногие задумываются о том, что произойдет, если эти действия выйдут за пределы ожидаемых границ. Барометр доверия Edelman [PDF] показывает устойчивое снижение доверия общественности к ИИ в течение пяти лет. Совместное исследование KPMG и Мельбурнского университета показало, что работники предпочитают большее участие человека почти в половине исследованных задач. Эти выводы подчеркивают простую истину: доверие редко возникает от более активного продвижения моделей. Оно возникает от понимания людьми того, как принимаются решения, и от управления, которое действует не как тормоз, а как руль.

Такая же динамика наблюдается и со стороны клиентов. Исследование PwC по вопросам доверия показывает большой разрыв между восприятием и реальностью: большинство руководителей считают, что клиенты доверяют их организации, но только меньшинство клиентов согласны с этим. Другие опросы показывают, что прозрачность помогает сократить этот разрыв, поскольку большинство потребителей хотят четкого раскрытия информации, когда ИИ используется в обслуживании. Без этой ясности люди не чувствуют себя уверенно — они чувствуют себя обманутыми, что напрягает отношения. Компании, которые открыто сообщают об использовании ИИ, не просто защищают доверие, они нормализуют идею о том, что технологии и человеческая поддержка могут сосуществовать.

Некоторая путаница возникает из-за самого термина «агентный ИИ». Большая часть рынка рассматривает его как нечто непредсказуемое или самоуправляемое, тогда как на самом деле это автоматизация рабочего процесса, усиленная рассуждениями и запоминанием. Это структурированный способ, позволяющий системам принимать ограниченные решения в рамках параметров, разработанных людьми. Успешные, масштабируемые внедрения следуют одной и той же последовательности: они начинаются с результата, который необходимо улучшить, выявляют ненужные усилия в рабочем процессе, оценивают готовность системы и команды к автономности и только затем выбирают технологию. Изменение этого порядка не ускоряет процесс — оно только приводит к более быстрым ошибкам. Как отмечает Рус, ИИ должен расширять человеческое суждение, а не заменять его.

Все это указывает на более общую истину. Каждая волна автоматизации в конечном итоге становится социальным вопросом, а не только техническим. Amazon построила свое доминирование благодаря операционной стабильности, но также и благодаря уверенности в том, что ваша посылка прибудет. Когда эта уверенность исчезает, клиенты уходят. ИИ следует той же схеме. Вы можете внедрить сложные самокорректирующиеся системы, но если клиент в какой-то момент почувствует, что его обманули или ввели в заблуждение, доверие разрушится. Внутри компании действуют те же давления. Глобальное исследование KPMG [PDF] подчеркивает, как быстро сотрудники теряют мотивацию, когда не понимают, как принимаются решения или кто несет ответственность. Без этой ясности внедрение затягивается.

По мере того как агентские системы берут на себя все больше коммуникативных функций, эмоциональный аспект становится еще более значимым. Первые отзывы об автономных чат-взаимодействиях показывают, что люди теперь оценивают свой опыт не только по тому, помогли ли им, но и по тому, было ли взаимодействие внимательным и уважительным. Клиент, который чувствует себя отвергнутым, редко держит свое разочарование при себе. Эмоциональный тон ИИ становится реальным операционным фактором, и системы, которые не соответствуют этим ожиданиям, рискуют стать обузой.

Суровая правда заключается в том, что технологии всегда будут развиваться быстрее, чем инстинктивное привыкание людей к ним. Доверие неизбежно будет отставать от инноваций. Это не аргумент против прогресса, а призыв к зрелости. Каждый лидер в области ИИ должен задать себе вопросы: доверил бы я этой системе свои данные? Могу ли я объяснить ее последнее решение простым языком? Кто вмешивается, когда что-то идет не так? Если ответы на эти вопросы неясны, организация не ведет трансформацию — она готовит извинения.

Рус выражает это просто: «Проблема не в агентивном ИИ. Проблема в неподотчетном ИИ».

Когда исчезает доверие, исчезает и внедрение, и проект, который казался трансформационным, становится еще одним примером 95-процентной неудачи. Автономность — не враг. Враг — это забыть, кто несет ответственность. Организации, которые держат руку на руле, останутся у власти, когда ажиотаж вокруг самоуправляемых автомобилей в конце концов угаснет.