不受约束的人工智能自主性构成最严重风险

若你曾乘坐优步自动驾驶汽车穿行洛杉矶市区，或许还记得那种奇特的不确定感——当车内既无司机也无交谈，唯有静默的汽车在解读周遭世界时悄然滋生。旅程看似平淡，直到车辆误判一抹阴影，或在毫无威胁时骤然刹车。 那一刹那，你窥见了自动驾驶的核心症结：它在该惊慌时却毫无反应。这种自信与判断之间的鸿沟，正是信任建立或崩塌的分水岭。当今多数企业级人工智能的困境如出一辙——能力出众却缺乏自信，高效运转却欠缺同理心。因此，成功部署的关键因素已不再是原始计算能力，而是信任。

《2025年商业人工智能现状》[PDF]报告给出了惊人数据：95%的早期AI试点未能实现可量化的投资回报。症结不在技术薄弱，而在于应用方向错误。这种模式在各行业反复上演：当领导者无法验证输出准确性时会心生不安；团队对仪表盘数据产生怀疑；客户在体验到机械式而非支持性交互时失去耐心。 当自动恢复系统坚持认定你的操作错误，导致银行账户被锁定时，任何人都深知信心如何瞬间蒸发。

Klarna仍是大型自动化应用最广为人知的案例。自2022年以来该公司员工规模缩减半数，其内部AI系统承担的工作量已从年初的700个全职岗位增至853个。营收激增108%，员工平均薪酬上涨60%，部分得益于这些运营效率提升。然而实际情况更为复杂。 Klarna季度亏损仍达9500万美元，其首席执行官已警告将进一步裁员。这表明自动化本身并不能保证稳定性。若缺乏适当的问责机制和组织架构，用户体验将在人工智能崩溃前很久就已瓦解。正如CCaaS供应商Cirrus首席执行官杰森·鲁斯所言："任何削弱内部或外部信心的变革，都会带来无法忽视的代价。它可能让你陷入更糟的境地。"

当自主权超越问责制时，后果已然显现。英国就业与养老金部曾使用算法错误标记约20万份合法住房福利申请为潜在欺诈案件。 问题不在于技术本身，而在于缺乏明确的决策责任归属。当自动化系统错误冻结账户、拒绝有效申请或引发不必要警报时，关键问题不仅是"模型为何失效"，更是"谁该为结果负责"。若无法回答此问，信任便如薄冰易碎。

鲁斯指出："关键缺失环节始终是准备度。若流程、数据和防护机制尚未完善，自主化不仅无法提升效能，反而会放大缺陷。问责机制必须优先建立。应以预期成果为起点，识别无效投入，验证准备度与治理能力，再行自动化。若跳过这些步骤，问责机制将随效率提升而迅速消失。"

问题部分源于对规模的痴迷，却缺乏支撑规模的基础。许多组织急于部署能果断行动的自主代理，却鲜少考虑当这些行动超出预期边界时会发生什么。 爱德曼信任晴雨表[PDF]显示公众对人工智能的信任度已连续五年下滑。毕马威与墨尔本大学联合研究发现，近半数受访任务中员工更倾向于人工干预。这些发现揭示了一个简单真理：信任绝非源于强推模型，而是源于人们理解决策机制，源于治理机制——它不该是刹车，而应是方向盘。

客户层面同样存在类似动态。普华永道的信任研究揭示了认知与现实的巨大鸿沟：多数高管认为客户信任其组织，但仅有少数客户认同此观点。 其他调查表明，透明度有助于弥合这种差距——多数消费者希望在服务交互中明确披露AI使用情况。缺乏清晰说明会让人们感到被误导而非安心，从而损害信任关系。公开说明AI使用情况的企业不仅在守护信任，更在推动技术与人类支持共存的理念成为常态。

部分困惑源于"代理型人工智能"这一术语本身。市场普遍将其视为不可预测或自主决策的存在，而实际上它只是增强推理与记忆功能的工作流自动化系统。 这是系统在人类设计的参数范围内进行有限决策的结构化方式。所有成功且可扩展的部署都遵循相同流程：先明确待优化的结果，识别工作流中的冗余环节，评估系统与团队的自主化准备度，最后才选择技术方案。颠倒顺序不会加速进程——只会加速错误。正如鲁斯所言，人工智能应拓展人类判断力，而非取代它。

这一切指向更深层的真理：每波自动化浪潮终将演变为社会议题，而非单纯的技术问题。亚马逊凭借运营一致性建立霸权，更源于用户对包裹准时送达的信心。当这种信心动摇，客户便会流失。人工智能遵循相同规律——即便部署了精密的自纠系统，只要客户在任何环节感到受骗或被误导，信任便会崩塌。内部同样面临同等压力。 毕马威全球研究[PDF]揭示：当员工无法理解决策机制或责任归属时，其工作热情会迅速消退。缺乏这种透明度，技术应用将陷入停滞。

随着智能系统承担更多对话角色，情感维度变得尤为重要。早期对自主聊天交互的评估表明，人们如今不仅以是否获得帮助来评判体验，更注重交互过程是否体现关注与尊重。被轻视的客户极少会默默忍受挫败感。人工智能的情感基调正成为真正的运营要素，未能满足此类期待的系统可能沦为负担。

残酷的现实是：技术发展永远快于人们本能的适应速度。信任必然滞后于创新。这并非反对进步，而是呼吁成熟。每位AI领导者都应自问：我会将个人数据托付给这个系统吗？能否用通俗语言解释其最近的决策？出错时由谁介入？若答案模糊不清，组织并非在引领变革——而是在准备道歉。

鲁斯一语道破："智能代理并非症结所在，失控的人工智能才是。"

信任一旦丧失，应用便随之消亡，看似颠覆性的项目终将沦为95%失败案例中的又一例证。自主性并非敌人，遗忘责任归属才是。当自动驾驶的喧嚣终将平息，那些始终保持人类掌控方向盘的组织，方能继续掌握主导权。