La autonomía sin control de la IA plantea un riesgo muy grave

Si alguna vez has viajado en un Uber autónomo por el centro de Los Ángeles, quizá recuerdes esa peculiar incertidumbre que se apodera de ti cuando no hay conductor ni conversación, solo un coche silencioso que interpreta el mundo que le rodea. El trayecto parece normal hasta que el vehículo malinterpreta una sombra o frena bruscamente sin que haya ninguna amenaza real. En ese instante, se vislumbra el problema fundamental de la autonomía: no entra en pánico cuando debería. Esa brecha entre su confianza y su juicio es donde se construye o se rompe la confianza. Gran parte de la IA empresarial actual es muy similar. Es capaz, pero no segura; eficiente, pero no empática. Por eso, el factor crítico para cualquier implementación exitosa ya no es la potencia de cálculo bruta, sino la confianza.

El informe MLQ State of AI in Business 2025 [PDF] lo resume claramente: el 95 % de los primeros proyectos piloto de IA no logran un retorno de la inversión cuantificable. Esto no se debe a una tecnología deficiente, sino a que se aplica a los problemas equivocados. El patrón se repite en todos los sectores. Los líderes se inquietan cuando no pueden verificar la precisión de los resultados; los equipos dudan de sus paneles de control; los clientes pierden la paciencia cuando una interacción parece robótica en lugar de útil. Cualquiera que se haya quedado sin acceso a su cuenta bancaria mientras un sistema de recuperación automatizado insiste en que sus respuestas son incorrectas sabe lo rápido que se evapora la confianza.

Klarna sigue siendo el ejemplo más publicitado de automatización a gran escala en el trabajo. La empresa ha reducido a la mitad su plantilla desde 2022 y afirma que su IA interna ahora realiza el trabajo de 853 puestos a tiempo completo, frente a los 700 de principios de este año. Los ingresos han aumentado un 108 % y la remuneración media de los empleados ha subido un 60 %, financiada en parte por estas ganancias operativas. Sin embargo, el panorama es más complejo. Klarna sigue registrando unas pérdidas trimestrales de 95 millones de dólares, y su director general ha advertido de nuevas reducciones de personal. Esto demuestra que la automatización por sí sola no garantiza la estabilidad. Sin una responsabilidad y una estructura adecuadas, la experiencia del usuario se deteriora mucho antes que la IA. Como afirma Jason Roos, director general del proveedor de CCaaS Cirrus, «cualquier transformación que erosione la confianza, interna o externamente, conlleva un coste que no se puede ignorar. Puede dejarte en una situación peor».

Ya hemos visto lo que ocurre cuando la autonomía supera a la responsabilidad. El Departamento de Trabajo y Pensiones del Reino Unido utilizó un algoritmo que marcó erróneamente como potencialmente fraudulentas unas 200 000 solicitudes legítimas de prestaciones para la vivienda. El problema no fue la tecnología, sino la falta de una responsabilidad clara sobre sus decisiones. Cuando un sistema automatizado suspende una cuenta errónea, rechaza una solicitud válida o provoca una alarma innecesaria, la pregunta no es solo «¿por qué falló el modelo?», sino «¿quién es responsable del resultado?». Sin una respuesta, la confianza se vuelve frágil.

«El paso que falta es siempre la preparación», afirma Roos. «Si el proceso, los datos y las barreras de seguridad no están en su sitio, la autonomía no mejora el rendimiento, sino que magnifica las debilidades. La responsabilidad debe ser lo primero. Empiece por el resultado deseado, identifique los esfuerzos inútiles, verifique su preparación y gobernanza, y solo entonces automatice. Si se saltan esos pasos, la responsabilidad desaparece tan rápido como aparecen las ganancias en eficiencia».

Parte del problema es la obsesión por la escala sin la base necesaria para sostenerla. Muchas organizaciones se apresuran a implementar agentes autónomos que pueden actuar con decisión, pero pocas consideran lo que sucede cuando esas acciones se desvían de los límites esperados. El Barómetro de Confianza de Edelman [PDF] muestra un descenso constante de la confianza del público en la IA durante cinco años. Un estudio conjunto de KPMG y la Universidad de Melbourne reveló que los trabajadores prefieren una mayor participación humana en casi la mitad de las tareas examinadas. Estos hallazgos ponen de relieve una simple verdad: la confianza rara vez se consigue presionando más los modelos. Se consigue cuando las personas comprenden cómo se toman las decisiones y cuando la gobernanza actúa menos como un freno y más como un volante.

La misma dinámica se observa en el lado del cliente. La investigación sobre la confianza de PwC revela una gran brecha entre la percepción y la realidad: la mayoría de los ejecutivos creen que los clientes confían en su organización, pero solo una minoría de los clientes está de acuerdo. Otras encuestas muestran que la transparencia ayuda a cerrar esta brecha, ya que la mayoría de los consumidores desean una divulgación clara cuando se utiliza la IA en las interacciones de servicio. Sin esa claridad, las personas no se sienten seguras, se sienten engañadas, lo que tensiona la relación. Las empresas que comunican abiertamente su uso de la IA no solo protegen la confianza, sino que normalizan la idea de que la tecnología y el apoyo humano pueden coexistir.

Parte de la confusión proviene del propio término «IA agencial». Gran parte del mercado lo trata como algo impredecible o autodirigido, cuando en realidad se trata de una automatización del flujo de trabajo mejorada con razonamiento y memoria. Es una forma estructurada para que los sistemas tomen decisiones limitadas dentro de parámetros diseñados por humanos. Las implementaciones exitosas y escalables siguen todas la misma secuencia: comienzan con el resultado que se quiere mejorar, identifican los esfuerzos innecesarios en el flujo de trabajo, evalúan la preparación del sistema y del equipo para la autonomía y solo entonces seleccionan la tecnología. Invertir este orden no acelera las cosas, solo conduce a errores más rápidos. Como señala Roos, la IA debe ampliar el juicio humano, no sustituirlo.

Todo esto apunta a una verdad más amplia. Cada ola de automatización acaba convirtiéndose en una cuestión social, no solo técnica. Amazon construyó su dominio a través de la consistencia operativa, pero también a través de la confianza en que su paquete llegaría. Cuando esa confianza se desvanece, los clientes se van. La IA sigue el mismo patrón. Se pueden implementar sistemas sofisticados y autocorrectivos, pero si un cliente se siente engañado o confundido en algún momento, la confianza se rompe. Internamente, se aplican las mismas presiones. El estudio global de KPMG [PDF] destaca la rapidez con la que los empleados se desvinculan cuando no entienden cómo se toman las decisiones o quién es responsable. Sin esa claridad, la adopción se estanca.

A medida que los sistemas agenticos asumen funciones más conversacionales, la dimensión emocional cobra aún más importancia. Las primeras reseñas sobre las interacciones autónomas en chats muestran que ahora las personas juzgan su experiencia no solo por si les han ayudado, sino también por si la interacción les ha parecido atenta y respetuosa. Un cliente que se siente ignorado rara vez se guarda su frustración para sí mismo. El tono emocional de la IA se está convirtiendo en un factor operativo genuino, y los sistemas que no cumplen esta expectativa corren el riesgo de convertirse en un lastre.

La cruda realidad es que la tecnología siempre avanzará más rápido que la comodidad instintiva de las personas con ella. La confianza inevitablemente se quedará atrás con respecto a la innovación. Esto no es un argumento en contra del progreso, sino un llamamiento a la madurez. Todo líder en IA debería preguntarse: ¿confiaría mis propios datos a este sistema? ¿Puedo explicar su última decisión en un lenguaje sencillo? ¿Quién interviene cuando algo sale mal? Si las respuestas a estas preguntas no están claras, la organización no está liderando una transformación, sino preparando una disculpa.

Roos lo expresa de forma sencilla: «La IA agencial no es el problema. El problema es la IA que no rinde cuentas».

Cuando se pierde la confianza, se pierde la adopción, y el proyecto que parecía transformador se convierte en otra entrada en la tasa de fracaso del 95 %. La autonomía no es el enemigo. Olvidar quién es el responsable sí lo es. Las organizaciones que mantienen una mano humana al volante serán las que sigan teniendo el control cuando el entusiasmo por la conducción autónoma finalmente se desvanezca.