Una startup del MIT aborda las alucinaciones de la IA enseñando a los sistemas a admitir la incertidumbre

Los riesgos asociados a las alucinaciones de la IA aumentan a medida que se confía cada vez más en estos modelos para sacar a la luz información crítica y tomar decisiones de alto riesgo.

Todos conocemos a alguien que actúa como un sabelotodo, que se niega a admitir su ignorancia o que ofrece consejos cuestionables basándose en algo que ha leído por encima en Internet. Las alucinaciones de la IA son como ese amigo, pero en este caso podría estar diseñando su tratamiento contra el cáncer.

Aquí es donde entra Themis AI. Esta empresa, surgida del MIT, ha conseguido algo que parece sencillo pero que supone un reto técnico: enseñar a los sistemas de IA a reconocer y admitir la incertidumbre.

Los modelos de IA tienden a ser demasiado confiados. La plataforma Capsa de Themis proporciona un control de la realidad, ayudando a los modelos a identificar cuándo están especulando en lugar de operar con certeza.

Fundada en 2021 por la profesora del MIT Daniela Rus y los antiguos investigadores asociados Alexander Amini y Elaheh Ahmadi, Themis AI construyó una plataforma que se integra con casi cualquier sistema de IA, señalando los momentos de incertidumbre antes de que den lugar a errores.

Con Capsa, la IA aprende a reconocer patrones en su propio procesamiento de datos que sugieren confusión, sesgo o lagunas en la información, condiciones que a menudo conducen a alucinaciones.

Desde su lanzamiento, Themis ha ayudado a las empresas de telecomunicaciones a evitar costosos errores en la planificación de redes, a las petroleras y gasísticas a interpretar datos sísmicos complejos y ha publicado estudios sobre la creación de chatbots que evitan inventar hechos con total confianza.

Mucha gente todavía no es consciente de la frecuencia con la que los sistemas de IA hacen conjeturas. A medida que estos sistemas asumen funciones más vitales, estas suposiciones pueden tener consecuencias importantes. Themis AI introduce un elemento que faltaba: la autoconciencia.

El camino de Themis AI hacia las alucinaciones de la IA

El camino hacia Themis AI comenzó hace años en el laboratorio del profesor Rus en el MIT, donde los investigadores exploraron una cuestión fundamental: ¿Cómo puede una máquina ser consciente de sus propias limitaciones?

En 2018, Toyota financió su trabajo sobre IA fiable para vehículos autónomos, un sector en el que los errores pueden poner en peligro la vida. El reto es especialmente crítico cuando los coches autónomos deben detectar con precisión peatones y peligros en la carretera.

Su avance se produjo con un algoritmo capaz de identificar prejuicios raciales y de género en los sistemas de reconocimiento facial. En lugar de limitarse a detectar los prejuicios, el sistema los corregía reequilibrando los datos de entrenamiento y enseñando a la IA a superar sus propios prejuicios.

En 2021, el equipo demostró cómo este método podría transformar el descubrimiento de fármacos. Los sistemas de IA podrían evaluar posibles fármacos y destacar cuándo las predicciones se basaban en datos sólidos frente a especulaciones o alucinaciones totales. Las empresas farmacéuticas vieron el valor de buscar únicamente candidatos a fármacos en los que la IA confiara, ahorrando tiempo y recursos.

Otra ventaja se aplica a los dispositivos con una potencia informática limitada. Los dispositivos periféricos suelen depender de modelos más pequeños que no pueden igualar la precisión de los sistemas basados en servidores. La tecnología de Themis ayuda a estos modelos locales a realizar la mayoría de las tareas de forma autónoma, buscando la ayuda del servidor sólo cuando encuentran algo difícil.

La IA ofrece un inmenso potencial para mejorar nuestras vidas, pero eso conlleva riesgos reales. A medida que la IA se integra en infraestructuras críticas y en la toma de decisiones, la capacidad de reconocer la incertidumbre -y evitar las alucinaciones- podría resultar su rasgo más humano y valioso. Themis AI está ayudando a los modelos a aprender esta habilidad esencial.

Véase también: Control de la diabetes: IBM y Roche utilizan la IA para predecir los niveles de azúcar en sangre

¿Quiere saber más sobre IA y big data de la mano de los líderes del sector? Visite la AI & Big Data Expo, que tendrá lugar en Ámsterdam, California y Londres. Este completo evento se celebra junto con otros eventos destacados como Intelligent Automation Conference, BlockX, Digital Transformation Week y Cyber Security & Cloud Expo.

Explore aquí otros próximos eventos y seminarios web sobre tecnología empresarial organizados por TechForge.