AI no está listo como 'co-científico', dicen los expertos

Recientemente, Google presentó a su "co-científico de IA", una herramienta de IA destinada a ayudar a los científicos a generar hipótesis y planes de investigación. La compañía lo promocionó como un cambio de juego para descubrir nuevos conocimientos, pero los expertos son escépticos sobre su impacto en el mundo real.

"Esta herramienta preliminar, aunque interesante, no parece ser seriamente utilizada", dijo Sara Beery, una investigadora de visión por computadora en el MIT, en una entrevista con TechCrunch. "No estoy seguro de que haya demanda de este tipo de sistema de generación de hipótesis de la comunidad científica".

Google es solo el último gigante tecnológico en afirmar que la IA revolucionará la investigación científica, especialmente en campos pesados ​​de datos como la biomedicina. El CEO de Operai, Sam Altman, escribió en un ensayo a principios de este año que "superinteligente" ai podría "acelerar masivamente el descubrimiento e innovación científica". Del mismo modo, el CEO Anthrope Dario Amodei ha predicho que AI podría ayudar a desarrollar curas para la mayoría de los cánceres.

Sin embargo, muchos investigadores sienten que las herramientas de IA de hoy en día no alcanzan estas ambiciosas afirmaciones. Argumentan que aplicaciones como el co-científico de AI de Google tienen más que ver con la exageración que la sustancia, que carecen de los datos empíricos para respaldar las promesas.

Por ejemplo, la publicación de blog de Google sobre el co-científico de IA se jactó de su potencial en la reutilización de drogas para la leucemia mieloide aguda, un tipo de cáncer de sangre que afecta la médula ósea. Sin embargo, los resultados fueron tan vagos que "ningún científico legítimo los tomaría en serio", según Favia Dubyk, patóloga del Northwest Medical Center-Tucson en Arizona.

"Podría ser un buen punto de partida para los investigadores, pero la falta de detalle es preocupante y no me da a confiar en él", dijo Dubyk a TechCrunch. "La falta de información proporcionada hace que sea realmente difícil de entender si esto puede ser realmente útil".

Esta no es la primera vez que Google se enfrenta a las críticas de la comunidad científica por promover un avance de la IA sin proporcionar suficientes detalles para que otros replicaran los resultados.

En 2020, Google afirmó que uno de sus sistemas de IA, capacitado para detectar tumores de mama, superó a los radiólogos humanos. Pero los investigadores de Harvard y Stanford publicaron una refutación en la naturaleza, argumentando que la falta de métodos detallados y código en la investigación de Google "socavaron su valor científico".

Los científicos también han criticado a Google por minimizar las limitaciones de sus herramientas de IA en campos como la ingeniería de materiales. En 2023, la compañía afirmó que alrededor de 40 "materiales nuevos" habían sido sintetizados con la ayuda de su sistema de IA, Gnome. Sin embargo, un análisis independiente encontró que ninguno de estos materiales era realmente nuevo.

"No entenderemos realmente las fortalezas y limitaciones de herramientas como el 'co-científico' de Google hasta que se sometan a una evaluación rigurosa e independiente en diversas disciplinas científicas", dijo Ashique Khudabukhsh, profesora asistente de ingeniería de software en el Instituto de Tecnología de Rochester, en una entrevista con TechCrunch. "La IA a menudo funciona bien en entornos controlados, pero puede fallar cuando se aplica a escala".

Procesos complejos

Desarrollar herramientas de IA para ayudar al descubrimiento científico es difícil porque es difícil predecir todos los factores que podrían arrojar una llave en proceso. La IA puede ser útil para examinar una gran lista de posibilidades, pero está menos claro si puede manejar el tipo de resolución creativa de problemas que conduce a grandes avances.

"Hemos visto a lo largo de la historia que algunos de los avances científicos más importantes, como el desarrollo de las vacunas de ARNm, fueron impulsados ​​por la intuición y la perseverancia humana frente al escepticismo", dijo Khudabukhsh. "La IA, como está hoy, puede no ser adecuada para replicar eso".

Lana Sinapayen, una investigadora de IA en Sony Computer Science Laboratories en Japón, cree que herramientas como el co-científico de AI de Google se están centrando en los aspectos equivocados del trabajo científico.

Sinapayen ve un valor en la IA que puede automatizar tareas tediosas, como resumir la nueva literatura académica o formatear las solicitudes de subvenciones. Pero ella argumenta que hay poca demanda de un co-científico de IA que genera hipótesis, una tarea que muchos investigadores encuentran intelectualmente gratificante.

"Para muchos científicos, incluido yo mismo, generar hipótesis es la parte más divertida del trabajo", dijo Sinapayen a TechCrunch. "¿Por qué querría externalizar mi diversión a una computadora, y luego me queda solo el trabajo duro para hacer yo mismo? En general, muchos investigadores generativos de IA parecen malinterpretar por qué los humanos hacen lo que hacen, y terminamos con propuestas para productos que automatizan la parte de la que nos alegramos".

Beery señaló que la parte más difícil del proceso científico a menudo es diseñar e implementar estudios para probar hipótesis, algo con lo que los sistemas de IA actuales luchan. La IA no puede llevar a cabo físicamente experimentos, y a menudo lucha con problemas donde los datos son escasos.

"La mayoría de la ciencia no es posible hacer por completo: con frecuencia hay un componente significativo del proceso científico que es físico, como recopilar nuevos datos y realizar experimentos en el laboratorio", dijo Beery. "Una gran limitación de sistemas como el co-científico de AI de Google en relación con el proceso científico real, que definitivamente limita su usabilidad, es el contexto sobre el laboratorio y el investigador que usa el sistema y sus objetivos de investigación específicos, su trabajo pasado, su conjunto de habilidades y los recursos a los que tienen acceso".

Riesgos de IA

Las limitaciones técnicas y los riesgos de la IA, como su tendencia a "alucinar" o generar información falsa, hacen que los científicos cautelen al confiar en ello para un trabajo serio.

Khudabukhsh se preocupa de que las herramientas de IA puedan terminar inundando la literatura científica con ruido en lugar de avanzar en el progreso.

Ya está sucediendo. Un estudio reciente encontró que la "ciencia basura" generada por IA está inundando Google Scholar, el motor de búsqueda gratuito de Google para la literatura académica.

"La investigación generada por la IA, si no se monitorea cuidadosamente, podría inundar el campo científico con estudios de menor calidad o incluso engañosos, abrumando el proceso de revisión por pares", dijo Khudabukhsh. "Un proceso de revisión de pares abrumado ya es un desafío en los campos como la informática, donde las principales conferencias han visto un aumento exponencial en los envíos".

Incluso los estudios bien diseñados podrían verse comprometidos por el mal comportamiento de la IA, advirtió Sinapayen. Si bien aprecia la idea de una herramienta que podría ayudar con la revisión y la síntesis de la literatura, no confiaría en la IA de hoy para hacer ese trabajo de manera confiable.

"Esas son cosas que varias herramientas existentes afirman hacer, pero esos no son trabajos que personalmente dejaría a la IA actual", dijo Sinapayen. También planteó preocupaciones sobre cómo se capacitan los sistemas de IA y la energía que consumen. "Incluso si se resolvieron todos los problemas éticos, la IA actual no es lo suficientemente confiable como para basar mi trabajo en su producción de una forma u otra".