Startups de IA criticadas por usar la revisión por pares como táctica de PR

# research # iclr

Una tormenta se está gestando en el mundo académico sobre el uso de estudios generados por IA en la conferencia ICLR de este año, un evento importante centrado en la inteligencia artificial. Tres laboratorios de IA, Sakana, Interology y Autoscience, han provocado controversia al presentar estudios generados por IA a talleres de ICLR. Sakana adoptó un enfoque transparente, informó a los líderes de ICLR y obtuvo el consentimiento de los revisores de pares antes de presentar sus documentos generados por IA. Sin embargo, la intología y la autosciencia no hicieron lo mismo, presentando sus estudios sin notificación previa, según lo confirmado por un portavoz de ICLR a TechCrunch. La comunidad académica ha expresado en las redes sociales, y muchos critican la intología y la autosciencia para explotar el proceso de revisión por pares. Prithviraj Ammanabrolu, profesor asistente en UC San Diego, expresó su frustración en X, destacando la falta de consentimiento de los revisores que brindan su tiempo y esfuerzo gratis. Instó a una divulgación completa a los editores sobre el uso de IA en la generación de estos estudios. La revisión por pares ya es una tarea exigente, con una encuesta de naturaleza reciente que indica que el 40% de los académicos pasan de dos a cuatro horas revisando un solo estudio. La carga de trabajo está aumentando, como lo demuestra el aumento del 41% en las presentaciones a la Conferencia Neurips el año pasado, totalizando 17,491 artículos. La cuestión del contenido generado por IA en la academia no es nueva, con estimaciones que sugieren que entre el 6.5% y el 16.9% de los documentos presentados a las conferencias de IA en 2023 contenían texto sintético. Sin embargo, usar la revisión por pares como un medio para comparar y promover la tecnología AI es un desarrollo más reciente. La intología se jactó de recibir revisiones por unanimemente positivas para sus documentos generados por IA en X, incluso citar a los revisores del taller elogiando las "ideas inteligentes" en uno de sus estudios. Esta autopromoción no se sentó bien con los académicos. Ashwinee Panda, miembro postdoctoral de la Universidad de Maryland, criticó la falta de respeto que se muestra a los revisores humanos al presentar documentos generados por IA sin su consentimiento. Panda señaló que Sakana se había acercado a su taller en ICLR, pero se negó a participar, enfatizando la importancia de respetar el tiempo y los derechos de los revisores. El escepticismo sobre el valor de los documentos generados por IA está muy extendido entre los investigadores. Sakana reconoció que su IA cometió errores de citas "vergonzosos" y que solo uno de sus tres documentos presentados habría cumplido con los estándares de la conferencia. En un movimiento hacia la transparencia, Sakana retiró su papel de ICLR. Alexander Doria, cofundador de la startup de IA Pleias, sugirió la necesidad de una "empresa/agencia pública regulada" para realizar evaluaciones pagadas de alta calidad de estudios generados por IA. Argumentó que los investigadores deberían ser completamente compensados ​​por su tiempo y que la academia no debe usarse como un recurso gratuito para las evaluaciones de IA.

Artículo relacionado

comentario (30)