Maison
Les startups de l'IA ont critiqué pour l'utilisation de l'examen par les pairs comme tactique PR

Une tempête se prépare dans le monde académique concernant l'utilisation d'études générées par l'IA lors de la conférence ICLR de cette année, un événement majeur axé sur l'intelligence artificielle. Trois laboratoires d'IA, Sakana, Intology et Autoscience, ont suscité une controverse en soumettant des études générées par l'IA aux ateliers de l'ICLR.
Sakana a adopté une approche transparente, informant les responsables de l'ICLR et obtenant le consentement des évaluateurs avant de soumettre leurs articles générés par l'IA. Cependant, Intology et Autoscience n'ont pas suivi cet exemple, soumettant leurs études sans notification préalable, comme l'a confirmé un porte-parole de l'ICLR à TechCrunch.
La communauté académique s'est exprimée bruyamment sur les réseaux sociaux, nombreux sont ceux qui ont critiqué Intology et Autoscience pour avoir exploité le processus d'évaluation par les pairs. Prithviraj Ammanabrolu, professeur assistant à l'UC San Diego, a exprimé sa frustration sur X, soulignant l'absence de consentement des évaluateurs qui consacrent leur temps et leurs efforts gratuitement. Il a appelé à une divulgation complète aux rédacteurs concernant l'utilisation de l'IA dans la génération de ces études.
L'évaluation par les pairs est déjà une tâche exigeante, une récente enquête de Nature indiquant que 40 % des universitaires passent deux à quatre heures à évaluer une seule étude. La charge de travail augmente, comme en témoigne l'augmentation de 41 % des soumissions à la conférence NeurIPS l'année dernière, totalisant 17 491 articles.
La question du contenu généré par l'IA dans le milieu académique n'est pas nouvelle, des estimations suggérant qu'entre 6,5 % et 16,9 % des articles soumis aux conférences sur l'IA en 2023 contenaient du texte synthétique. Cependant, utiliser l'évaluation par les pairs comme moyen de benchmarking et de promotion de la technologie de l'IA est un développement plus récent.
Intology s'est vanté sur X d'avoir reçu des critiques unanimement positives pour leurs articles générés par l'IA, citant même des évaluateurs d'ateliers louant les "idées astucieuses" dans l'une de leurs études. Cette autopromotion n'a pas été bien accueillie par les universitaires.
Ashwinee Panda, postdoctorante à l'Université du Maryland, a critiqué le manque de respect envers les évaluateurs humains en soumettant des articles générés par l'IA sans leur consentement. Panda a noté que Sakana avait approché son atelier à l'ICLR, mais elle a refusé de participer, soulignant l'importance de respecter le temps et les droits des évaluateurs.
Le scepticisme quant à la valeur des articles générés par l'IA est répandu parmi les chercheurs. Sakana a reconnu que leur IA avait commis des erreurs de citation "embarrassantes" et que seul un de leurs trois articles soumis aurait répondu aux normes de la conférence. Dans un geste vers la transparence, Sakana a retiré son article de l'ICLR.
Alexander Doria, cofondateur de la startup d'IA Pleias, a suggéré la nécessité d'une "entreprise/agence publique régulée" pour mener des évaluations payées et de haute qualité des études générées par l'IA. Il a soutenu que les chercheurs devraient être pleinement rémunérés pour leur temps et que le milieu académique ne devrait pas être utilisé comme une ressource gratuite pour les évaluations de l'IA.
Article connexe
L'IA axée sur l'optimisation apparaît comme une nouvelle voie vers des modèles à usage général
Des chercheurs de l'université de l'Illinois à Urbana-Champaign et de l'université de Virginie ont créé une nouvelle architecture de modèle qui pourrait ouvrir la voie à des systèmes d'IA plus résilie
Le boom de l'IA fait écho aux inquiétudes liées à la bulle Internet
L'afflux d'investissements de plusieurs milliards de dollars dans l'IA a alimenté un débat houleux : le secteur se dirige-t-il vers une bulle spéculative similaire à celle des dot-com ?Les investisseu
La mémoire procédurale réduit les coûts et la complexité des agents d'IA
Une nouvelle technique mise au point par l'université de Zhejiang et le groupe Alibaba dote les agents de grands modèles de langage (LLM) d'une mémoire dynamique, ce qui accroît leur efficacité dans l
Recommandations de sujets spéciaux liés
commentaires (31)
It's wild how AI startups are turning peer review into a PR stunt! 😅 Sakana and others submitting AI-generated studies to ICLR is bold, but it feels like they're more focused on headlines than real science. Anyone else think this could backfire big time?
Я в замешательстве по поводу этих исследований, созданных ИИ, на ICLR. С одной стороны, круто, что ИИ может генерировать исследования, но использовать это для PR? Это кажется немного неправильным. Это расширяет границы, но не уверен, что это лучший способ.
I'm kinda torn about these AI startups using peer review as a PR move. On one hand, it's clever marketing, but on the other, it feels like they're gaming the system. I mean, if the studies are legit, why not just say so? Feels a bit shady to me.
ICLRでのAI生成の研究論文について、複雑な気持ちです。AIが研究を生成できるのは面白いけど、PRに利用するのは少し違和感があります。境界を押し広げる試みではあるけど、必ずしも最良の方法とは言えないかもしれませんね。
Estoy dividido sobre estas startups de IA que usan la revisión por pares como una táctica de relaciones públicas. Por un lado, es un marketing inteligente, pero por otro, parece que están jugando con el sistema. Si los estudios son legítimos, ¿por qué no decirlo simplemente? Me parece un poco turbio.

Une tempête se prépare dans le monde académique concernant l'utilisation d'études générées par l'IA lors de la conférence ICLR de cette année, un événement majeur axé sur l'intelligence artificielle. Trois laboratoires d'IA, Sakana, Intology et Autoscience, ont suscité une controverse en soumettant des études générées par l'IA aux ateliers de l'ICLR.
Sakana a adopté une approche transparente, informant les responsables de l'ICLR et obtenant le consentement des évaluateurs avant de soumettre leurs articles générés par l'IA. Cependant, Intology et Autoscience n'ont pas suivi cet exemple, soumettant leurs études sans notification préalable, comme l'a confirmé un porte-parole de l'ICLR à TechCrunch.
La communauté académique s'est exprimée bruyamment sur les réseaux sociaux, nombreux sont ceux qui ont critiqué Intology et Autoscience pour avoir exploité le processus d'évaluation par les pairs. Prithviraj Ammanabrolu, professeur assistant à l'UC San Diego, a exprimé sa frustration sur X, soulignant l'absence de consentement des évaluateurs qui consacrent leur temps et leurs efforts gratuitement. Il a appelé à une divulgation complète aux rédacteurs concernant l'utilisation de l'IA dans la génération de ces études.
L'évaluation par les pairs est déjà une tâche exigeante, une récente enquête de Nature indiquant que 40 % des universitaires passent deux à quatre heures à évaluer une seule étude. La charge de travail augmente, comme en témoigne l'augmentation de 41 % des soumissions à la conférence NeurIPS l'année dernière, totalisant 17 491 articles.
La question du contenu généré par l'IA dans le milieu académique n'est pas nouvelle, des estimations suggérant qu'entre 6,5 % et 16,9 % des articles soumis aux conférences sur l'IA en 2023 contenaient du texte synthétique. Cependant, utiliser l'évaluation par les pairs comme moyen de benchmarking et de promotion de la technologie de l'IA est un développement plus récent.
Intology s'est vanté sur X d'avoir reçu des critiques unanimement positives pour leurs articles générés par l'IA, citant même des évaluateurs d'ateliers louant les "idées astucieuses" dans l'une de leurs études. Cette autopromotion n'a pas été bien accueillie par les universitaires.
Ashwinee Panda, postdoctorante à l'Université du Maryland, a critiqué le manque de respect envers les évaluateurs humains en soumettant des articles générés par l'IA sans leur consentement. Panda a noté que Sakana avait approché son atelier à l'ICLR, mais elle a refusé de participer, soulignant l'importance de respecter le temps et les droits des évaluateurs.
Le scepticisme quant à la valeur des articles générés par l'IA est répandu parmi les chercheurs. Sakana a reconnu que leur IA avait commis des erreurs de citation "embarrassantes" et que seul un de leurs trois articles soumis aurait répondu aux normes de la conférence. Dans un geste vers la transparence, Sakana a retiré son article de l'ICLR.
Alexander Doria, cofondateur de la startup d'IA Pleias, a suggéré la nécessité d'une "entreprise/agence publique régulée" pour mener des évaluations payées et de haute qualité des études générées par l'IA. Il a soutenu que les chercheurs devraient être pleinement rémunérés pour leur temps et que le milieu académique ne devrait pas être utilisé comme une ressource gratuite pour les évaluations de l'IA.
L'IA axée sur l'optimisation apparaît comme une nouvelle voie vers des modèles à usage général
Des chercheurs de l'université de l'Illinois à Urbana-Champaign et de l'université de Virginie ont créé une nouvelle architecture de modèle qui pourrait ouvrir la voie à des systèmes d'IA plus résilie
Le boom de l'IA fait écho aux inquiétudes liées à la bulle Internet
L'afflux d'investissements de plusieurs milliards de dollars dans l'IA a alimenté un débat houleux : le secteur se dirige-t-il vers une bulle spéculative similaire à celle des dot-com ?Les investisseu
La mémoire procédurale réduit les coûts et la complexité des agents d'IA
Une nouvelle technique mise au point par l'université de Zhejiang et le groupe Alibaba dote les agents de grands modèles de langage (LLM) d'une mémoire dynamique, ce qui accroît leur efficacité dans l
It's wild how AI startups are turning peer review into a PR stunt! 😅 Sakana and others submitting AI-generated studies to ICLR is bold, but it feels like they're more focused on headlines than real science. Anyone else think this could backfire big time?
Я в замешательстве по поводу этих исследований, созданных ИИ, на ICLR. С одной стороны, круто, что ИИ может генерировать исследования, но использовать это для PR? Это кажется немного неправильным. Это расширяет границы, но не уверен, что это лучший способ.
I'm kinda torn about these AI startups using peer review as a PR move. On one hand, it's clever marketing, but on the other, it feels like they're gaming the system. I mean, if the studies are legit, why not just say so? Feels a bit shady to me.
ICLRでのAI生成の研究論文について、複雑な気持ちです。AIが研究を生成できるのは面白いけど、PRに利用するのは少し違和感があります。境界を押し広げる試みではあるけど、必ずしも最良の方法とは言えないかもしれませんね。
Estoy dividido sobre estas startups de IA que usan la revisión por pares como una táctica de relaciones públicas. Por un lado, es un marketing inteligente, pero por otro, parece que están jugando con el sistema. Si los estudios son legítimos, ¿por qué no decirlo simplemente? Me parece un poco turbio.











