AI 스타트 업은 PR 전술로 동료 검토를 사용한다고 비난했습니다.

학계에서 AI 생성 연구 논문의 사용을 둘러싸고 논란이 일고 있다. 이는 인공지능에 초점을 맞춘 주요 행사인 올해의 ICLR 컨퍼런스에서 비롯되었다. 세 개의 AI 연구소, Sakana, Intology, Autoscience가 ICLR 워크숍에 AI 생성 연구 논문을 제출함으로써 논란을 일으켰다.

Sakana는 투명한 접근 방식을 취하며 ICLR 리더들에게 이를 알리고 동료 검토자들의 동의를 얻은 후 AI 생성 논문을 제출했다. 그러나 Intology와 Autoscience는 TechCrunch에 확인된 바에 따르면, 사전 통지 없이 논문을 제출했다.

학계 커뮤니티는 소셜 미디어에서 목소리를 높이며 Intology와 Autoscience가 동료 검토 과정을 악용했다고 비판했다. UC San Diego의 조교수 Prithviraj Ammanabrolu는 X에서 자신의 좌절감을 표현하며, 무료로 시간과 노력을 제공하는 검토자들의 동의 없이 진행된 점을 강조했다. 그는 AI를 사용한 연구 논문 생성에 대해 편집자들에게 완전한 공개를 촉구했다.

동료 검토는 이미 까다로운 작업으로, 최근 Nature 설문조사에 따르면 학자들의 40%가 단일 연구를 검토하는 데 2~4시간을 소비한다. 작년에 NeurIPS 컨퍼런스에 제출된 논문이 41% 증가하여 총 17,491편에 달하면서 작업 부담이 증가하고 있다.

학계에서 AI 생성 콘텐츠 문제는 새로운 것이 아니며, 2023년 AI 컨퍼런스에 제출된 논문의 6.5%에서 16.9%가 합성 텍스트를 포함했다는 추정이 있다. 그러나 동료 검토를 AI 기술을 벤치마킹하고 홍보하는 수단으로 사용하는 것은 최근의 발전이다.

Intology는 X에서 자신들의 AI 생성 논문이 만장일치로 긍정적인 평가를 받았다고 자랑하며, 워크숍 검토자들이 한 논문의 "영리한 아이디어"를 칭찬한 것을 인용했다. 이러한 자기 홍보는 학자들 사이에서 좋게 받아들여지지 않았다.

University of Maryland의 박사후 연구원 Ashwinee Panda는 AI 생성 논문을 검토자들의 동의 없이 제출함으로써 인간 검토자들에게 존중 부족을 보였다고 비판했다. Panda는 Sakana가 그녀의 ICLR 워크숍에 접근했지만, 검토자들의 시간과 권리를 존중하는 것이 중요하다며 참여를 거부했다고 밝혔다.

AI 생성 논문의 가치에 대한 회의적인 시각은 연구자들 사이에서 널리 퍼져 있다. Sakana는 그들의 AI가 "당황스러운" 인용 오류를 범했으며, 제출된 세 편의 논문 중 하나만이 컨퍼런스 기준을 충족했을 것이라고 인정했다. 투명성을 향한 움직임으로, Sakana는 ICLR에서 논문을 철회했다.

AI 스타트업 Pleias의 공동 창립자 Alexander Doria는 AI 생성 연구에 대한 고품질의 유료 평가를 수행할 "규제된 회사/공공 기관"의 필요성을 제안했다. 그는 연구자들이 시간에 대해 완전히 보상받아야 하며, 학계가 AI 평가를 위한 무료 자원으로 사용되어서는 안 된다고 주장했다.