AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.

일본 AI 스타트업 사카나는 최근 자사의 AI 시스템인 AI Scientist-v2가 동료 검토를 거친 최초의 과학 논문을 생성했다고 주장하며 주목받았다. 하지만 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있다.

AI의 과학에서의 역할에 대한 논쟁이 뜨겁게 달아오르고 있다. 일부 연구자들은 AI가 "공동 과학자"로 준비되지 않았다고 믿는 반면, 다른 이들은 잠재력을 보지만 아직 초기 단계에 있다고 인정한다. 사카나는 후자에 속한다.

이 회사는 AI Scientist-v2를 사용해 ICLR이라는 잘 알려진 AI 컨퍼런스의 워크숍에 제출할 논문을 작성했다. 사카나는 브리티시 컬럼비아 대학교 및 옥스퍼드 대학교와 협력하여 이 워크숍에 AI가 생성한 세 편의 논문을 제출했다. AI는 가설부터 실험, 코드, 데이터 분석, 시각화, 심지어 제목까지 모든 것을 처리했다.

"우리는 워크숍 초록과 설명을 AI에 제공함으로써 연구 아이디어를 생성했다," 사카나의 연구 과학자이자 창립 멤버인 로버트 랭지는 TechCrunch에 이메일로 전했다. "이를 통해 생성된 논문이 주제에 맞고 적합한 제출물이 되도록 했다."

세 편의 논문 중 하나가 ICLR 워크숍에 채택되었다. 이 논문은 AI 모델의 훈련 기술을 비판하는 데 초점을 맞췄다. 그러나 사카나는 투명성과 ICLR 관례에 대한 존중을 이유로 논문이 출판되기 전에 철회했다.

하지만 아직 너무 흥분하지 말자. 사카나는 블로그 포스트에서 AI가 2016년 논문에 방법을 귀속시키는 대신 원래 1997년 작업을 인용하는 등 "당황스러운" 인용 오류를 저질렀다고 인정했다.

또한, 이 논문은 다른 동료 검토 출판물만큼 철저한 검토를 거치지 않았다. 초기 동료 검토 후 철회되었기 때문에 워크숍 주최자로부터 "메타 검토"를 받지 못했고, 주최자가 이를 거부했을 가능성도 있다.

또 하나 염두에 둘 점은 컨퍼런스 워크숍이 메인 컨퍼런스 트랙보다 수용률이 높은 경우가 많다는 것이다. 사카나는 블로그 포스트에서 이를 언급하며, AI가 생성한 연구 중 어느 것도 ICLR 컨퍼런스 트랙에 대한 내부 기준을 충족하지 못했다고 밝혔다.

앨버타 대학교의 AI 연구자이자 조교수인 매튜 구즈디얼은 사카나의 결과를 "다소 오해의 소지가 있다"고 말했다.

"사카나 팀은 생성된 논문들 중 일부를 선택했으며, 이는 그들이 인간의 판단을 사용해 채택될 가능성이 있다고 생각한 출력물을 골랐다는 의미다," 그는 이메일로 말했다. "내 생각에 이는 인간과 AI가 함께 효과적일 수 있음을 보여줄 뿐, AI 단독으로 과학적 진보를 이룰 수 있다는 것을 보여주지 않는다."

킹스 칼리지 런던의 AI 전문 연구원 마이크 쿡은 동료 검토자와 워크숍의 엄격성에 의문을 제기했다.

"이런 새로운 워크숍은 종종 더 젊은 연구자들에 의해 검토된다," 그는 TechCrunch에 말했다. "또한 이 워크숍은 부정적인 결과와 어려움에 관한 것이며 — 이는 훌륭하며, 나도 비슷한 워크숍을 운영한 적이 있다 — 하지만 AI가 실패에 대해 설득력 있게 쓰는 것이 더 쉬울 수 있다."

쿡은 AI가 동료 검토를 통과할 수 있다는 사실에 놀라지 않았다. AI는 인간처럼 들리는 문장을 쓰는 데 능숙하기 때문이다. 그는 부분적으로 AI가 생성한 논문이 저널 검토를 통과하는 것이 새롭지 않으며, 이는 과학계에 윤리적 질문을 제기한다고 지적했다.

AI의 "환각" 경향과 같은 기술적 문제는 많은 과학자들이 이를 진지한 작업에 사용하는 데 신중을 기하게 한다. 또한 AI가 지식을 발전시키기보다는 과학 문헌에 소음만 추가할 수 있다는 우려도 있다.

"우리는 [사카나의] 결과가 AI가 실험을 설계하고 수행하는 데 얼마나 뛰어난지, 아니면 AI가 이미 잘하는 인간에게 아이디어를 판매하는 데 얼마나 뛰어난지에 관한 것인지 자문해야 한다," 쿡은 말했다. "동료 검토를 통과하는 것과 한 분야에 지식을 기여하는 것 사이에는 차이가 있다."

사카나의 공로로, 그들은 AI가 획기적이거나 특별히 새로운 과학적 작업을 생산할 수 있다고 주장하지 않는다. 그들의 목표는 "AI 생성 연구의 품질을 연구"하고 "AI 생성 과학에 대한 규범"의 필요성을 강조하는 것이었다.

"[AI 생성] 과학이 편견을 피하기 위해 먼저 그 자체의 장점으로 판단되어야 하는지에 대한 어려운 질문들이 있다," 회사는 썼다. "앞으로 우리는 이 기술의 상태에 대해 연구 커뮤니티와 의견을 교환하며, 과학적 동료 검토 프로세스의 의미를 실질적으로 훼손하는, 단지 동료 검토를 통과하는 것이 유일한 목적이 되는 상황으로 발전하지 않도록 할 것이다."