Giấy do AI tạo ra vượt qua đánh giá ngang hàng, Sakana tuyên bố, nhưng chi tiết có sắc thái

Khởi nghiệp AI của Nhật Bản Sakana gần đây đã tạo ra sóng bằng cách tuyên bố rằng hệ thống AI của nó, nhà khoa học AI-V2, đã tạo ra một trong những ấn phẩm khoa học được đánh giá ngang hàng đầu tiên. Tuy nhiên, có một số chi tiết quan trọng để xem xét trước khi chúng tôi quá phấn khích.

Cuộc tranh luận về vai trò của AI trong khoa học đang nóng lên. Một số nhà nghiên cứu tin rằng AI chưa sẵn sàng trở thành "đồng khoa học", trong khi những người khác nhìn thấy tiềm năng nhưng nhận ra chúng ta vẫn đang ở giai đoạn đầu. Sakana rơi vào nhóm sau.

Công ty đã sử dụng Nhà khoa học AI-V2 để tạo ra một bài báo được gửi đến một hội thảo tại ICLR, một hội nghị AI được kính trọng. Sakana đã làm việc với Đại học British Columbia và Đại học Oxford để nộp ba bài báo do AI tạo ra cho hội thảo này. AI đã xử lý mọi thứ từ các giả thuyết đến thí nghiệm, mã, phân tích dữ liệu, trực quan hóa và thậm chí cả các tiêu đề.

"Chúng tôi đã tạo ra các ý tưởng nghiên cứu bằng cách cung cấp bản tóm tắt và mô tả hội thảo cho AI", Robert Lange, một nhà khoa học nghiên cứu và thành viên sáng lập tại Sakana, nói với TechCrunch qua email. "Điều này đảm bảo rằng các bài báo được tạo ra về chủ đề và bài nộp phù hợp."

Một trong ba bài báo đã được Hội thảo ICLR chấp nhận. Nó tập trung vào các kỹ thuật đào tạo phê bình cho các mô hình AI. Tuy nhiên, Sakana đã rút tờ báo trước khi nó có thể được công bố, trích dẫn sự minh bạch và tôn trọng các quy ước ICLR.

Nhưng chúng ta đừng bị mang đi. Sakana thừa nhận trong bài đăng trên blog của họ rằng AI của họ đã thực hiện một số lỗi trích dẫn "xấu hổ", như quy kết một phương pháp cho một bài báo năm 2016 thay vì tác phẩm gốc năm 1997.

Ngoài ra, bài báo đã không xem xét kỹ lưỡng như các ấn phẩm được đánh giá ngang hàng khác. Nó đã bị rút sau khi đánh giá ngang hàng ban đầu, vì vậy nó đã không nhận được "đánh giá tổng hợp" từ các nhà tổ chức hội thảo, những người có thể đã từ chối nó.

Một điều khác cần lưu ý là các hội thảo hội nghị thường có tỷ lệ chấp nhận cao hơn so với theo dõi hội nghị chính. Sakana đã đề cập đến điều này trong bài đăng trên blog của họ và lưu ý rằng không có nghiên cứu nào do AI của họ tạo ra đáp ứng các tiêu chuẩn nội bộ của họ cho ca khúc Hội nghị ICLR.

Matthew Guzdial, một nhà nghiên cứu AI và trợ lý giáo sư tại Đại học Alberta, đã gọi kết quả của Sakana là "một chút sai lệch".

"Những người Sakana đã chọn các giấy tờ từ một số người được tạo ra, có nghĩa là họ đang sử dụng phán đoán của con người về mặt chọn đầu ra mà họ nghĩ có thể nhận được", ông nói qua email. "Những gì tôi nghĩ rằng điều này cho thấy là con người cộng với AI có thể có hiệu quả, không phải là AI một mình có thể tạo ra tiến bộ khoa học."

Mike Cook, một nghiên cứu viên tại King College London chuyên về AI, đã đặt câu hỏi về sự nghiêm khắc của các nhà phê bình và hội thảo ngang hàng.

"Các hội thảo mới, như thế này, thường được xem xét bởi nhiều nhà nghiên cứu cơ sở hơn", ông nói với TechCrunch. "Điều đáng chú ý là hội thảo này là về kết quả và khó khăn tiêu cực - điều này thật tuyệt, tôi đã điều hành một hội thảo tương tự trước đây - nhưng có thể dễ dàng hơn để có được AI viết về một thất bại một cách thuyết phục."

Cook không ngạc nhiên khi AI có thể vượt qua đánh giá ngang hàng, cho rằng AI rất giỏi trong việc viết văn xuôi âm thanh của con người. Ông chỉ ra rằng một phần các bài báo do AI tạo ra vượt qua Tạp chí Đánh giá không phải là mới, và nó đặt ra các câu hỏi đạo đức cho cộng đồng khoa học.

Các vấn đề kỹ thuật của AI, giống như xu hướng "ảo giác", khiến nhiều nhà khoa học thận trọng sử dụng nó cho công việc nghiêm túc. Cũng có một nỗi sợ rằng AI chỉ có thể thêm tiếng ồn cho các tài liệu khoa học, thay vì thúc đẩy kiến ​​thức.

"Chúng tôi cần tự hỏi liệu kết quả [Sakana] có phải là AI tốt như thế nào trong việc thiết kế và thực hiện các thí nghiệm hay không, hoặc liệu nó có tốt như thế nào trong việc bán ý tưởng cho con người - mà chúng tôi biết AI là tuyệt vời," Cook nói. "Có một sự khác biệt giữa việc vượt qua đánh giá ngang hàng và đóng góp kiến ​​thức cho một lĩnh vực."

Đối với tín dụng của Sakana, họ không tuyên bố rằng AI của họ có thể sản xuất đột phá hoặc thậm chí đặc biệt là công trình khoa học mới lạ. Mục tiêu của họ là "nghiên cứu chất lượng nghiên cứu do AI tạo ra" và nhấn mạnh sự cần thiết của "các chuẩn mực liên quan đến khoa học do AI tạo ra".

"Có những câu hỏi khó về việc liệu khoa học [do AI tạo ra] có nên được đánh giá dựa trên giá trị của chính nó trước tiên để tránh thiên vị chống lại nó hay không", công ty viết. "Trong tương lai, chúng tôi sẽ tiếp tục trao đổi ý kiến ​​với cộng đồng nghiên cứu về tình trạng của công nghệ này để đảm bảo rằng nó không phát triển thành một tình huống trong tương lai nơi mục đích duy nhất của nó là vượt qua đánh giá ngang hàng, từ đó làm suy yếu đáng kể ý nghĩa của quá trình đánh giá ngang hàng khoa học."