Giấy do AI tạo ra vượt qua đánh giá ngang hàng, Sakana tuyên bố, nhưng chi tiết có sắc thái

Công ty khởi nghiệp AI Nhật Bản Sakana gần đây đã gây chú ý khi tuyên bố rằng hệ thống AI của họ, The AI Scientist-v2, đã tạo ra một trong những bài báo khoa học được bình duyệt đầu tiên. Tuy nhiên, có một số chi tiết quan trọng cần xem xét trước khi chúng ta quá phấn khích.

Cuộc tranh luận về vai trò của AI trong khoa học đang ngày càng nóng lên. Một số nhà nghiên cứu tin rằng AI chưa sẵn sàng để trở thành một "nhà khoa học đồng hành," trong khi những người khác thấy tiềm năng nhưng thừa nhận rằng chúng ta vẫn đang ở giai đoạn đầu. Sakana thuộc nhóm thứ hai.

Công ty đã sử dụng The AI Scientist-v2 để tạo ra một bài báo được gửi đến một hội thảo tại ICLR, một hội nghị AI uy tín. Sakana đã hợp tác với Đại học British Columbia và Đại học Oxford để gửi ba bài báo do AI tạo ra đến hội thảo này. AI đã xử lý mọi thứ từ giả thuyết đến thí nghiệm, mã lập trình, phân tích dữ liệu, hình ảnh hóa, và thậm chí cả tiêu đề.

"Chúng tôi đã tạo ra các ý tưởng nghiên cứu bằng cách cung cấp tóm tắt và mô tả hội thảo cho AI," Robert Lange, một nhà khoa học nghiên cứu và thành viên sáng lập tại Sakana, đã nói với TechCrunch qua email. "Điều này đảm bảo rằng các bài báo được tạo ra phù hợp với chủ đề và là những bài nộp phù hợp."

Một trong ba bài báo đã được hội thảo ICLR chấp nhận. Bài báo tập trung vào việc phê bình các kỹ thuật huấn luyện cho các mô hình AI. Tuy nhiên, Sakana đã rút bài báo trước khi nó được xuất bản, với lý do minh bạch và tôn trọng các quy định của ICLR.

Nhưng chúng ta chưa nên vội vàng. Sakana thừa nhận trong bài đăng blog của họ rằng AI của họ đã mắc một số lỗi trích dẫn "xấu hổ", như việc gán một phương pháp cho một bài báo năm 2016 thay vì công trình gốc năm 1997.

Ngoài ra, bài báo không trải qua quá trình xem xét nghiêm ngặt như các bài báo khoa học được bình duyệt khác. Nó đã bị rút sau lần bình duyệt ban đầu, vì vậy nó không nhận được "đánh giá meta" từ các nhà tổ chức hội thảo, những người có thể đã từ chối nó.

Một điều khác cần lưu ý là các hội thảo tại hội nghị thường có tỷ lệ chấp nhận cao hơn so với các phiên chính của hội nghị. Sakana đã đề cập đến điều này trong bài đăng blog của họ và lưu ý rằng không có nghiên cứu nào do AI tạo ra của họ đáp ứng được tiêu chuẩn nội bộ cho phiên hội nghị chính của ICLR.

Matthew Guzdial, một nhà nghiên cứu AI và trợ lý giáo sư tại Đại học Alberta, gọi kết quả của Sakana là "hơi gây hiểu lầm."

"Những người ở Sakana đã chọn các bài báo từ một số bài báo được tạo ra, nghĩa là họ đã sử dụng phán đoán của con người để chọn các đầu ra mà họ nghĩ có thể được chấp nhận," anh nói qua email. "Điều tôi nghĩ điều này cho thấy là con người kết hợp với AI có thể hiệu quả, không phải là AI một mình có thể tạo ra tiến bộ khoa học."

Mike Cook, một nghiên cứu viên tại King's College London chuyên về AI, đặt câu hỏi về sự nghiêm ngặt của các nhà bình duyệt và hội thảo.

"Các hội thảo mới, như hội thảo này, thường được các nhà nghiên cứu trẻ hơn đánh giá," anh nói với TechCrunch. "Cũng đáng chú ý rằng hội thảo này tập trung vào các kết quả tiêu cực và khó khăn — điều này rất tuyệt, tôi đã từng tổ chức một hội thảo tương tự trước đây — nhưng có thể lập luận rằng việc để AI viết về một thất bại một cách thuyết phục là dễ dàng hơn."

Cook không ngạc nhiên khi một AI có thể vượt qua bình duyệt, vì AI giỏi trong việc viết văn xuôi nghe giống con người. Anh chỉ ra rằng các bài báo được tạo ra một phần bởi AI đã vượt qua bình duyệt tạp chí không phải là mới, và điều này đặt ra các câu hỏi đạo đức cho cộng đồng khoa học.

Các vấn đề kỹ thuật của AI, như xu hướng "ảo giác" của nó, khiến nhiều nhà khoa học thận trọng khi sử dụng nó cho công việc nghiêm túc. Cũng có lo ngại rằng AI có thể chỉ thêm nhiễu vào tài liệu khoa học, thay vì thúc đẩy kiến thức.

"Chúng ta cần tự hỏi liệu kết quả của [Sakana] là về việc AI giỏi thiết kế và thực hiện các thí nghiệm đến mức nào, hay là về việc nó giỏi bán ý tưởng cho con người — điều mà chúng ta biết AI đã rất giỏi," Cook nói. "Có sự khác biệt giữa việc vượt qua bình duyệt và đóng góp kiến thức cho một lĩnh vực."

Công bằng mà nói, Sakana không tuyên bố rằng AI của họ có thể tạo ra công trình khoa học đột phá hay đặc biệt mới mẻ. Mục tiêu của họ là "nghiên cứu chất lượng của nghiên cứu do AI tạo ra" và nhấn mạnh sự cần thiết của "các chuẩn mực liên quan đến khoa học do AI tạo ra."

"Có những câu hỏi khó về việc liệu khoa học [do AI tạo ra] có nên được đánh giá dựa trên giá trị riêng của nó trước tiên để tránh thiên kiến chống lại nó," công ty viết. "Trong tương lai, chúng tôi sẽ tiếp tục trao đổi ý kiến với cộng đồng nghiên cứu về trạng thái của công nghệ này để đảm bảo rằng nó không phát triển thành một tình huống trong tương lai nơi mục đích duy nhất của nó là vượt qua bình duyệt, qua đó làm suy yếu đáng kể ý nghĩa của quá trình bình duyệt khoa học."