AI chia tỷ lệ đột phá của các chuyên gia

# research # scaling

Có một số tiếng vang trên phương tiện truyền thông xã hội về các nhà nghiên cứu khám phá ra một "luật nhân rộng" AI mới, nhưng các chuyên gia đang dùng nó với một hạt muối. Luật mở rộng AI, giống như các hướng dẫn không chính thức, cho thấy cách các mô hình AI trở nên tốt hơn khi bạn ném nhiều dữ liệu hơn và sức mạnh tính toán vào chúng. Cho đến khoảng một năm trước, xu hướng lớn là tất cả về "đào tạo trước"-về cơ bản, đào tạo các mô hình lớn hơn trên các bộ dữ liệu lớn hơn. Đó vẫn là một điều, nhưng bây giờ chúng tôi đã có thêm hai luật quy mô trong hỗn hợp: tỷ lệ sau đào tạo, đó là tất cả về việc điều chỉnh hành vi của một mô hình và tỷ lệ thời gian thử nghiệm, liên quan đến việc sử dụng nhiều năng lượng tính toán hơn trong quá trình suy luận để tăng khả năng "lý luận" của mô hình (nghĩ rằng các mô hình như R1). Gần đây, các nhà nghiên cứu từ Google và UC Berkeley đã bỏ một bài báo mà một số người trực tuyến đang gọi luật thứ tư: "Tìm kiếm thời gian thực hiện." Phương pháp này có mô hình nhổ ra một loạt các câu trả lời có thể cho một truy vấn cùng một lúc và sau đó chọn phương pháp tốt nhất. Các nhà nghiên cứu cho rằng nó có thể tăng cường hiệu suất của một mô hình cũ hơn, như Gemini 1.5 Pro của Google, để đánh bại mô hình "Lý luận" O1 của Openai trên các tiêu chuẩn khoa học và toán học. Eric Zhao, một thành viên tiến sĩ của Google và là một trong những đồng tác giả của bài báo, đã chia sẻ trên X rằng chỉ bằng cách lấy mẫu ngẫu nhiên 200 câu trả lời và để mô hình tự cho mình, Gemini 1.5-mà anh ta gọi là "mô hình đầu năm 2024 cổ xưa"-có thể vượt qua O1 Preview và thậm chí đến gần O1. Ông chỉ ra rằng sự tự xác minh trở nên dễ dàng hơn khi bạn mở rộng quy mô, đó là loại phản trực giác nhưng mát mẻ. Nhưng không phải ai cũng bị thuyết phục. Matthew Guzdial, một nhà nghiên cứu AI và trợ lý giáo sư tại Đại học Alberta, nói với TechCrunch rằng phương pháp này hoạt động tốt nhất khi bạn có một cách vững chắc để đánh giá câu trả lời. Hầu hết các câu hỏi không đơn giản, mặc dù. Ông nói, "Nếu chúng ta không thể viết mã để xác định những gì chúng ta muốn, chúng ta không thể sử dụng tìm kiếm [thời gian suy luận]. Đối với một cái gì đó như tương tác ngôn ngữ chung, chúng ta không thể làm điều này ... Nói chung, đó không phải là một cách tiếp cận tuyệt vời để thực sự giải quyết hầu hết các vấn đề." Zhao trả lời, nói rằng bài báo của họ thực sự xem xét các trường hợp bạn không có cách rõ ràng để đánh giá các câu trả lời và mô hình phải tự mình tìm ra nó. Ông lập luận rằng khoảng cách giữa việc có một cách rõ ràng để đánh giá và không có người ta có thể co lại khi bạn mở rộng quy mô. Mike Cook, một nghiên cứu viên tại King College London, đã ủng hộ quan điểm của Guzdial, nói rằng tìm kiếm thời gian suy luận không thực sự làm cho lý do của người mẫu tốt hơn. Nó giống như một cách giải quyết cho xu hướng của người mẫu để phạm sai lầm tự tin. Ông chỉ ra rằng nếu mô hình của bạn làm rối tung 5% thời gian, việc kiểm tra 200 lần thử sẽ làm cho những sai lầm đó dễ phát hiện hơn. Tin tức này có thể là một chút của một công nghiệp AI, luôn luôn săn lùng các cách để tăng cường mô hình "Lý luận" mà không phá vỡ ngân hàng. Như các tác giả của bài báo đã lưu ý, các mô hình lý luận có thể trả hàng ngàn đô la chi phí tính toán chỉ để giải quyết một vấn đề toán học. Có vẻ như việc tìm kiếm các kỹ thuật tỷ lệ mới còn lâu mới kết thúc. *Cập nhật 3/20 5:12 AM Thái Bình Dương: Đã thêm ý kiến ​​từ đồng tác giả nghiên cứu Eric Zhao, người có vấn đề với một đánh giá của một nhà nghiên cứu độc lập, người đã phê bình công việc.*

Bài viết liên quan

Nhận xét (35)