Công ty chính sách Openai chính sách đã thay đổi tường thuật an toàn của AI

# openai # policy

Một cựu nhà nghiên cứu chính sách của Openai, Miles Brundage, gần đây đã lên phương tiện truyền thông xã hội để gọi Openai cho những gì ông coi là một nỗ lực để "viết lại lịch sử" của cách tiếp cận của nó để triển khai các hệ thống AI có khả năng gặp rủi ro. Tuần này, OpenAI đã phát hành một tài liệu chi tiết lập trường hiện tại về sự an toàn và căn chỉnh của AI, quá trình đảm bảo các hệ thống AI hoạt động theo những cách có thể dự đoán và có lợi. Trong đó, Openai đã mô tả sự phát triển của AGI hoặc các hệ thống AI có khả năng của bất kỳ nhiệm vụ nào mà con người có thể làm, như một "con đường liên tục" liên quan đến "triển khai và học hỏi" từ các công nghệ AI. "Trong một thế giới không liên tục [...] Các bài học về an toàn đến từ việc đối xử với các hệ thống ngày nay với sự thận trọng xa hơn so với sức mạnh rõ ràng của chúng, [mà] là cách tiếp cận chúng tôi đã thực hiện cho [mô hình AI của chúng tôi] GPT-2", Openai tuyên bố trong tài liệu. "Bây giờ chúng tôi xem AGI đầu tiên chỉ là một điểm dọc theo một loạt các hệ thống tăng tính hữu ích [...] trong thế giới liên tục, cách để làm cho hệ thống tiếp theo an toàn và có lợi là học hỏi từ hệ thống hiện tại." Tuy nhiên, Brundage lập luận rằng cách tiếp cận thận trọng được thực hiện với GPT-2 hoàn toàn phù hợp với chiến lược triển khai lặp lại hiện tại của Openai. "Phát hành GPT-2 của Openai, mà tôi đã tham gia, là nhất quán 100% [với và] báo trước triết lý triển khai lặp lại của Openai," Brundage đăng trên X. "Mô hình đã được phát hành tăng dần, với các bài học được chia sẻ ở mỗi bước. Nhiều chuyên gia bảo mật đã cảm ơn chúng tôi." Brundage, người đã gia nhập Openai với tư cách là một nhà khoa học nghiên cứu vào năm 2018 và sau đó trở thành người đứng đầu nghiên cứu chính sách của công ty, tập trung vào việc triển khai có trách nhiệm các hệ thống tạo ngôn ngữ như Chatgpt trong khi tham gia nhóm "sẵn sàng" của Openai. GPT-2, được OpenAI công bố vào năm 2019, là tiền thân của các hệ thống AI đằng sau TATGPT. Nó có thể trả lời các câu hỏi, tóm tắt các bài báo và tạo văn bản đôi khi không thể phân biệt được với văn bản của con người. Mặc dù GPT-2 có vẻ cơ bản, nhưng nó đã đột phá vào thời điểm đó. Do lo ngại về việc lạm dụng tiềm năng, OpenAI ban đầu giữ lại mã nguồn của mô hình, thay vào đó cho phép chọn các cơ quan tin tức được giới hạn truy cập vào bản demo. Quyết định nhận được phản hồi hỗn hợp từ cộng đồng AI. Một số người lập luận rằng những rủi ro liên quan đến GPT-2 đã bị cường điệu hóa và không có bằng chứng nào để hỗ trợ cho mối quan tâm của Openai về việc lạm dụng. Ấn phẩm tập trung AI The Gradient thậm chí đã xuất bản một bức thư ngỏ kêu gọi Openai phát hành mô hình, trích dẫn ý nghĩa công nghệ của nó. Openai cuối cùng đã phát hành một phiên bản một phần của GPT-2 sáu tháng sau khi công bố, sau đó là toàn bộ hệ thống vài tháng sau đó. Brundage tin rằng đây là cách tiếp cận chính xác. "Phần nào của [bản phát hành GPT-2] đã được thúc đẩy bởi hoặc tiền đề khi nghĩ về AGI là không liên tục? Không ai trong số đó", ông nói trên X. "Bằng chứng là sự thận trọng này là 'không cân xứng' Brundage lo ngại rằng tài liệu của Openai nhằm mục đích thiết lập một gánh nặng chứng minh cao, nơi những lo ngại bị coi là người báo động trừ khi có bằng chứng áp đảo về những nguy hiểm sắp xảy ra. Anh ta thấy suy nghĩ này "rất nguy hiểm" cho các hệ thống AI tiên tiến. "Nếu tôi vẫn đang làm việc tại Openai, tôi sẽ hỏi tại sao [tài liệu] này được viết theo cách của nó, và chính xác những gì Openai hy vọng sẽ đạt được bằng cách thận trọng theo cách như vậy", Brundage nói thêm. Openai đã phải đối mặt với những lời chỉ trích trong quá khứ vì đã ưu tiên "các sản phẩm sáng bóng" hơn so với các bản phát hành an toàn và vội vã cho các đối thủ cạnh tranh. Năm ngoái, công ty đã giải tán nhóm sẵn sàng AGI của mình và một số nhà nghiên cứu chính sách và an toàn AI đã rời đi cho các công ty đối thủ. Bối cảnh cạnh tranh đã tăng cường, với mô hình R1 của AI Lab Deepseek, có sẵn công khai và phù hợp với mô hình "Lý luận" O1 của Openai trên các điểm chuẩn chính, thu hút sự chú ý toàn cầu. Giám đốc điều hành Openai Sam Altman đã thừa nhận rằng Deepseek đã thu hẹp lãnh đạo công nghệ của Openai, khiến Openai xem xét việc tăng tốc lịch phát hành. Với Openai được báo cáo là mất hàng tỷ hàng năm và dự báo lỗ gấp ba lần lên 14 tỷ đô la vào năm 2026, chu kỳ phát hành sản phẩm nhanh hơn có thể tăng lợi nhuận ngắn hạn nhưng có khả năng thỏa hiệp an toàn dài hạn. Các chuyên gia như Brundage đang đặt câu hỏi liệu sự đánh đổi này có đáng không.

Bài viết liên quan

Nhận xét (36)