Nghiên cứu: Các mô hình Openai đã ghi nhớ nội dung có bản quyền

Một nghiên cứu gần đây cho thấy Openai có thể thực sự đã sử dụng tài liệu có bản quyền để đào tạo một số mô hình AI của nó, thêm nhiên liệu vào các cuộc chiến pháp lý đang diễn ra mà công ty phải đối mặt. Các tác giả, lập trình viên và các nhà sáng tạo nội dung khác đã cáo buộc Openai sử dụng các tác phẩm của họ như sách và mã mà không có sự cho phép phát triển các mô hình AI của mình. Mặc dù Openai đã tự bảo vệ mình bằng cách tuyên bố sử dụng hợp lý, các nguyên đơn cho rằng luật bản quyền của Hoa Kỳ không cung cấp một ngoại lệ cho dữ liệu đào tạo.

Nghiên cứu, sự hợp tác giữa các nhà nghiên cứu từ Đại học Washington, Đại học Copenhagen và Stanford, giới thiệu một kỹ thuật mới để phát hiện dữ liệu đào tạo "ghi nhớ" trong các mô hình được truy cập thông qua API, giống như các mô hình từ Openai. Các mô hình AI về cơ bản học hỏi từ một lượng lớn dữ liệu để nhận ra các mẫu, cho phép chúng tạo ra các bài tiểu luận, hình ảnh và hơn thế nữa. Mặc dù hầu hết các đầu ra không phải là bản sao trực tiếp của dữ liệu đào tạo, một số người chắc chắn là do quá trình học tập. Ví dụ, các mô hình hình ảnh đã được biết đến để tái tạo ảnh chụp màn hình phim, trong khi các mô hình ngôn ngữ đã bị bắt gặp về cơ bản là đạo văn các bài báo.

Phương pháp được mô tả trong nghiên cứu tập trung vào các từ "Surnpralal" từ "cao" là bất thường trong một bối cảnh nhất định. Ví dụ, trong câu "Jack và tôi ngồi hoàn toàn yên tĩnh với tiếng ồn ào," radar "sẽ là một từ xa vì nó ít được mong đợi hơn các từ như" động cơ "hoặc" radio "để đi trước" humming ".

Các nhà nghiên cứu đã thử nghiệm một số mô hình OpenAI, bao gồm GPT-4 và GPT-3.5, bằng cách loại bỏ các từ ngữ cao từ các trích đoạn của các cuốn sách tiểu thuyết và các bài báo của New York Times và yêu cầu các mô hình dự đoán những từ còn thiếu này. Nếu các mô hình đoán chính xác các từ, nó cho rằng họ đã ghi nhớ văn bản trong quá trình đào tạo.

Abhilasha Ravichander, một sinh viên tiến sĩ tại Đại học Washington và đồng tác giả của nghiên cứu, nhấn mạnh với TechCrunch rằng những phát hiện này nêu bật "dữ liệu gây tranh cãi" có thể được sử dụng để đào tạo các mô hình này. "Để có các mô hình ngôn ngữ lớn đáng tin cậy, chúng ta cần có các mô hình mà chúng ta có thể thăm dò và kiểm toán và kiểm tra một cách khoa học", Ravichander tuyên bố. "Công việc của chúng tôi nhằm mục đích cung cấp một công cụ để thăm dò các mô hình ngôn ngữ lớn, nhưng có một nhu cầu thực sự về tính minh bạch dữ liệu lớn hơn trong toàn bộ hệ sinh thái."

Openai đã thúc đẩy các quy tắc thoải mái hơn về việc sử dụng dữ liệu có bản quyền để phát triển các mô hình AI. Mặc dù công ty có một số thỏa thuận cấp phép nội dung và cung cấp các tùy chọn từ chối cho chủ sở hữu bản quyền, nhưng nó đã vận động các chính phủ khác nhau để thiết lập các quy tắc "sử dụng hợp lý" để đào tạo AI.