Có gì bên trong LLM? Ai2 olmotrace sẽ 'theo dõi' nguồn

Hiểu mối liên hệ giữa đầu ra của một mô hình ngôn ngữ lớn (LLM) và dữ liệu huấn luyện của nó luôn là một câu đố đối với bộ phận CNTT doanh nghiệp. Tuần này, Viện Allen cho AI (Ai2) đã ra mắt một sáng kiến mã nguồn mở mới đầy thú vị mang tên OLMoTrace, nhằm làm sáng tỏ mối quan hệ này. Bằng cách cho phép người dùng truy vết đầu ra của LLM về dữ liệu huấn luyện ban đầu, OLMoTrace giải quyết một trong những rào cản lớn nhất đối với việc áp dụng AI trong doanh nghiệp: sự thiếu minh bạch trong quá trình ra quyết định của AI.

OLMo, viết tắt của Open Language Model, là tên của dòng mô hình ngôn ngữ mã nguồn mở của Ai2. Bạn có thể thử OLMoTrace với mô hình OLMo 2 32B mới nhất trên trang Playground của Ai2. Ngoài ra, mã nguồn mở cũng được cung cấp miễn phí trên GitHub để bất kỳ ai cũng có thể sử dụng.

Điều làm OLMoTrace khác biệt so với các phương pháp khác, như những phương pháp tập trung vào điểm số độ tin cậy hoặc thế hệ tăng cường truy xuất, là nó cung cấp một cái nhìn rõ ràng về cách đầu ra của mô hình liên quan đến các tập dữ liệu huấn luyện khổng lồ đã định hình chúng. Jiacheng Liu, một nhà nghiên cứu tại Ai2, nói với VentureBeat, "Mục tiêu của chúng tôi là giúp người dùng hiểu tại sao các mô hình ngôn ngữ tạo ra các phản hồi như vậy."

Cách OLMoTrace Hoạt động: Hơn Cả Việc Trích Dẫn

Trong khi các LLM như Perplexity hoặc ChatGPT Search có thể cung cấp trích dẫn nguồn, chúng hoạt động khác với OLMoTrace. Theo Liu, các mô hình này sử dụng thế hệ tăng cường truy xuất (RAG), nhằm nâng cao chất lượng đầu ra của mô hình bằng cách kết hợp các nguồn bổ sung ngoài dữ liệu huấn luyện. Mặt khác, OLMoTrace truy vết đầu ra của mô hình trực tiếp về kho dữ liệu huấn luyện mà không phụ thuộc vào RAG hoặc tài liệu bên ngoài.

Công cụ này xác định các chuỗi văn bản độc đáo trong đầu ra của mô hình và khớp chúng với các tài liệu cụ thể từ dữ liệu huấn luyện. Khi tìm thấy sự khớp nối, OLMoTrace không chỉ làm nổi bật văn bản liên quan mà còn cung cấp liên kết đến tài liệu nguồn gốc. Điều này cho phép người dùng thấy chính xác nơi và cách mô hình học được thông tin mà nó sử dụng.

Vượt Xa Điểm Số Độ Tin Cậy: Bằng Chứng Cụ Thể Về Ra Quyết Định của AI

Các LLM thường tạo đầu ra dựa trên trọng số mô hình, được sử dụng để tính điểm số độ tin cậy. Điểm số càng cao, đầu ra được cho là càng chính xác. Tuy nhiên, Liu cho rằng những điểm số này có thể gây hiểu lầm. "Các mô hình có thể quá tự tin về những gì chúng tạo ra, và nếu bạn yêu cầu chúng tạo một điểm số, nó thường bị phóng đại," ông giải thích. "Đó là điều mà các học giả gọi là lỗi hiệu chỉnh—độ tin cậy mà các mô hình đưa ra không phải lúc nào cũng phản ánh mức độ chính xác thực sự của phản hồi của chúng."

Thay vì dựa vào các điểm số có thể gây hiểu lầm, OLMoTrace cung cấp bằng chứng trực tiếp về nguồn học của mô hình, cho phép người dùng đưa ra phán đoán có căn cứ. "OLMoTrace làm gì là hiển thị các khớp nối giữa đầu ra của mô hình và tài liệu huấn luyện," Liu nói. "Thông qua giao diện, bạn có thể trực tiếp thấy các điểm khớp nối ở đâu và cách đầu ra của mô hình trùng khớp với tài liệu huấn luyện."

So Sánh OLMoTrace Với Các Phương Pháp Minh Bạch Khác

Ai2 không phải là tổ chức duy nhất nỗ lực để hiểu rõ hơn về đầu ra của LLM. Anthropic cũng đã tiến hành nghiên cứu, nhưng trọng tâm của họ là vào hoạt động bên trong của mô hình hơn là dữ liệu của nó. Liu nhấn mạnh sự khác biệt: "Chúng tôi đang áp dụng một cách tiếp cận khác so với họ. Chúng tôi trực tiếp truy vết vào hành vi của mô hình, vào dữ liệu huấn luyện của chúng, thay vì truy vết vào các nơ-ron của mô hình, mạch nội bộ, những thứ như vậy."

Cách tiếp cận này làm cho OLMoTrace thực tiễn hơn đối với các ứng dụng doanh nghiệp, vì nó không yêu cầu kiến thức sâu về kiến trúc mạng nơ-ron để hiểu kết quả.

Ứng Dụng AI Doanh Nghiệp: Từ Tuân Thủ Quy Định Đến Gỡ Lỗi Mô Hình

Đối với các doanh nghiệp triển khai AI trong các lĩnh vực được quy định như y tế, tài chính hoặc dịch vụ pháp lý, OLMoTrace mang lại lợi ích đáng kể so với các hệ thống hộp đen truyền thống. "Chúng tôi nghĩ OLMoTrace sẽ giúp người dùng doanh nghiệp hiểu rõ hơn về những gì được sử dụng trong quá trình huấn luyện mô hình để họ có thể tự tin hơn khi muốn xây dựng trên nền tảng đó," Liu tuyên bố. "Điều này có thể giúp tăng cường sự minh bạch và niềm tin giữa họ đối với mô hình của mình, cũng như đối với khách hàng về hành vi của mô hình."

Công nghệ này cho phép một số khả năng quan trọng cho các đội ngũ AI doanh nghiệp:

• Kiểm tra tính xác thực của đầu ra mô hình dựa trên nguồn gốc
• Hiểu nguồn gốc của các ảo giác
• Cải thiện gỡ lỗi mô hình bằng cách xác định các mẫu có vấn đề
• Tăng cường tuân thủ quy định thông qua khả năng truy vết dữ liệu
• Xây dựng niềm tin với các bên liên quan thông qua sự minh bạch cao hơn

Đội ngũ Ai2 đã sử dụng OLMoTrace hiệu quả. "Chúng tôi đã sử dụng nó để cải thiện dữ liệu huấn luyện của mình," Liu tiết lộ. "Khi chúng tôi xây dựng OLMo 2 và bắt đầu huấn luyện, thông qua OLMoTrace, chúng tôi phát hiện ra rằng thực tế một số dữ liệu sau huấn luyện không tốt."

Ý Nghĩa Đối Với Việc Áp Dụng AI Doanh Nghiệp

Đối với các doanh nghiệp muốn dẫn đầu trong việc áp dụng AI, OLMoTrace đánh dấu một bước tiến quan trọng hướng tới các hệ thống AI có trách nhiệm hơn. Công cụ này được cung cấp dưới giấy phép mã nguồn mở Apache 2.0, nghĩa là bất kỳ tổ chức nào có quyền truy cập vào dữ liệu huấn luyện của mô hình đều có thể triển khai khả năng truy vết tương tự.

"OLMoTrace có thể hoạt động trên bất kỳ mô hình nào, miễn là bạn có dữ liệu huấn luyện của mô hình đó," Liu lưu ý. "Đối với các mô hình hoàn toàn mở mà mọi người đều có quyền truy cập vào dữ liệu huấn luyện, bất kỳ ai cũng có thể thiết lập OLMoTrace cho mô hình đó, và đối với các mô hình độc quyền, có thể một số nhà cung cấp không muốn công bố dữ liệu của họ, họ cũng có thể thực hiện OLMoTrace nội bộ."

Khi các khung quản trị AI toàn cầu phát triển, các công cụ như OLMoTrace cho phép xác minh và kiểm tra sẽ có khả năng trở thành các thành phần quan trọng của các ngăn xếp AI doanh nghiệp, đặc biệt trong các ngành được quy định nơi minh bạch ngày càng được yêu cầu. Đối với các nhà ra quyết định kỹ thuật đang cân nhắc ưu và nhược điểm của việc áp dụng AI, OLMoTrace cung cấp một cách thực tiễn để triển khai các hệ thống AI đáng tin cậy và dễ giải thích hơn mà không làm giảm sức mạnh của các mô hình ngôn ngữ lớn.