Hiểu các cửa sổ bối cảnh dài: Những hiểu biết chính

Hôm qua, chúng tôi đã tiết lộ bước đột phá mới nhất của chúng tôi trong công nghệ AI với mô hình Gemini 1.5. Việc lặp lại mới này mang lại những cải tiến đáng kể về tốc độ và hiệu quả, nhưng bộ thay đổi trò chơi thực sự là cửa sổ bối cảnh dài sáng tạo của nó. Tính năng này cho phép mô hình xử lý một số lượng mã thông báo chưa từng có - các đơn vị cơ bản tạo nên từ, hình ảnh hoặc video - tất cả cùng một lúc. Để làm sáng tỏ sự tiến bộ này, chúng tôi đã chuyển sang nhóm dự án Google DeepMind để biết những hiểu biết về các cửa sổ bối cảnh dài là gì và cách họ có thể cách mạng hóa cách các nhà phát triển làm việc.

Hiểu các cửa sổ bối cảnh dài là rất quan trọng vì chúng cho phép các mô hình AI duy trì và nhớ lại thông tin trong suốt phiên. Hãy tưởng tượng cố gắng nhớ một cái tên chỉ vài phút sau khi nó được đề cập trong một cuộc trò chuyện, hoặc vội vã viết một số điện thoại trước khi nó trượt tâm trí của bạn. Các mô hình AI phải đối mặt với những thách thức tương tự, thường là "quên" các chi tiết sau một vài tương tác. Bối cảnh bối cảnh dài giải quyết vấn đề này bằng cách cho phép mô hình giữ thêm thông tin trong "bộ nhớ" của nó.

Trước đây, mô hình Gemini có thể xử lý đồng thời tới 32.000 mã thông báo. Tuy nhiên, với việc phát hành 1,5 Pro cho thử nghiệm sớm, chúng tôi đã đẩy các ranh giới lên tới 1 triệu mã thông báo đáng kinh ngạc-cửa sổ bối cảnh lớn nhất của bất kỳ mô hình nền tảng quy mô lớn nào cho đến nay. Nghiên cứu của chúng tôi thậm chí đã vượt qua điều này, thử nghiệm thành công tới 10 triệu mã thông báo. Cửa sổ bối cảnh càng lớn, dữ liệu càng đa dạng và mở rộng dữ liệu - văn bản, hình ảnh, âm thanh, mã hoặc video - mô hình có thể xử lý.

Nikolay Savinov, một nhà khoa học nghiên cứu của Google DeepMind và một trong những người dẫn đầu trong dự án bối cảnh dài, chia sẻ, "Mục tiêu ban đầu của chúng tôi là đạt 128.000 mã thông báo, nhưng tôi nghĩ rằng nhắm mục tiêu cao hơn sẽ có lợi, vì vậy tôi đã đề xuất 1 triệu mã thông báo. Và bây giờ, nghiên cứu của chúng tôi đã vượt quá 10 lần."

Đạt được bước nhảy vọt này đòi hỏi một loạt các đổi mới học tập sâu. Những khám phá ban đầu của Pranav Shyam đã cung cấp những hiểu biết quan trọng hướng dẫn nghiên cứu của chúng tôi. Denis Teplyashin, một kỹ sư của Google DeepMind, giải thích: "Mỗi bước đột phá dẫn đến một bước khác, mở ra những khả năng mới. Khi những đổi mới này kết hợp, chúng tôi đã rất ngạc nhiên về kết quả, thu nhỏ từ 128.000 token lên 512.000, sau đó 1 triệu, và gần đây, 10 triệu tokens trong nghiên cứu nội bộ của chúng tôi."

Công suất mở rộng 1,5 Pro mở ra các ứng dụng mới thú vị. Chẳng hạn, thay vì tóm tắt một tài liệu dài hàng chục trang, giờ đây nó có thể xử lý các tài liệu dài hàng ngàn trang. Trong trường hợp mô hình trước đó có thể phân tích hàng ngàn dòng mã, 1.5 Pro hiện có thể xử lý hàng chục ngàn dòng cùng một lúc.

Machel Reid, một nhà khoa học nghiên cứu khác của Google DeepMind, đã chia sẻ một số kết quả thử nghiệm hấp dẫn: "Trong một thử nghiệm, chúng tôi đã đưa toàn bộ mã hóa vào mô hình và nó đã tạo ra tài liệu toàn diện cho nó, thật không thể tin được.

1.5 Pro cũng vượt trội về lý luận trên dữ liệu trong một lời nhắc. Machel nhấn mạnh một ví dụ liên quan đến ngôn ngữ hiếm hoi Kalamang, được nói bởi ít hơn 200 người trên toàn thế giới. "Mô hình không thể tự chuyển thành Kalamang, nhưng với cửa sổ bối cảnh dài, chúng ta có thể bao gồm toàn bộ các câu hướng dẫn ngữ pháp và các câu ví dụ. Mô hình sau đó đã học cách dịch từ tiếng Anh sang Kalamang ở cấp độ tương đương với ai đó học từ cùng một tài liệu."

Gemini 1.5 Pro đi kèm với cửa sổ bối cảnh 128k tiêu chuẩn, nhưng một nhóm các nhà phát triển và khách hàng doanh nghiệp được chọn có thể truy cập vào cửa sổ bối cảnh 1 triệu mã thông qua AI Studio và Vertex AI trong bản xem trước riêng tư. Quản lý một cửa sổ bối cảnh lớn như vậy rất chuyên sâu về mặt tính toán và chúng tôi đang tích cực làm việc để tối ưu hóa để giảm độ trễ khi chúng tôi mở rộng quy mô.

Nhìn về phía trước, nhóm nghiên cứu tập trung vào việc làm cho mô hình nhanh hơn và hiệu quả hơn, với sự an toàn là ưu tiên. Họ cũng đang khám phá các cách để mở rộng thêm cửa sổ bối cảnh dài, tăng cường các kiến ​​trúc cơ bản và tận dụng các cải tiến phần cứng mới. Nikolay lưu ý, "10 triệu mã thông báo cùng một lúc đang gần giới hạn nhiệt của các đơn vị xử lý tenxơ của chúng tôi. Chúng tôi không chắc giới hạn nằm ở đâu và mô hình có thể có khả năng thậm chí nhiều hơn khi phần cứng tiếp tục phát triển."

Nhóm nghiên cứu rất háo hức để thấy các ứng dụng sáng tạo mà các nhà phát triển và cộng đồng rộng lớn hơn sẽ tạo ra với các khả năng mới này. Machel phản ánh, "Khi tôi lần đầu tiên nhìn thấy chúng tôi có một triệu mã thông báo trong bối cảnh, tôi tự hỏi, 'Bạn thậm chí còn sử dụng cái này để làm gì?' Nhưng bây giờ, tôi tin rằng trí tưởng tượng của mọi người sẽ mở rộng, dẫn đến việc sử dụng sáng tạo hơn các khả năng mới này. "

[TTPP] [YYXX]