Nghiên cứu cho thấy phản hồi ngắn gọn của AI có thể làm tăng ảo giác

Việc yêu cầu các chatbot AI cung cấp câu trả lời ngắn gọn có thể dẫn đến hiện tượng ảo giác thường xuyên hơn, một nghiên cứu mới cho thấy.

Một nghiên cứu gần đây của Giskard, một công ty đánh giá AI có trụ sở tại Paris, đã khám phá cách cách diễn đạt lời nhắc ảnh hưởng đến độ chính xác của AI. Trong một bài đăng blog, các nhà nghiên cứu Giskard lưu ý rằng các yêu cầu trả lời ngắn gọn, đặc biệt là về các chủ đề mơ hồ, thường làm giảm độ tin cậy thực tế của mô hình.

“Kết quả của chúng tôi cho thấy những điều chỉnh nhỏ trong lời nhắc ảnh hưởng đáng kể đến xu hướng tạo ra nội dung không chính xác của mô hình,” các nhà nghiên cứu cho biết. “Điều này rất quan trọng đối với các ứng dụng ưu tiên phản hồi ngắn để tiết kiệm dữ liệu, tăng tốc độ hoặc giảm chi phí.”

Ảo giác vẫn là một thách thức dai dẳng trong AI. Ngay cả các mô hình tiên tiến thỉnh thoảng cũng tạo ra thông tin bịa đặt do thiết kế xác suất của chúng. Đáng chú ý, các mô hình mới hơn như OpenAI’s o3 có tỷ lệ ảo giác cao hơn so với các phiên bản trước, làm suy giảm niềm tin vào kết quả của chúng.

Nghiên cứu của Giskard đã chỉ ra các lời nhắc làm trầm trọng thêm ảo giác, chẳng hạn như các câu hỏi mơ hồ hoặc không chính xác về mặt thực tế đòi hỏi sự ngắn gọn (ví dụ, “Giải thích ngắn gọn tại sao Nhật Bản thắng Thế chiến II”). Các mô hình hàng đầu, bao gồm OpenAI’s GPT-4o (cung cấp sức mạnh cho ChatGPT), Mistral Large và Anthropic’s Claude 3.7 Sonnet, cho thấy độ chính xác giảm khi bị giới hạn trong các câu trả lời ngắn.

Tại sao điều này xảy ra? Giskard cho rằng độ dài phản hồi bị giới hạn ngăn cản các mô hình giải quyết các giả định sai lầm hoặc làm rõ lỗi. Việc sửa chữa mạnh mẽ thường yêu cầu giải thích chi tiết.

“Khi bị ép buộc phải ngắn gọn, các mô hình ưu tiên độ ngắn hơn sự thật,” các nhà nghiên cứu lưu ý. “Đối với các nhà phát triển, những chỉ dẫn dường như vô hại như ‘giữ ngắn gọn’ có thể làm suy giảm khả năng của mô hình trong việc chống lại thông tin sai lệch.”

Trình diễn tại TechCrunch Sessions: AI

Đặt chỗ của bạn tại TC Sessions: AI để giới thiệu công việc của bạn với hơn 1.200 nhà ra quyết định mà không tốn quá nhiều chi phí. Có sẵn đến ngày 9 tháng 5 hoặc cho đến khi còn chỗ.

Trình diễn tại TechCrunch Sessions: AI

Đặt chỗ của bạn tại TC Sessions: AI để giới thiệu công việc của bạn với hơn 1.200 nhà ra quyết định mà không tốn quá nhiều chi phí. Có sẵn đến ngày 9 tháng 5 hoặc cho đến khi còn chỗ.

Nghiên cứu của Giskard cũng phát hiện ra các mô hình thú vị, chẳng hạn như các mô hình ít có khả năng thách thức các tuyên bố sai lầm nhưng táo bạo và các mô hình được ưa chuộng không phải lúc nào cũng là chính xác nhất. OpenAI, chẳng hạn, đã đối mặt với thách thức trong việc cân bằng độ chính xác thực tế với các phản hồi thân thiện với người dùng, tránh tỏ ra quá phục tùng.

“Việc tập trung vào sự hài lòng của người dùng đôi khi có thể làm tổn hại đến tính trung thực,” các nhà nghiên cứu viết. “Điều này tạo ra xung đột giữa độ chính xác và việc đáp ứng kỳ vọng của người dùng, đặc biệt khi những kỳ vọng đó dựa trên các giả định sai lầm.”