Openai nâng cấp các mô hình AI phiên mã và tạo giọng nói của nó

OpenAI đang triển khai các mô hình AI mới cho việc chuyển giọng nói thành văn bản và tạo giọng nói thông qua API của mình, hứa hẹn mang lại những cải tiến đáng kể so với các phiên bản trước đó. Những cập nhật này là một phần trong tầm nhìn "agentic" lớn hơn của OpenAI, tập trung vào việc tạo ra các hệ thống tự động có khả năng thực hiện các nhiệm vụ độc lập cho người dùng. Mặc dù thuật ngữ "agent" có thể gây tranh cãi, Olivier Godement, Trưởng bộ phận Sản phẩm của OpenAI, xem nó như một chatbot có thể tương tác với khách hàng của một doanh nghiệp.

"Chúng ta sẽ thấy ngày càng nhiều agent xuất hiện trong vài tháng tới," Godement chia sẻ với TechCrunch trong một buổi họp báo. "Mục tiêu bao quát là hỗ trợ khách hàng và nhà phát triển sử dụng các agent hữu ích, dễ tiếp cận và chính xác."

Mô hình chuyển văn bản thành giọng nói mới nhất của OpenAI, được gọi là "gpt-4o-mini-tts," không chỉ hướng đến việc tạo ra giọng nói chân thực và sắc thái hơn mà còn linh hoạt hơn so với các phiên bản trước. Các nhà phát triển giờ đây có thể hướng dẫn mô hình bằng các lệnh ngôn ngữ tự nhiên, chẳng hạn như "nói như một nhà khoa học điên" hoặc "sử dụng giọng nói bình yên, như một giáo viên thiền." Mức độ kiểm soát này cho phép tạo ra trải nghiệm giọng nói cá nhân hóa hơn.

Dưới đây là một mẫu giọng nói phong cách "true crime," mệt mỏi:

Và đây là một ví dụ về giọng nữ "chuyên nghiệp":

Jeff Harris, thành viên của đội ngũ sản phẩm OpenAI, nhấn mạnh với TechCrunch rằng mục tiêu là cho phép các nhà phát triển tùy chỉnh cả "trải nghiệm" giọng nói lẫn "bối cảnh." "Trong nhiều tình huống, bạn không muốn một giọng nói đơn điệu," Harris giải thích. "Ví dụ, trong môi trường hỗ trợ khách hàng nơi giọng nói cần thể hiện sự xin lỗi vì một sai lầm, bạn có thể truyền cảm xúc đó vào giọng nói. Chúng tôi tin rằng các nhà phát triển và người dùng muốn kiểm soát không chỉ nội dung mà còn cách thức nói."

Chuyển sang các sản phẩm chuyển giọng nói thành văn bản mới của OpenAI, "gpt-4o-transcribe" và "gpt-4o-mini-transcribe," các mô hình này được thiết kế để thay thế mô hình chuyển giọng Whisper đã lỗi thời. Được huấn luyện trên một loạt dữ liệu âm thanh chất lượng cao đa dạng, chúng được cho là xử lý tốt hơn giọng nói có ngữ điệu và đa dạng, ngay cả trong môi trường ồn ào. Ngoài ra, các mô hình này ít gặp vấn đề "ảo giác," một vấn đề mà Whisper đôi khi tự tạo ra từ ngữ hoặc toàn bộ đoạn văn, gây ra các sai lệch như bình luận phân biệt chủng tộc hoặc các phương pháp điều trị y tế giả tưởng trong bản ghi.

"Các mô hình này cho thấy sự cải thiện đáng kể so với Whisper về mặt này," Harris lưu ý. "Đảm bảo độ chính xác của mô hình là rất quan trọng cho một trải nghiệm giọng nói đáng tin cậy, và khi nói về độ chính xác, chúng tôi muốn nói rằng các mô hình ghi lại chính xác các từ được nói mà không thêm nội dung không được phát âm."

Tuy nhiên, hiệu suất có thể khác nhau giữa các ngôn ngữ. Các tiêu chuẩn nội bộ của OpenAI cho thấy gpt-4o-transcribe, mô hình chính xác hơn trong hai mô hình, có "tỷ lệ lỗi từ" gần 30% đối với các ngôn ngữ Indic và Dravidian như Tamil, Telugu, Malayalam và Kannada. Điều này cho thấy rằng khoảng ba trong số mười từ có thể khác so với bản ghi của con người trong các ngôn ngữ này.

Khác với thông lệ thường thấy, OpenAI sẽ không cung cấp miễn phí các mô hình chuyển giọng mới này. Trong lịch sử, họ đã phát hành các phiên bản Whisper mới dưới giấy phép MIT cho mục đích thương mại. Harris chỉ ra rằng gpt-4o-transcribe và gpt-4o-mini-transcribe lớn hơn đáng kể so với Whisper, khiến chúng không phù hợp để phát hành công khai.

"Các mô hình này quá lớn để chạy trên một laptop thông thường như Whisper," Harris nói thêm. "Khi chúng tôi phát hành các mô hình một cách công khai, chúng tôi muốn làm điều đó một cách chu đáo, đảm bảo chúng được tối ưu hóa cho các nhu cầu cụ thể. Chúng tôi xem các thiết bị của người dùng cuối là một lĩnh vực chính cho các mô hình mã nguồn mở."

Cập nhật ngày 20 tháng 3 năm 2025, 11:54 sáng PT để làm rõ ngôn ngữ xung quanh tỷ lệ lỗi từ và cập nhật biểu đồ kết quả đánh giá với phiên bản mới hơn.