Điểm chuẩn AI: Chúng ta có nên bỏ qua chúng bây giờ không?

Chào mừng bạn đến với bản tin AI thường xuyên của TechCrunch! Chúng tôi đang nghỉ ngơi một chút, nhưng đừng lo lắng, bạn vẫn có thể nhận được tất cả các bảo hiểm AI của chúng tôi, bao gồm các cột của tôi, phân tích hàng ngày và tin tức mới, ngay tại TechCrunch. Bạn muốn đưa những câu chuyện này thẳng vào hộp thư đến của bạn mỗi ngày? Chỉ cần đăng ký cho các bản tin hàng ngày của chúng tôi ở đây.

Tuần này, khởi nghiệp AI của Elon Musk, XAI, đã bỏ mẫu AI hàng đầu mới nhất của họ, Grok 3, đang cung cấp năng lượng cho các ứng dụng Grok Chatbot của công ty. Họ đã đào tạo nó trên 200.000 GPU, và nó vượt trội hơn một loạt các mô hình hàng đầu khác, bao gồm một số từ Openai, trong điểm chuẩn cho toán học, mã hóa, v.v.

Nhưng hãy nói về những điểm chuẩn này thực sự có ý nghĩa gì.

Tại TC, chúng tôi báo cáo về các số điểm chuẩn này, ngay cả khi chúng tôi không phải lúc nào cũng vui mừng về nó, bởi vì chúng là một trong số ít những cách mà ngành công nghiệp AI cố gắng thể hiện cách các mô hình của họ được cải thiện. Vấn đề là, những điểm chuẩn AI phổ biến này thường tập trung vào những thứ tối nghĩa và cho điểm số không thực sự phản ánh mức độ AI làm những điều mà mọi người thực sự quan tâm.

Ethan Mollick, một giáo sư tại Wharton, đã đến X để nói rằng có một nhu cầu thực sự cho các bài kiểm tra tốt hơn và các nhóm độc lập để điều hành chúng. Ông chỉ ra rằng các công ty AI thường báo cáo kết quả điểm chuẩn của riêng họ, điều này khiến cho việc tin tưởng họ hoàn toàn.

"Điểm chuẩn công cộng đều là 'meh' và bão hòa, để lại rất nhiều thử nghiệm AI giống như đánh giá thực phẩm, dựa trên hương vị", Mollick viết. "Nếu AI rất quan trọng để làm việc, chúng ta cần nhiều hơn."

Có rất nhiều người ngoài kia đang cố gắng đưa ra điểm chuẩn mới cho AI, nhưng không ai có thể đồng ý về những gì tốt nhất. Một số người nghĩ rằng điểm chuẩn nên tập trung vào tác động kinh tế là hữu ích, trong khi những người khác tin rằng việc áp dụng và hữu ích trong thế giới thực là những biện pháp thành công thực sự.

Cuộc tranh luận này có thể diễn ra mãi mãi. Có thể, giống như người dùng X mà Roon gợi ý, chúng ta chỉ nên chú ý đến các mô hình và điểm chuẩn mới trừ khi có một bước đột phá AI chính. Nó có thể tốt hơn cho sự tỉnh táo của chúng ta, ngay cả khi nó có nghĩa là bỏ lỡ một số sự cường điệu AI.

Như đã đề cập, tuần này trong AI đang nghỉ ngơi. Cảm ơn vì đã gắn bó với chúng tôi, độc giả, thông qua tất cả các thăng trầm. Cho đến lần sau.

Tin tức

Mira Murati, cựu CTO của Openai, có một công ty khởi nghiệp mới có tên là Think Machines Lab. Họ đang làm việc trên các công cụ để "làm cho AI hoạt động cho các nhu cầu và mục tiêu độc đáo của [mọi người]."

XAI đã phát hành Grok 3 và thêm các tính năng mới vào các ứng dụng Grok cho iOS và Web.

Meta đang tổ chức hội nghị nhà phát triển đầu tiên tập trung vào AI thế hệ vào mùa xuân này. Nó được gọi là Llamacon, theo mô hình Llama của họ, và nó xảy ra vào ngày 29 tháng 4.

Paul đã viết về Openeurollm, một dự án của khoảng 20 tổ chức để xây dựng các mô hình nền tảng cho "AI minh bạch ở châu Âu" tôn trọng "sự đa dạng về ngôn ngữ và văn hóa" của tất cả các ngôn ngữ của EU.

Tài liệu nghiên cứu trong tuần

Openai cho biết mô hình hiệu suất cao nhất, Sonnet Claude 3.5 của Anthropic, chỉ đạt 40,3% trên điểm chuẩn SWE-Lancer đầy đủ, cho thấy AI vẫn còn một chặng đường dài. Họ đã không kiểm tra các mẫu mới hơn như O3-mini của Openai hoặc R1 của Deepseek từ Trung Quốc.

Mô hình của tuần

Một công ty AI của Trung Quốc có tên Stepfun đã phát hành một mô hình AI "Mở" có tên Step-Audio có thể hiểu và tạo ra lời nói bằng tiếng Trung, tiếng Anh và tiếng Nhật. Người dùng thậm chí có thể điều chỉnh cảm xúc và phương ngữ của âm thanh tổng hợp, bao gồm cả ca hát.

Stepfun là một trong một số công ty khởi nghiệp AI được tài trợ tốt của Trung Quốc phát hành các mô hình với giấy phép cho phép. Được thành lập vào năm 2023, gần đây họ đã đóng cửa một vòng tài trợ trị giá hàng trăm triệu người từ các nhà đầu tư, bao gồm các công ty cổ phần tư nhân thuộc sở hữu nhà nước Trung Quốc.

Lấy túi

Mô hình của họ, Preview Deephermes-3, có thể chuyển đổi giữa "chuỗi suy nghĩ" ngắn và dài để cân bằng độ chính xác và sức mạnh tính toán. Trong chế độ "Lý luận", phải mất nhiều thời gian hơn để giải quyết các vấn đề khó khăn hơn và cho thấy quá trình suy nghĩ của nó trên đường đi.

Anthropic được cho là có kế hoạch phát hành một mô hình tương tự sớm và Openai nói rằng đó là trên lộ trình ngắn hạn của họ.