Mô hình AI mới của Anthropic vận hành các máy tính như con người, bao gồm các lỗi

Bạn đã bao giờ mơ về một AI có thể tương tác liền mạch với máy tính của bạn, giống như một con người? Chà, giấc mơ đó bây giờ là một thực tế, nhờ vào sự đổi mới mới nhất của Anthropic. Vào thứ ba, họ đã tiết lộ thế hệ mới của mô hình AI Claude của họ, tên là Claude 3.5 Sonnet, có thể vận hành một máy tính với sự tinh tế đáng ngạc nhiên. Hiện tại ở chế độ Beta, AI này có sẵn để các nhà phát triển thử nghiệm thông qua API.

Nhân học tự hào nhãn Claude 3.5 Sonnet là "Mô hình AI Frontier đầu tiên để cung cấp sử dụng máy tính trong bản beta công khai". Điều này có nghĩa là các nhà phát triển có thể lập trình để thực hiện nhiều tác vụ trên máy tính, chẳng hạn như xem màn hình, điều khiển con trỏ, nhấp vào nút và thậm chí gõ trên bàn phím ảo. Mục tiêu? Để tái tạo cách chúng tôi tương tác với máy tính của chúng tôi mỗi ngày.

Bây giờ, trong khi AI mới này vẫn đang trong giai đoạn thử nghiệm, thì đó không phải là không có tiếng nấc. Nó có thể là một chút vụng về và dễ bị lỗi. Nhưng đó chính xác là lý do tại sao Anthropic đã phát hành nó trong Beta, để thu thập phản hồi có giá trị từ các nhà phát triển và tinh chỉnh mô hình theo thời gian.

Tại sao chúng ta nên quan tâm đến AI bằng máy tính?

Nhân chủng học có một câu trả lời rõ ràng cho câu hỏi đó: "Một lượng lớn công việc hiện đại xảy ra thông qua máy tính." Bằng cách cho phép AI tương tác với phần mềm giống như cách con người làm, họ mở khóa rất nhiều ứng dụng mới mà các trợ lý AI hiện tại không thể xử lý.

Làm thế nào các nhà phát triển và người dùng có thể được hưởng lợi?

Thay vì tạo ra các công cụ cụ thể cho mỗi nhiệm vụ, nhân học là dạy cho Claude các kỹ năng máy tính chung. Điều này cho phép AI sử dụng một loạt các chương trình phần mềm tiêu chuẩn được thiết kế cho con người. Các nhà phát triển có thể khai thác khả năng này để tự động hóa các tác vụ lặp đi lặp lại, xây dựng và kiểm tra phần mềm và thậm chí tiến hành nghiên cứu.

Một số công ty đã tận dụng các kỹ năng máy tính của Claude 3.5 Sonnet, bao gồm Asana, Canva, nhận thức, Doordash, Repit và Công ty Trình duyệt. Chẳng hạn, Replit đang sử dụng các khả năng này để tăng cường sản phẩm tác nhân sao chép của nó.

Làm thế nào họ đào tạo Claude để sử dụng máy tính?

Đào tạo Claude để điều hướng một máy tính liên quan đến rất nhiều thử nghiệm và lỗi, theo Anthropic. Quá trình yêu cầu AI phải hiểu và giải thích hình ảnh của màn hình máy tính, sau đó quyết định hành động nào sẽ dựa trên những gì nó nhìn thấy. Claude 3.5 Sonnet hoàn thành điều này bằng cách phân tích ảnh chụp màn hình, đếm các pixel để di chuyển chính xác con trỏ và ban hành các lệnh chuột.

Claude hoạt động tốt như thế nào?

Trong các bài kiểm tra điểm chuẩn OSWorld, đánh giá khả năng sử dụng máy tính của các mô hình AI, Claude 3.5 Sonnet đạt được điểm 14,9%. Mặc dù điều này thấp hơn đáng kể so với hiệu suất cấp độ 70% -75% của con người, nhưng nó gần gấp đôi so với 7,7% được ghi bởi mô hình AI tốt nhất tiếp theo trong cùng một danh mục.

Mặc dù có kết quả đầy hứa hẹn này, việc sử dụng máy tính của Claude vẫn còn ở giai đoạn sơ khai. Nó chưa thể thực hiện các tác vụ phức tạp hơn như kéo Windows hoặc phóng to vào màn hình. Ngoài ra, vì nó dựa vào ảnh chụp màn hình, nó có thể bỏ lỡ một số hành động và thông báo nhất định.

Nhân học vẫn lạc quan, nói: "Chúng tôi hy vọng rằng việc sử dụng máy tính sẽ nhanh chóng cải thiện để trở nên nhanh hơn, đáng tin cậy hơn và hữu ích hơn cho các tác vụ mà người dùng của chúng tôi muốn hoàn thành." Họ cũng nhấn mạnh rằng khi công nghệ phát triển, những người có ít kinh nghiệm phát triển phần mềm hơn, trong khi vẫn duy trì các biện pháp an toàn nghiêm ngặt.

Claude 3.5 Sonnet hiện có thể truy cập được cho mọi người. Các nhà phát triển có thể bắt đầu xây dựng các ứng dụng với bản beta sử dụng máy tính trên API nhân học, Amazon Bedrock và Vertex AI của Google Cloud.