Tôi đã đặt GPT -4O qua các bài kiểm tra mã hóa của mình và nó đã làm cho chúng - ngoại trừ một kết quả kỳ lạ

Nếu bạn đang theo dõi thế giới công nghệ, có lẽ bạn đã biết rằng OpenAI vừa ra mắt mô hình ngôn ngữ lớn mới nhất của mình, GPT-4o, trong đó "o" biểu thị "omni". Mô hình mới này hứa hẹn tính linh hoạt trên văn bản, đồ họa và giọng nói, và tôi không thể chờ đợi để thử nghiệm nó với bộ bài kiểm tra mã hóa tiêu chuẩn của mình. Những bài kiểm tra này đã được chạy trên một loạt các mô hình AI, mang lại một số kết quả khá hấp dẫn. Hãy theo dõi đến cuối vì có một bất ngờ mà bạn không muốn bỏ lỡ.

Nếu bạn muốn tự mình thực hiện các thí nghiệm, hãy xem hướng dẫn này: Cách tôi kiểm tra khả năng mã hóa của một chatbot AI - và bạn cũng có thể. Hướng dẫn này liệt kê tất cả các bài kiểm tra tôi sử dụng, cùng với giải thích chi tiết về cách chúng hoạt động và những gì cần chú ý trong kết quả.

Bây giờ, hãy đi sâu vào kết quả của từng bài kiểm tra và xem GPT-4o so sánh thế nào với các đối thủ trước đó như Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced và các phiên bản trước của ChatGPT.

1. Viết một Plugin WordPress

Dưới đây là một cái nhìn thoáng qua về giao diện người dùng của GPT-4o:

Thú vị là, GPT-4o đã tự ý thêm một tệp JavaScript, giúp cập nhật động số dòng trong cả hai trường. Mặc dù yêu cầu không loại trừ rõ ràng JavaScript, cách tiếp cận sáng tạo này bất ngờ và hiệu quả. JavaScript cũng nâng cao chức năng của nút Randomize, cho phép tạo nhiều bộ kết quả mà không cần tải lại toàn bộ trang.

Các dòng được sắp xếp đúng, và các bản sao được tách biệt phù hợp theo thông số kỹ thuật. Đây là một đoạn mã vững chắc, chỉ có một điểm nhỏ đáng chê: nút Randomize không được đặt trên dòng riêng, mặc dù tôi không yêu cầu điều đó trong lời nhắc, nên không trừ điểm vì điều này.

Dưới đây là kết quả tổng hợp cho bài kiểm tra này và các bài kiểm tra trước:

• ChatGPT GPT-4o: Giao diện: tốt, chức năng: tốt
• Microsoft Copilot: Giao diện: đủ dùng, chức năng: thất bại
• Meta AI: Giao diện: đủ dùng, chức năng: thất bại
• Meta Code Llama: Thất bại hoàn toàn
• Google Gemini Advanced: Giao diện: tốt, chức năng: thất bại
• ChatGPT 4: Giao diện: tốt, chức năng: tốt
• ChatGPT 3.5: Giao diện: tốt, chức năng: tốt

2. Viết lại một Hàm Chuỗi

Bài kiểm tra này đánh giá khả năng xử lý chuyển đổi đô la và cent của mô hình. GPT-4o đã viết lại mã thành công để từ chối các đầu vào có thể gây vấn đề cho các dòng tiếp theo, đảm bảo chỉ xử lý các giá trị đô la và cent hợp lệ.

Tôi hơi thất vọng vì nó không tự động thêm số 0 ở đầu cho các giá trị như .75, chuyển thành 0.75. Tuy nhiên, vì tôi không yêu cầu rõ ràng tính năng này, đó không phải lỗi của AI. Đây là lời nhắc rằng ngay cả khi AI cung cấp mã hoạt động, bạn có thể cần tinh chỉnh lời nhắc để có chính xác những gì bạn cần.

Dưới đây là kết quả tổng hợp cho bài kiểm tra này và các bài kiểm tra trước:

• ChatGPT GPT-4o: Thành công
• Microsoft Copilot: Thất bại
• Meta AI: Thất bại
• Meta Code Llama: Thành công
• Google Gemini Advanced: Thất bại
• ChatGPT 4: Thành công
• ChatGPT 3.5: Thành công

3. Tìm một Lỗi Gây Khó Chịu

Bài kiểm tra này thú vị vì giải pháp không hiển nhiên ngay lập tức. Tôi ban đầu bị bối rối bởi lỗi này trong quá trình mã hóa của mình, nên đã nhờ đến mô hình ChatGPT đầu tiên để giúp. Nó tìm ra lỗi ngay lập tức, điều đó thật sự ấn tượng vào thời điểm đó.

Ngược lại, ba mô hình LLM khác mà tôi kiểm tra đã bỏ qua sự đánh lạc hướng trong vấn đề này. Thông báo lỗi chỉ ra một phần của mã, nhưng vấn đề thực tế nằm ở nơi khác, đòi hỏi kiến thức sâu về khung WordPress để xác định.

May mắn thay, GPT-4o đã xác định đúng vấn đề và mô tả cách sửa lỗi chính xác.

Dưới đây là kết quả tổng hợp cho bài kiểm tra này và các bài kiểm tra trước:

• ChatGPT GPT-4o: Thành công
• Microsoft Copilot: Thất bại. Hoành tráng. Nhiệt tình. Kèm biểu tượng cảm xúc.
• Meta AI: Thành công
• Meta Code Llama: Thất bại
• Google Gemini Advanced: Thất bại
• ChatGPT 4: Thành công
• ChatGPT 3.5: Thành công

Cho đến nay, GPT-4o đạt ba trên ba. Hãy xem nó thể hiện thế nào với bài kiểm tra cuối cùng.

4. Viết một Kịch bản

Đáp lại bài kiểm tra này, GPT-4o thực sự cung cấp nhiều hơn những gì tôi yêu cầu. Bài kiểm tra liên quan đến việc sử dụng công cụ lập trình Mac ít được biết đến là Keyboard Maestro, AppleScript của Apple và hành vi lập trình Chrome. Nhân tiện, Keyboard Maestro là một thay đổi lớn đối với tôi, khiến Mac trở thành lựa chọn hàng đầu cho năng suất nhờ khả năng lập trình lại hệ điều hành và ứng dụng.

Để vượt qua, AI cần phác thảo đúng một giải pháp sử dụng kết hợp mã Keyboard Maestro, AppleScript và chức năng API Chrome.

Đáng ngạc nhiên, GPT-4o đã cung cấp hai phiên bản khác nhau:

Cả hai phiên bản đều tương tác đúng với Keyboard Maestro, nhưng chúng khác nhau ở cách xử lý độ nhạy chữ hoa chữ thường. Phiên bản bên trái sai vì AppleScript không hỗ trợ "as lowercase". Phiên bản bên phải, sử dụng "contains" và không phân biệt chữ hoa chữ thường, hoạt động tốt.

Tôi cho GPT-4o qua, dù hơi thận trọng, vì nó đã cung cấp mã hoạt động. Tuy nhiên, việc trả lại hai lựa chọn, một trong số đó sai, khiến tôi phải làm thêm việc để đánh giá và chọn đúng. Điều đó có thể tốn thời gian như tự viết mã.

Dưới đây là kết quả tổng hợp cho bài kiểm tra này và các bài kiểm tra trước:

• ChatGPT GPT-4o: Thành công, nhưng với chút dè dặt
• Microsoft Copilot: Thất bại
• Meta AI: Thất bại
• Meta Code Llama: Thất bại
• Google Gemini Advanced: Thành công
• ChatGPT 4: Thành công
• ChatGPT 3.5: Thất bại

Kết quả Tổng thể

Dưới đây là kết quả của tất cả các mô hình qua bốn bài kiểm tra:

• ChatGPT GPT-4o: 4/4 thành công, nhưng có một câu trả lời kép kỳ lạ
• Microsoft Copilot: 0/4 thành công
• Meta AI: 1/4 thành công
• Meta Code Llama: 1/4 thành công
• Google Gemini Advanced: 1/4 thành công
• ChatGPT 4: 4/4 thành công
• ChatGPT 3.5: 3/4 thành công

Cho đến nay, ChatGPT là lựa chọn hàng đầu của tôi để hỗ trợ mã hóa. Nó luôn mang lại kết quả (trừ khi không). Các AI khác phần lớn không đạt yêu cầu trong các bài kiểm tra của tôi. Nhưng GPT-4o đã khiến tôi bất ngờ với câu trả lời kép ở bài cuối. Nó khiến tôi tự hỏi điều gì đang xảy ra bên trong mô hình này mà gây ra sự cố như vậy.

Dù sao, GPT-4o vẫn là mô hình đứng đầu trong các bài kiểm tra mã hóa của tôi, nên có lẽ tôi sẽ tiếp tục sử dụng và làm quen với các đặc điểm của nó. Ngoài ra, tôi có thể quay lại với GPT-3.5 hoặc GPT-4 trong ChatGPT Plus. Hãy theo dõi; lần tới khi ChatGPT cập nhật mô hình, tôi chắc chắn sẽ chạy lại các bài kiểm tra này để xem liệu nó có thể chọn đúng câu trả lời qua tất cả bốn bài kiểm tra một cách nhất quán hay không.

Bạn đã thử mã hóa với bất kỳ mô hình AI nào trong số này chưa? Kinh nghiệm của bạn là gì? Hãy cho chúng tôi biết trong phần bình luận dưới đây.