Meta AI không cạnh tranh với llama, gemini và chatgpt trong bài kiểm tra mã hóa

Công cụ AI viết mã tốt như thế nào?

Trong năm qua, tôi đã đưa một số mô hình ngôn ngữ lớn thông qua các bước đi của họ để xem chúng giải quyết hiệu quả như thế nào các thách thức lập trình cơ bản. Ý tưởng đằng sau các bài kiểm tra này rất đơn giản: nếu chúng không thể xử lý những điều cơ bản, không có khả năng chúng sẽ giúp ích nhiều cho các nhiệm vụ phức tạp hơn. Nhưng nếu họ làm tốt những thách thức nền tảng này, họ có thể trở thành đồng minh có giá trị cho các nhà phát triển muốn tiết kiệm thời gian.

Để thiết lập một đường cơ sở, tôi đã sử dụng bốn bài kiểm tra riêng biệt. Các phạm vi này từ các bài tập mã hóa đơn giản đến các bài tập gỡ lỗi đòi hỏi cái nhìn sâu sắc hơn về các khung như WordPress. Chúng ta hãy đi sâu vào mỗi bài kiểm tra và so sánh cách công cụ AI mới của Meta xếp chồng lên người khác.

Kiểm tra 1: Viết plugin WordPress

Tạo một plugin WordPress liên quan đến việc phát triển web bằng cách sử dụng PHP trong hệ sinh thái WordPress. Nó cũng đòi hỏi một số thiết kế UI. Nếu một chatbot AI có thể thực hiện điều này, nó có thể đóng vai trò là trợ lý hữu ích cho các nhà phát triển web.

Kết quả:

• Meta AI : Giao diện đầy đủ nhưng chức năng không thành công.
• Mã meta llama : thất bại hoàn toàn.
• Google Gemini Advanced : Giao diện tốt, chức năng thất bại.
• Chatgpt : Giao diện sạch và đầu ra chức năng.

Đây là một so sánh trực quan: .

Chatgpt đã cung cấp một giao diện gọn gàng hơn và định vị nút "ngẫu nhiên hóa" một cách hợp lý hơn. Tuy nhiên, khi thực sự chạy plugin, Meta AI đã bị sập, trình bày "màn hình trắng của cái chết" đáng sợ.

Kiểm tra 2: Viết lại chức năng chuỗi

Thử nghiệm này đánh giá khả năng của AI để cải thiện các chức năng tiện ích. Thành công ở đây cho thấy sự hỗ trợ tiềm năng cho các nhà phát triển, trong khi thất bại ngụ ý phòng để cải thiện.

Kết quả:

• Meta AI : Thất bại do điều chỉnh giá trị không chính xác, xử lý kém các số nhiều ngày và các vấn đề định dạng.
• Mã Meta Llama : Thành công.
• Google Gemini Advanced : Thất bại.
• Chatgpt : Thành công.

Trong khi Meta AI vấp ngã trong nhiệm vụ có vẻ đơn giản này, Meta Code Llama đã xoay sở để tỏa sáng, thể hiện khả năng của nó. Chatgpt cũng được thực hiện một cách đáng ngưỡng mộ.

Kiểm tra 3: Tìm một lỗi khó chịu

Đây không phải là về việc viết mã mà đó là về các vấn đề chẩn đoán. Thành công đòi hỏi kiến ​​thức sâu sắc về API WordPress và các tương tác giữa các phần khác nhau của cơ sở mã.

Kết quả:

• Meta AI : Được thông qua với màu sắc bay, xác định vấn đề và đề xuất một tinh chỉnh tăng cường hiệu quả.
• Mã Meta Llama : Thất bại.
• Google Gemini Advanced : Thất bại.
• Chatgpt : Đã qua.

Đáng ngạc nhiên, mặc dù có những cuộc đấu tranh trước đó, Meta AI đã xuất sắc ở đây, chứng tỏ tiềm năng của nó nhưng cũng làm nổi bật những mâu thuẫn trong các phản ứng của nó.

Kiểm tra 4: Viết tập lệnh

Thử nghiệm này đánh giá kiến ​​thức về các công cụ chuyên dụng như Maestro và AppleScript bàn phím. Cả hai đều tương đối thích hợp nhưng đại diện cho một phổ rộng hơn các kỹ năng lập trình.

Kết quả:

• Meta AI : Không thể truy xuất dữ liệu từ Maestro bàn phím.
• Mã meta llama : lỗi tương tự.
• Google Gemini Advanced : Thành công.
• Chatgpt : Thành công.

Gemini và Chatgpt đã thể hiện sự thành thạo với các công cụ này, trong khi các dịch vụ của Meta không còn nữa.

Kết quả tổng thể

Dựa trên kinh nghiệm sáu tháng của tôi bằng cách sử dụng TATGPT cho các dự án mã hóa, tôi vẫn tự tin vào độ tin cậy của nó. Các mô hình khác vẫn chưa phù hợp với tính nhất quán và hiệu quả của nó. Trong khi Meta AI cho thấy những ánh sáng rực rỡ, hiệu suất tổng thể của nó để lại nhiều điều mong muốn.

Bạn đã thử nghiệm với các công cụ này chưa? Chia sẻ suy nghĩ của bạn trong các ý kiến ​​dưới đây!