हाई स्कूल के छात्र AI Minecraft बिल्ड-ऑफ चुनौतियों के लिए वेबसाइट बनाते हैं

माइनक्राफ्ट के साथ रचनात्मक AI बेंचमार्किंग

चूंकि पारंपरिक AI बेंचमार्किंग विधियां कम पड़ रही हैं, डेवलपर्स जनरेटिव AI मॉडलों की क्षमता का मूल्यांकन करने के लिए नवीन दृष्टिकोणों की खोज कर रहे हैं। ऐसा ही एक रचनात्मक तरीका माइनक्राफ्ट, माइक्रोसॉफ्ट के स्वामित्व वाला लोकप्रिय सैंडबॉक्स गेम, का उपयोग करना है। डेवलपर्स के एक समूह ने माइनक्राफ्ट बेंचमार्क, या MC-बेंच, शुरू किया है, जो एक ऐसा मंच है जहां AI मॉडल दिए गए संकेतों के आधार पर माइनक्राफ्ट निर्माण में प्रतिस्पर्धा करते हैं।

MC-बेंच पर, उपयोगकर्ता यह वोट कर सकते हैं कि उन्हें किस AI मॉडल का निर्माण पसंद है, और वोट देने के बाद ही उन्हें पता चलता है कि प्रत्येक निर्माण किस मॉडल ने बनाया। यह इंटरैक्टिव दृष्टिकोण न केवल समुदाय को जोड़ता है बल्कि AI क्षमताओं का मूल्यांकन करने का एक अनूठा तरीका भी प्रदान करता है।

आदि सिंह, 12वीं कक्षा के छात्र और MC-बेंच के प्रारंभकर्ता, मानते हैं कि माइनक्राफ्ट की व्यापक पहचान इसकी कुंजी है। अब तक का सबसे अधिक बिकने वाला वीडियो गेम होने के नाते, यह कई लोगों के लिए परिचित है, जिससे लोगों के लिए AI-जनरेटेड निर्माणों की गुणवत्ता का आकलन करना आसान हो जाता है, भले ही उन्होंने स्वयं गेम न खेला हो। "माइनक्राफ्ट लोगों को AI विकास की प्रगति को बहुत आसानी से देखने की अनुमति देता है," सिंह ने टेकक्रंच को बताया। "लोग माइनक्राफ्ट के आदी हैं, इसके लुक और माहौल के आदी हैं।"

MC-बेंच को आठ स्वयंसेवी योगदानकर्ताओं की एक टीम द्वारा समर्थित किया जाता है। Anthropic, Google, OpenAI, और Alibaba जैसी कंपनियों ने बेंचमार्क संकेतों को चलाने के लिए अपने उत्पाद प्रदान किए हैं, हालांकि वे इस परियोजना में अन्यथा शामिल नहीं हैं।

सिंह MC-बेंच को साधारण निर्माणों से परे अधिक जटिल, लक्ष्य-उन्मुख कार्यों तक विस्तार करने की कल्पना करते हैं। "गेम्स शायद एक ऐसा माध्यम हो सकते हैं जो वास्तविक जीवन की तुलना में सुरक्षित और परीक्षण के उद्देश्यों के लिए अधिक नियंत्रणीय हो, जिससे यह मेरी नजर में अधिक आदर्श बनता है," उन्होंने कहा।

अन्य गेम्स के रूप में AI बेंचमार्क्स

माइनक्राफ्ट के अलावा, पोकेमॉन रेड, स्ट्रीट फाइटर, और पिक्शनरी जैसे अन्य गेम्स को AI के लिए प्रायोगिक बेंचमार्क्स के रूप में उपयोग किया गया है। AI बेंचमार्किंग की चुनौती इसकी जटिलता में निहित है, क्योंकि पारंपरिक मानकीकृत परीक्षण अक्सर AI मॉडलों को पक्षपात करते हैं, जो उनकी प्रशिक्षण विधियों के कारण, रटे हुए स्मरण या बुनियादी अनुमान जैसे संकीर्ण समस्या-समाधान क्षेत्रों में उत्कृष्टता प्राप्त करते हैं।

उदाहरण के लिए, जबकि OpenAI का GPT-4 LSAT पर 88वें प्रतिशत में स्कोर कर सकता है, यह "स्ट्रॉबेरी" में R की संख्या गिनने जैसे सरल कार्यों में संघर्ष करता है। इसी तरह, Anthropic का Claude 3.7 Sonnet एक सॉफ्टवेयर इंजीनियरिंग बेंचमार्क पर 62.3% सटीकता प्राप्त करता है, लेकिन पोकेमॉन खेलने में अधिकांश पांच साल के बच्चों की तुलना में कम पड़ता है।

MC-बेंच: सिर्फ एक प्रोग्रामिंग बेंचमार्क से अधिक

तकनीकी रूप से, MC-बेंच एक प्रोग्रामिंग बेंचमार्क है क्योंकि इसके लिए AI मॉडलों को "फ्रॉस्टी द स्नोमैन" या "एक प्राचीन रेतीले तट पर एक आकर्षक उष्णकटिबंधीय झोपड़ी" जैसे निर्माणों को बनाने के लिए कोड लिखना पड़ता है। हालांकि, इस मंच की अपील इसकी पहुंच में निहित है। उपयोगकर्ताओं के लिए निर्माण की दृश्य गुणवत्ता का मूल्यांकन करना कोड का विश्लेषण करने की तुलना में आसान है, जो परियोजना की पहुंच और मॉडल प्रदर्शन पर डेटा संग्रह की संभावना को व्यापक बनाता है।

यह बहस जारी है कि क्या ये स्कोर वास्तव में AI की उपयोगिता को दर्शाते हैं। हालांकि, सिंह मानते हैं कि ये एक मजबूत संकेतक हैं। "वर्तमान लीडरबोर्ड मेरे अपने इन मॉडलों के उपयोग के अनुभव को काफी करीब से दर्शाता है, जो कि कई शुद्ध टेक्स्ट बेंचमार्क्स के विपरीत है," उन्होंने कहा। "शायद [MC-बेंच] कंपनियों के लिए यह जानने में उपयोगी हो सकता है कि क्या वे सही दिशा में जा रहे हैं।"