विशेषज्ञों द्वारा पूछे गए एआई स्केलिंग सफलता

सोशल मीडिया पर कुछ चर्चा हुई है कि शोधकर्ताओं ने एक नया AI "स्केलिंग लॉ" खोजा है, लेकिन विशेषज्ञ इसे संदेह के साथ ले रहे हैं। AI स्केलिंग लॉ, जो अधिकतर अनौपचारिक दिशानिर्देशों की तरह हैं, दिखाते हैं कि AI मॉडल अधिक डेटा और कम्प्यूटिंग शक्ति देने पर बेहतर होते हैं। लगभग एक साल पहले तक, बड़ा रुझान "प्री-ट्रेनिंग" के बारे में था – यानी, बड़े मॉडलों को बड़े डेटासेट पर प्रशिक्षित करना। यह अभी भी प्रचलित है, लेकिन अब हमारे पास दो और स्केलिंग लॉ हैं: पोस्ट-ट्रेनिंग स्केलिंग, जो मॉडल के व्यवहार को ठीक करने के बारे में है, और टेस्ट-टाइम स्केलिंग, जिसमें अनुमान के दौरान अधिक कम्प्यूटिंग शक्ति का उपयोग करके मॉडल की "रीजनिंग" क्षमताओं को बढ़ाया जाता है (जैसे R1 मॉडल)।

हाल ही में, Google और UC Berkeley के शोधकर्ताओं ने एक पेपर प्रकाशित किया, जिसे कुछ लोग ऑनलाइन चौथा लॉ कह रहे हैं: "इन्फरेंस-टाइम सर्च।" इस विधि में मॉडल एक सवाल के लिए कई संभावित जवाब एक साथ देता है और फिर सबसे अच्छा चुनता है। शोधकर्ताओं का दावा है कि यह किसी पुराने मॉडल, जैसे Google का Gemini 1.5 Pro, के प्रदर्शन को बढ़ाकर OpenAI के o1-preview "रीजनिंग" मॉडल को विज्ञान और गणित बेंचमार्क में हरा सकता है।

एरिक झाओ, Google के डॉक्टरेट फेलो और पेपर के सह-लेखकों में से एक, ने X पर साझा किया कि 200 जवाबों को रैंडमली सैंपल करके और मॉडल को स्वयं-जांच करने देकर, Gemini 1.5 – जिसे उन्होंने मजाक में "प्राचीन 2024 की शुरुआत का मॉडल" कहा – o1-preview को मात दे सकता है और o1 के करीब भी पहुंच सकता है। उन्होंने बताया कि स्वयं-जांच स्केल बढ़ाने पर आसान हो जाती है, जो थोड़ा उल्टा लेकिन रोचक है।

लेकिन हर कोई सहमत नहीं है। मैथ्यू गुज़डियाल, एक AI शोधकर्ता और यूनिवर्सिटी ऑफ अल्बर्टा में सहायक प्रोफेसर, ने TechCrunch को बताया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब आपके पास जवाबों को आंकने का ठोस तरीका हो। ज्यादातर सवाल इतने सीधे नहीं होते। उन्होंने कहा, "अगर हम यह परिभाषित करने के लिए कोड नहीं लिख सकते कि हम क्या चाहते हैं, तो हम [इन्फरेंस-टाइम] सर्च का उपयोग नहीं कर सकते। सामान्य भाषा संवाद के लिए, हम यह नहीं कर सकते... यह आमतौर पर ज्यादातर समस्याओं को हल करने का अच्छा तरीका नहीं है।"

झाओ ने जवाब दिया कि उनका पेपर उन मामलों को देखता है जहां जवाबों को आंकने का स्पष्ट तरीका नहीं है, और मॉडल को खुद ही इसका पता लगाना पड़ता है। उन्होंने तर्क दिया कि स्पष्ट आंकने के तरीके और इसके अभाव के बीच का अंतर स्केल बढ़ाने पर कम हो सकता है।

माइक कुक, किंग्स कॉलेज लंदन में रिसर्च फेलो, ने गुज़डियाल के विचार का समर्थन किया, यह कहते हुए कि इन्फरेंस-टाइम सर्च वास्तव में मॉडल की रीजनिंग को बेहतर नहीं बनाता। यह मॉडल की आत्मविश्वास के साथ गलतियां करने की प्रवृत्ति का एक समाधान है। उन्होंने बताया कि अगर आपका मॉडल 5% बार गलती करता है, तो 200 कोशिशों की जांच करने से उन गलतियों को पकड़ना आसान हो जाता है।

यह खबर AI उद्योग के लिए थोड़ी निराशाजनक हो सकती है, जो हमेशा मॉडल की "रीजनिंग" को बढ़ाने के तरीकों की तलाश में रहता है बिना ज्यादा खर्च किए। जैसा कि पेपर के लेखकों ने उल्लेख किया, रीजनिंग मॉडल एक गणित समस्या को हल करने के लिए हजारों डॉलर की कम्प्यूटिंग लागत जमा कर सकते हैं।

नए स्केलिंग तकनीकों की खोज अभी खत्म नहीं हुई है।

अपडेट 3/20 5:12 सुबह प्रशांत: अध्ययन के सह-लेखक एरिक झाओ के टिप्पणियां जोड़ी गईं, जो एक स्वतंत्र शोधकर्ता द्वारा की गई आलोचना पर आपत्ति जताते हैं।