ओपन डीप सर्च पेरप्लेक्सिटी और चैट सर्च को चुनौती देने के लिए आता है

यदि आप तकनीकी दुनिया में हैं, तो आपने ओपन डीप सर्च (ओडीएस) के आसपास की चर्चा के बारे में सुना होगा, जो कि सेंट्रेंट फाउंडेशन से नया ओपन-सोर्स फ्रेमवर्क है। ODS, Perplexity और Chatgpt खोज जैसे मालिकाना AI खोज इंजनों के लिए एक मजबूत विकल्प की पेशकश करके लहरें बना रहा है, और यह सभी उन्नत तर्क एजेंटों के साथ बड़े भाषा मॉडल (LLMs) को सशक्त बनाने के बारे में है जो आपके प्रश्नों का प्रभावी ढंग से जवाब देने के लिए वेब खोज और अन्य उपकरणों का लाभ उठाते हैं।

एआई खोज परिदृश्य

आज के AI खोज उपकरण, जैसे कि Perplexity और Chatgpt खोज, प्रभावशाली हैं, अप-टू-डेट उत्तर देने के लिए वास्तविक समय वेब खोज के साथ LLM के ज्ञान और तर्क को संयोजित करते हैं। हालांकि, इन प्रणालियों को अक्सर मालिकाना दरवाजों के पीछे बंद किया जाता है, जो अनुकूलन और विशेष अनुप्रयोगों को एक चुनौती बना सकते हैं।

वेंचरबीट के साथ साझा किए गए सैंटेंट के सह-संस्थापक हिमांशु त्यागी, "एआई खोज में अधिकांश नवाचार बंद दरवाजों के पीछे हो रहे हैं। खुले-स्रोत के प्रयास ऐतिहासिक रूप से प्रयोज्य और प्रदर्शन में पिछड़ गए हैं। ओडीएस का उद्देश्य इस अंतराल को पाटना है, यह साबित करना कि खुले सिस्टम न केवल प्रतिस्पर्धा कर सकते हैं, बल्कि गुणवत्ता, गति और लचीलेपन में बंद समकक्षों को पार कर सकते हैं।"

ओपन डीप सर्च (ओडीएस) आर्किटेक्चर

ODS सिर्फ एक और उपकरण नहीं है; यह एक प्लग-एंड-प्ले सिस्टम है जिसे आप डीपसेक-आर 1 जैसे ओपन-सोर्स मॉडल और जीपीटी -4 ओ और क्लाउड जैसे बंद मॉडल के साथ एकीकृत कर सकते हैं। इसके मूल में, ODS के दो मुख्य घटक हैं:

खोज उपकरण खोलें

यह घटक आपकी क्वेरी लेता है और प्रासंगिक जानकारी के लिए वेब को वापस ले जाने के लिए एलएलएम को संदर्भ के रूप में स्कोर करता है। यह स्मार्ट है, भी - यह एक व्यापक और विविध खोज सुनिश्चित करने के लिए विभिन्न तरीकों से आपकी क्वेरी को फिर से तैयार करता है। एक खोज इंजन से परिणाम प्राप्त करने के बाद, यह स्निपेट्स और लिंक किए गए पृष्ठों को निकालता है, फिर सबसे अधिक प्रासंगिक सामग्री पर शून्य पर चंकिंग और फिर से रैंकिंग का उपयोग करता है। यह विशेष रूप से विकिपीडिया, Arxiv, और PubMed जैसे विशिष्ट स्रोतों को संभालने में माहिर है, और परस्पर विरोधी जानकारी का सामना करने पर विश्वसनीय स्रोतों को प्राथमिकता देने के लिए प्रेरित किया जा सकता है।

खुला तर्क एजेंट

यह एजेंट आपकी क्वेरी लेता है और, बेस एलएलएम और विभिन्न टूल (ओपन सर्च टूल सहित) का उपयोग करके, एक अंतिम उत्तर शिल्प करता है। भावुक ओडीएस के भीतर दो अलग -अलग एजेंट आर्किटेक्चर प्रदान करता है:

ODS-V1

यह संस्करण चेन-ऑफ-थॉट (COT) तर्क के साथ संयुक्त एक रिएक्ट एजेंट फ्रेमवर्क का उपयोग करता है। रिएक्ट एजेंटों ने तर्क चरणों ("विचार") और कार्यों (जैसे खोज उपकरण का उपयोग करके) और टिप्पणियों (उन कार्यों के परिणाम) के बीच वैकल्पिक किया। ODS-V1 इस प्रक्रिया के माध्यम से एक उत्तर तक पहुंचने के लिए पुनरावृत्त करता है। यदि रिएक्ट एजेंट एक झपकी मारता है, तो यह खाट आत्म-प्रवृत्ति पर वापस आता है, कई खाट प्रतिक्रियाओं का नमूना लेता है और सबसे आम जवाब चुनता है।

ODS-V2

यह संस्करण चेन-ऑफ-कोड (COC) और एक CODEACT एजेंट को नियुक्त करता है, जिसे हगिंग फेस स्मोलगेंट्स लाइब्रेरी के साथ बनाया गया है। COC समस्याओं को हल करने के लिए कोड स्निपेट उत्पन्न करने और निष्पादित करने की LLM की क्षमता का उपयोग करता है, जबकि CodeAct योजना कार्यों के लिए कोड जनरेशन का उपयोग करता है। ODS-V2 कई उपकरणों और एजेंटों का प्रबंधन कर सकता है, जिससे यह जटिल कार्यों से निपटने के लिए आदर्श है, जिन्हें परिष्कृत योजना और कई खोज पुनरावृत्तियों की आवश्यकता हो सकती है।

ODS आर्किटेक्चर क्रेडिट: ARXIV

टायगी ने समझाया, "जबकि चैट या ग्रोक जैसे उपकरण संवादात्मक एजेंटों के माध्यम से 'डीप रिसर्च' प्रदान करते हैं, ओडीएस एक अलग स्तर पर संचालित होता है - पेरप्लेक्सिटी एआई के पीछे के बुनियादी ढांचे की तरह - अंतर्निहित वास्तुकला को प्रदान करना जो पावर्स इंटेलिजेंट रिट्रीवल, न कि केवल सारांश।"

प्रदर्शन और व्यावहारिक परिणाम

सोर्सिएंट ने ओपन-सोर्स डीपसेक-आर 1 मॉडल के साथ इसे जोड़कर ओडीएस को परीक्षण के लिए रखा और इसे पेरप्लेक्सिटी एआई और ओपनईएआई के जीपीटी -4 ओ सर्च प्रीव्यू जैसे क्लोज-सोर्स प्रतियोगियों के साथ-साथ जीपीटी -4 ओ और लामा -3.1-70 बी जैसे स्टैंडअलोन एलएलएम के खिलाफ खड़ा किया। उन्होंने फ्रेम और SimpleQA बेंचमार्क का उपयोग किया, जो खोज-सक्षम AI सिस्टम की सटीकता का आकलन करने के लिए अनुकूलित किया गया था।

परिणाम? प्रभावशाली। ODS-V1 और ODS-V2 दोनों, जब दीपसेक-आर 1 के साथ मिलकर, पेरप्लेक्सिटी के प्रमुख उत्पादों को आउटशोन। डीपसेक-आर 1 के साथ ODS-V2 ने भी जटिल फ्रेम बेंचमार्क पर GPT-4O खोज पूर्वावलोकन को पार कर लिया और SimpleQA पर करीब आ गया।

एक आकर्षक अंतर्दृष्टि फ्रेमवर्क की दक्षता थी। दोनों ODS संस्करणों में तर्क एजेंटों ने खोज उपकरण का बुद्धिमानी से उपयोग करना सीखा, अक्सर यह तय करते हुए कि प्रारंभिक परिणामों की गुणवत्ता के आधार पर एक और खोज की आवश्यकता थी या नहीं। उदाहरण के लिए, ODS-V2 ने फ्रेम में अधिक जटिल, बहु-हॉप क्वेरी की तुलना में सरल SimpleQA कार्यों पर कम वेब खोजों का उपयोग किया, संसाधन उपयोग का अनुकूलन किया।

उद्यम के लिए निहितार्थ

वास्तविक समय की जानकारी के साथ शक्तिशाली एआई तर्क क्षमताओं का दोहन करने के लिए देख रहे व्यवसायों के लिए, ओडीएस एक गेम-चेंजर है। यह मालिकाना एआई खोज प्रणालियों के लिए एक पारदर्शी, अनुकूलन योग्य और उच्च प्रदर्शन करने वाला विकल्प प्रदान करता है। पसंदीदा ओपन-सोर्स एलएलएम और टूल्स में प्लग करने की क्षमता का मतलब है कि संगठन अपने एआई स्टैक को दर्जी कर सकते हैं और एक एकल विक्रेता में बंद होने से बच सकते हैं।

"ओडीएस को मन में मॉड्यूलरिटी के साथ डिजाइन किया गया था," टायगी ने कहा। "यह गतिशील रूप से चयन करता है कि प्रॉम्प्ट में प्रदान किए गए विवरणों के आधार पर कौन से उपकरण का उपयोग करना है। इसका मतलब है कि यह अपरिचित उपकरणों के साथ धाराप्रवाह रूप से बातचीत कर सकता है-जब तक कि वे अच्छी तरह से वर्णित हैं-बिना पूर्व जोखिम की आवश्यकता के बिना।"

हालांकि, उन्होंने चेतावनी दी कि यदि टूलसेट बहुत अधिक अव्यवस्थित हो जाता है, तो ओडीएस प्रदर्शन पीड़ित हो सकता है, "इसलिए सावधानीपूर्वक डिजाइन महत्वपूर्ण है।"

सेंटिएंट ने GitHub पर ODS कोड उपलब्ध कराया है, जिससे समुदाय को पता लगाने और योगदान करने के लिए आमंत्रित किया गया है।

"शुरू में, पेरप्लेक्सिटी और चैट की ताकत उनकी उन्नत तकनीक थी, लेकिन ओडीएस के साथ, हमने इस तकनीकी खेल के मैदान को समतल कर दिया है," त्यागी ने निष्कर्ष निकाला। "अब हम अपने 'ओपन इनपुट्स और ओपन आउटपुट की रणनीति के माध्यम से उनकी क्षमताओं को पार करने का लक्ष्य रखते हैं, जिससे उपयोगकर्ताओं को कस्टम एजेंटों को भावुक चैट में एकीकृत करने में सक्षम बनाता है।"