एलएलएम के अंदर क्या है? AI2 ओलमोट्रेस स्रोत को 'ट्रेस' करेगा
21 अप्रैल 2025
LawrenceJones
59

एक बड़े भाषा मॉडल (एलएलएम) और इसके प्रशिक्षण डेटा के आउटपुट के बीच संबंध को समझना हमेशा एंटरप्राइज आईटी के लिए एक पहेली का एक सा रहा है। इस हफ्ते, एलन इंस्टीट्यूट फॉर एआई (एआई 2) ने ओलमोट्रेस नामक एक रोमांचक नई ओपन-सोर्स पहल शुरू की, जिसका उद्देश्य इस संबंध को ध्वस्त करना है। उपयोगकर्ताओं को एलएलएम आउटपुट को अपने मूल प्रशिक्षण डेटा पर वापस जाने की अनुमति देकर, ओल्मोट्रेस एंटरप्राइज एआई गोद लेने के लिए सबसे बड़ी बाधाओं में से एक से निपटता है: एआई निर्णय लेने की प्रक्रियाओं में पारदर्शिता की कमी।
ओल्मो, जो खुली भाषा मॉडल के लिए खड़ा है, एआई 2 के ओपन-सोर्स एलएलएम के परिवार का नाम है। आप AI2 के खेल के मैदान साइट पर नवीनतम ओल्मो 2 32 बी मॉडल के साथ ओल्मोट्रेस को एक कोशिश दे सकते हैं। इसके अलावा, ओपन-सोर्स कोड GitHub पर कब्रों के लिए है, इसलिए कोई भी इसे स्वतंत्र रूप से उपयोग कर सकता है।
अन्य तरीकों से अलग ओलमोट्रेस को क्या सेट करता है, जैसे कि आत्मविश्वास स्कोर या पुनर्प्राप्ति-अगस्त पीढ़ी पर ध्यान केंद्रित करने वाले, यह एक स्पष्ट दृश्य प्रदान करता है कि मॉडल आउटपुट कैसे विशाल प्रशिक्षण डेटासेट से संबंधित हैं जो उन्हें आकार देते हैं। AI2 के एक शोधकर्ता Jiacheng लियू ने वेंचरबीट को बताया, "हमारा लक्ष्य उपयोगकर्ताओं को यह समझने में मदद करना है कि भाषा मॉडल उन प्रतिक्रियाओं को क्यों उत्पन्न करते हैं जो वे करते हैं।"
कैसे ओलमोट्रेस काम करता है: सिर्फ उद्धरणों से अधिक
जबकि LLMs जैसे कि Perplexity या ChatGPT खोज स्रोत उद्धरणों की पेशकश कर सकते हैं, वे ओल्मोट्रस से अलग तरीके से काम करते हैं। लियू के अनुसार, ये मॉडल पुनर्प्राप्ति-अनुमानित पीढ़ी (आरएजी) का उपयोग करते हैं, जिसका उद्देश्य प्रशिक्षण डेटा से परे अतिरिक्त स्रोतों को शामिल करके मॉडल आउटपुट गुणवत्ता को बढ़ाना है। दूसरी ओर, ओल्मोट्रेस ने चीर या बाहरी दस्तावेजों पर भरोसा किए बिना सीधे प्रशिक्षण कॉर्पस में मॉडल के आउटपुट का पता लगाया।
उपकरण मॉडल आउटपुट में अद्वितीय पाठ अनुक्रमों की पहचान करता है और उन्हें प्रशिक्षण डेटा से विशिष्ट दस्तावेजों से मेल खाता है। जब कोई मैच पाया जाता है, तो ओल्मोट्रेस न केवल प्रासंगिक पाठ को उजागर करता है, बल्कि मूल स्रोत सामग्री के लिंक भी प्रदान करता है। यह उपयोगकर्ताओं को यह देखने की अनुमति देता है कि मॉडल ने कहां और कैसे जानकारी का उपयोग किया है।
विश्वास स्कोर से परे: एआई निर्णय लेने के मूर्त साक्ष्य
LLMS आमतौर पर मॉडल वेट के आधार पर आउटपुट उत्पन्न करता है, जिसका उपयोग आत्मविश्वास स्कोर की गणना करने के लिए किया जाता है। स्कोर जितना अधिक होगा, उतना ही अधिक सटीक आउटपुट होगा। हालांकि, लियू का मानना है कि ये स्कोर भ्रामक हो सकते हैं। उन्होंने कहा, "मॉडल उनके द्वारा उत्पन्न किए गए सामान के साथ अति -आत्मनिर्भर हो सकते हैं, और यदि आप उन्हें एक स्कोर उत्पन्न करने के लिए कहते हैं, तो यह आमतौर पर फुलाया जाता है," उन्होंने समझाया। "यही शिक्षाविदों को एक अंशांकन त्रुटि कहते हैं - यह विश्वास कि मॉडल आउटपुट हमेशा यह नहीं दर्शाता है कि उनकी प्रतिक्रियाएं वास्तव में कितनी सटीक हैं।"
संभावित रूप से भ्रामक स्कोर पर भरोसा करने के बजाय, ओलमोट्रेस मॉडल के सीखने के स्रोतों के प्रत्यक्ष प्रमाण प्रदान करता है, जिससे उपयोगकर्ता सूचित निर्णय लेने की अनुमति देते हैं। लियू ने कहा, "ओलमोट्रेस क्या करता है, आपको मॉडल आउटपुट और प्रशिक्षण दस्तावेजों के बीच मैच दिखा रहा है।" "इंटरफ़ेस के माध्यम से, आप सीधे देख सकते हैं कि मिलान बिंदु कहां हैं और मॉडल आउटपुट कैसे प्रशिक्षण दस्तावेजों के साथ मेल खाता है।"
ओलमोट्रेस अन्य पारदर्शिता दृष्टिकोणों की तुलना कैसे करता है
AI2 एलएलएम आउटपुट को बेहतर ढंग से समझने के लिए काम करने वाला एकमात्र संगठन नहीं है। एंथ्रोपिक ने भी शोध किया है, लेकिन उनका ध्यान अपने डेटा के बजाय मॉडल के आंतरिक संचालन पर रहा है। लियू ने अंतर पर प्रकाश डाला: "हम उनसे एक अलग दृष्टिकोण ले रहे हैं। हम सीधे मॉडल व्यवहार में, उनके प्रशिक्षण डेटा में, मॉडल न्यूरॉन्स, आंतरिक सर्किट, उस तरह की चीज़ में चीजों को ट्रेस करने के विपरीत, उनके प्रशिक्षण डेटा में सीधे ट्रेस कर रहे हैं।"
यह दृष्टिकोण उद्यम अनुप्रयोगों के लिए ओल्मोट्रेस को अधिक व्यावहारिक बनाता है, क्योंकि परिणामों को समझने के लिए तंत्रिका नेटवर्क वास्तुकला के गहन ज्ञान की आवश्यकता नहीं है।
एंटरप्राइज एआई एप्लिकेशन: नियामक अनुपालन से मॉडल डिबगिंग तक
स्वास्थ्य सेवा, वित्त, या कानूनी सेवाओं जैसे विनियमित क्षेत्रों में एआई को तैनात करने वाले व्यवसायों के लिए, ओलमोट्रैस पारंपरिक ब्लैक-बॉक्स सिस्टम पर महत्वपूर्ण लाभ प्रदान करता है। लियू ने कहा, "हमें लगता है कि ओलमोट्रेस उद्यम और व्यावसायिक उपयोगकर्ताओं को यह समझने में मदद करेगा कि मॉडल के प्रशिक्षण में क्या उपयोग किया जाता है ताकि वे अधिक आश्वस्त हो सकें जब वे उनके ऊपर निर्माण करना चाहते हैं," लियू ने कहा। "यह उनके मॉडल के बीच, और उनके मॉडल व्यवहार के ग्राहकों के लिए भी पारदर्शिता और विश्वास बढ़ाने में मदद कर सकता है।"
प्रौद्योगिकी एंटरप्राइज़ एआई टीमों के लिए कई प्रमुख क्षमताओं को सक्षम करती है:
- मूल स्रोतों के खिलाफ तथ्य-जाँच मॉडल आउटपुट
- मतिभ्रम की उत्पत्ति को समझना
- समस्याग्रस्त पैटर्न की पहचान करके मॉडल डिबगिंग में सुधार
- डेटा ट्रेसबिलिटी के माध्यम से नियामक अनुपालन को बढ़ाना
- बढ़ी हुई पारदर्शिता के माध्यम से हितधारकों के साथ विश्वास का निर्माण
AI2 टीम ने पहले ही ओलमोट्रेस को अच्छे उपयोग के लिए रखा है। "हम पहले से ही अपने प्रशिक्षण डेटा को बेहतर बनाने के लिए इसका उपयोग कर रहे हैं," लियू ने खुलासा किया। "जब हमने ओल्मो 2 का निर्माण किया और हमने ओलमोट्रेस के माध्यम से अपना प्रशिक्षण शुरू किया, तो हमें पता चला कि वास्तव में कुछ प्रशिक्षण के बाद के डेटा अच्छे नहीं थे।"
एंटरप्राइज एआई गोद लेने के लिए इसका क्या मतलब है
एआई गोद लेने के सबसे आगे होने के उद्देश्य से उद्यमों के लिए, ओल्मोट्रेस अधिक जवाबदेह एआई सिस्टम की ओर एक महत्वपूर्ण उन्नति को चिह्नित करता है। यह उपकरण अपाचे 2.0 ओपन-सोर्स लाइसेंस के तहत उपलब्ध है, जिसका अर्थ है कि इसके मॉडल के प्रशिक्षण डेटा तक पहुंच वाला कोई भी संगठन समान अनुरेखण क्षमताओं को लागू कर सकता है।
"ओलमोट्रेस किसी भी मॉडल पर काम कर सकता है, जब तक कि आपके पास मॉडल का प्रशिक्षण डेटा है," लियू ने कहा। "पूरी तरह से खुले मॉडल के लिए जहां हर किसी के पास मॉडल के प्रशिक्षण डेटा तक पहुंच है, कोई भी उस मॉडल के लिए ओलमोट्रेस सेट कर सकता है और मालिकाना मॉडल के लिए, शायद कुछ प्रदाता अपना डेटा जारी नहीं करना चाहते हैं, वे इस ओल्मोट्रेस को आंतरिक रूप से भी कर सकते हैं।"
जैसा कि वैश्विक एआई शासन फ्रेमवर्क विकसित होता है, ओलमोट्रेस जैसे उपकरण जो सत्यापन और ऑडिटिबिलिटी को सक्षम करते हैं, वे उद्यम एआई स्टैक के महत्वपूर्ण घटक बनने की संभावना रखते हैं, विशेष रूप से विनियमित उद्योगों में जहां पारदर्शिता की आवश्यकता होती है। एआई गोद लेने के पेशेवरों और विपक्षों पर विचार करने वाले तकनीकी निर्णय निर्माताओं के लिए, ओलमोट्रेस बड़ी भाषा मॉडल की शक्ति से समझौता किए बिना अधिक भरोसेमंद और स्पष्ट एआई सिस्टम को लागू करने का एक व्यावहारिक तरीका प्रदान करता है।
संबंधित लेख
배치 데이터 처리는 실시간 AI에 비해 너무 느립니다. 오픈 소스 Apache Airflow 3.0이 이벤트 중심의 데이터 오케스트레이션으로 도전을 해결하는 방법
다양한 소스에서 AI 애플리케이션에 적합한 장소로 데이터를 이동하는 것은 작은 위업이 아닙니다. 이곳은 Apache Airflow와 같은 데이터 오케스트레이션 도구가 작동하여 프로세스를 더 부드럽고 효율적으로 만듭니다. Apache Airflow Community는 Ye에서 가장 중요한 업데이트를 방금 출시했습니다.
전 Deepseeker 및 Collaborators는 신뢰할 수있는 AI 에이전트를 훈련하기위한 새로운 방법을 발표합니다 : Ragen
AI 에이전트의 해 : 2025 년의 기대와 현실 2025를 자세히 살펴보면 AI 에이전트가 OpenAi, Anthropic, Google 및 Deepseek와 같은 회사의 고급 대형 언어 및 멀티 모달 모델로 구동되는 AI 시스템에 따라 AI 에이전트가 구체화 된 해로 많은 전문가들에 의해 예고되었습니다.
Claude 3.5 Sonnet은 Chatgpt가 지배하는 AI 코딩 테스트에서 창의적으로 투쟁
Anthropic의 New Claude 3.5 Sonnetlast Week의 기능을 테스트하면서 Claude 3.5 Sonnet의 출시를 알리는 전자 메일을 받았습니다. 그들은 "인텔리전스의 업계 바를 높이고, 경쟁 업체 모델을 능가하고, 광범위한 평가에 대한 클로드 3 Opus"라고 자랑했습니다. 티
सूचना (0)
0/200






एक बड़े भाषा मॉडल (एलएलएम) और इसके प्रशिक्षण डेटा के आउटपुट के बीच संबंध को समझना हमेशा एंटरप्राइज आईटी के लिए एक पहेली का एक सा रहा है। इस हफ्ते, एलन इंस्टीट्यूट फॉर एआई (एआई 2) ने ओलमोट्रेस नामक एक रोमांचक नई ओपन-सोर्स पहल शुरू की, जिसका उद्देश्य इस संबंध को ध्वस्त करना है। उपयोगकर्ताओं को एलएलएम आउटपुट को अपने मूल प्रशिक्षण डेटा पर वापस जाने की अनुमति देकर, ओल्मोट्रेस एंटरप्राइज एआई गोद लेने के लिए सबसे बड़ी बाधाओं में से एक से निपटता है: एआई निर्णय लेने की प्रक्रियाओं में पारदर्शिता की कमी।
ओल्मो, जो खुली भाषा मॉडल के लिए खड़ा है, एआई 2 के ओपन-सोर्स एलएलएम के परिवार का नाम है। आप AI2 के खेल के मैदान साइट पर नवीनतम ओल्मो 2 32 बी मॉडल के साथ ओल्मोट्रेस को एक कोशिश दे सकते हैं। इसके अलावा, ओपन-सोर्स कोड GitHub पर कब्रों के लिए है, इसलिए कोई भी इसे स्वतंत्र रूप से उपयोग कर सकता है।
अन्य तरीकों से अलग ओलमोट्रेस को क्या सेट करता है, जैसे कि आत्मविश्वास स्कोर या पुनर्प्राप्ति-अगस्त पीढ़ी पर ध्यान केंद्रित करने वाले, यह एक स्पष्ट दृश्य प्रदान करता है कि मॉडल आउटपुट कैसे विशाल प्रशिक्षण डेटासेट से संबंधित हैं जो उन्हें आकार देते हैं। AI2 के एक शोधकर्ता Jiacheng लियू ने वेंचरबीट को बताया, "हमारा लक्ष्य उपयोगकर्ताओं को यह समझने में मदद करना है कि भाषा मॉडल उन प्रतिक्रियाओं को क्यों उत्पन्न करते हैं जो वे करते हैं।"
कैसे ओलमोट्रेस काम करता है: सिर्फ उद्धरणों से अधिक
जबकि LLMs जैसे कि Perplexity या ChatGPT खोज स्रोत उद्धरणों की पेशकश कर सकते हैं, वे ओल्मोट्रस से अलग तरीके से काम करते हैं। लियू के अनुसार, ये मॉडल पुनर्प्राप्ति-अनुमानित पीढ़ी (आरएजी) का उपयोग करते हैं, जिसका उद्देश्य प्रशिक्षण डेटा से परे अतिरिक्त स्रोतों को शामिल करके मॉडल आउटपुट गुणवत्ता को बढ़ाना है। दूसरी ओर, ओल्मोट्रेस ने चीर या बाहरी दस्तावेजों पर भरोसा किए बिना सीधे प्रशिक्षण कॉर्पस में मॉडल के आउटपुट का पता लगाया।
उपकरण मॉडल आउटपुट में अद्वितीय पाठ अनुक्रमों की पहचान करता है और उन्हें प्रशिक्षण डेटा से विशिष्ट दस्तावेजों से मेल खाता है। जब कोई मैच पाया जाता है, तो ओल्मोट्रेस न केवल प्रासंगिक पाठ को उजागर करता है, बल्कि मूल स्रोत सामग्री के लिंक भी प्रदान करता है। यह उपयोगकर्ताओं को यह देखने की अनुमति देता है कि मॉडल ने कहां और कैसे जानकारी का उपयोग किया है।
विश्वास स्कोर से परे: एआई निर्णय लेने के मूर्त साक्ष्य
LLMS आमतौर पर मॉडल वेट के आधार पर आउटपुट उत्पन्न करता है, जिसका उपयोग आत्मविश्वास स्कोर की गणना करने के लिए किया जाता है। स्कोर जितना अधिक होगा, उतना ही अधिक सटीक आउटपुट होगा। हालांकि, लियू का मानना है कि ये स्कोर भ्रामक हो सकते हैं। उन्होंने कहा, "मॉडल उनके द्वारा उत्पन्न किए गए सामान के साथ अति -आत्मनिर्भर हो सकते हैं, और यदि आप उन्हें एक स्कोर उत्पन्न करने के लिए कहते हैं, तो यह आमतौर पर फुलाया जाता है," उन्होंने समझाया। "यही शिक्षाविदों को एक अंशांकन त्रुटि कहते हैं - यह विश्वास कि मॉडल आउटपुट हमेशा यह नहीं दर्शाता है कि उनकी प्रतिक्रियाएं वास्तव में कितनी सटीक हैं।"
संभावित रूप से भ्रामक स्कोर पर भरोसा करने के बजाय, ओलमोट्रेस मॉडल के सीखने के स्रोतों के प्रत्यक्ष प्रमाण प्रदान करता है, जिससे उपयोगकर्ता सूचित निर्णय लेने की अनुमति देते हैं। लियू ने कहा, "ओलमोट्रेस क्या करता है, आपको मॉडल आउटपुट और प्रशिक्षण दस्तावेजों के बीच मैच दिखा रहा है।" "इंटरफ़ेस के माध्यम से, आप सीधे देख सकते हैं कि मिलान बिंदु कहां हैं और मॉडल आउटपुट कैसे प्रशिक्षण दस्तावेजों के साथ मेल खाता है।"
ओलमोट्रेस अन्य पारदर्शिता दृष्टिकोणों की तुलना कैसे करता है
AI2 एलएलएम आउटपुट को बेहतर ढंग से समझने के लिए काम करने वाला एकमात्र संगठन नहीं है। एंथ्रोपिक ने भी शोध किया है, लेकिन उनका ध्यान अपने डेटा के बजाय मॉडल के आंतरिक संचालन पर रहा है। लियू ने अंतर पर प्रकाश डाला: "हम उनसे एक अलग दृष्टिकोण ले रहे हैं। हम सीधे मॉडल व्यवहार में, उनके प्रशिक्षण डेटा में, मॉडल न्यूरॉन्स, आंतरिक सर्किट, उस तरह की चीज़ में चीजों को ट्रेस करने के विपरीत, उनके प्रशिक्षण डेटा में सीधे ट्रेस कर रहे हैं।"
यह दृष्टिकोण उद्यम अनुप्रयोगों के लिए ओल्मोट्रेस को अधिक व्यावहारिक बनाता है, क्योंकि परिणामों को समझने के लिए तंत्रिका नेटवर्क वास्तुकला के गहन ज्ञान की आवश्यकता नहीं है।
एंटरप्राइज एआई एप्लिकेशन: नियामक अनुपालन से मॉडल डिबगिंग तक
स्वास्थ्य सेवा, वित्त, या कानूनी सेवाओं जैसे विनियमित क्षेत्रों में एआई को तैनात करने वाले व्यवसायों के लिए, ओलमोट्रैस पारंपरिक ब्लैक-बॉक्स सिस्टम पर महत्वपूर्ण लाभ प्रदान करता है। लियू ने कहा, "हमें लगता है कि ओलमोट्रेस उद्यम और व्यावसायिक उपयोगकर्ताओं को यह समझने में मदद करेगा कि मॉडल के प्रशिक्षण में क्या उपयोग किया जाता है ताकि वे अधिक आश्वस्त हो सकें जब वे उनके ऊपर निर्माण करना चाहते हैं," लियू ने कहा। "यह उनके मॉडल के बीच, और उनके मॉडल व्यवहार के ग्राहकों के लिए भी पारदर्शिता और विश्वास बढ़ाने में मदद कर सकता है।"
प्रौद्योगिकी एंटरप्राइज़ एआई टीमों के लिए कई प्रमुख क्षमताओं को सक्षम करती है:
- मूल स्रोतों के खिलाफ तथ्य-जाँच मॉडल आउटपुट
- मतिभ्रम की उत्पत्ति को समझना
- समस्याग्रस्त पैटर्न की पहचान करके मॉडल डिबगिंग में सुधार
- डेटा ट्रेसबिलिटी के माध्यम से नियामक अनुपालन को बढ़ाना
- बढ़ी हुई पारदर्शिता के माध्यम से हितधारकों के साथ विश्वास का निर्माण
AI2 टीम ने पहले ही ओलमोट्रेस को अच्छे उपयोग के लिए रखा है। "हम पहले से ही अपने प्रशिक्षण डेटा को बेहतर बनाने के लिए इसका उपयोग कर रहे हैं," लियू ने खुलासा किया। "जब हमने ओल्मो 2 का निर्माण किया और हमने ओलमोट्रेस के माध्यम से अपना प्रशिक्षण शुरू किया, तो हमें पता चला कि वास्तव में कुछ प्रशिक्षण के बाद के डेटा अच्छे नहीं थे।"
एंटरप्राइज एआई गोद लेने के लिए इसका क्या मतलब है
एआई गोद लेने के सबसे आगे होने के उद्देश्य से उद्यमों के लिए, ओल्मोट्रेस अधिक जवाबदेह एआई सिस्टम की ओर एक महत्वपूर्ण उन्नति को चिह्नित करता है। यह उपकरण अपाचे 2.0 ओपन-सोर्स लाइसेंस के तहत उपलब्ध है, जिसका अर्थ है कि इसके मॉडल के प्रशिक्षण डेटा तक पहुंच वाला कोई भी संगठन समान अनुरेखण क्षमताओं को लागू कर सकता है।
"ओलमोट्रेस किसी भी मॉडल पर काम कर सकता है, जब तक कि आपके पास मॉडल का प्रशिक्षण डेटा है," लियू ने कहा। "पूरी तरह से खुले मॉडल के लिए जहां हर किसी के पास मॉडल के प्रशिक्षण डेटा तक पहुंच है, कोई भी उस मॉडल के लिए ओलमोट्रेस सेट कर सकता है और मालिकाना मॉडल के लिए, शायद कुछ प्रदाता अपना डेटा जारी नहीं करना चाहते हैं, वे इस ओल्मोट्रेस को आंतरिक रूप से भी कर सकते हैं।"
जैसा कि वैश्विक एआई शासन फ्रेमवर्क विकसित होता है, ओलमोट्रेस जैसे उपकरण जो सत्यापन और ऑडिटिबिलिटी को सक्षम करते हैं, वे उद्यम एआई स्टैक के महत्वपूर्ण घटक बनने की संभावना रखते हैं, विशेष रूप से विनियमित उद्योगों में जहां पारदर्शिता की आवश्यकता होती है। एआई गोद लेने के पेशेवरों और विपक्षों पर विचार करने वाले तकनीकी निर्णय निर्माताओं के लिए, ओलमोट्रेस बड़ी भाषा मॉडल की शक्ति से समझौता किए बिना अधिक भरोसेमंद और स्पष्ट एआई सिस्टम को लागू करने का एक व्यावहारिक तरीका प्रदान करता है।












