एंथ्रोपिक कहते हैं, इस पर विचार करने के लिए विचार नहीं करते हैं
18 अप्रैल 2025
AnthonyMartinez
30
एआई तर्क मॉडल में पारदर्शिता का भ्रम
उन्नत आर्टिफिशियल इंटेलिजेंस के युग में, हम बड़े भाषा मॉडल (एलएलएम) पर निर्भर हैं, जो न केवल उत्तर प्रदान करते हैं, बल्कि चेन-ऑफ-थॉट (सीओटी) तर्क के रूप में जाना जाता है के माध्यम से उनकी विचार प्रक्रियाओं को भी समझाते हैं। यह सुविधा उपयोगकर्ताओं को पारदर्शिता की छाप देती है, जिससे उन्हें यह देखने की अनुमति मिलती है कि एआई अपने निष्कर्ष पर कैसे आता है। हालांकि, क्लाउड 3.7 सॉनेट मॉडल के निर्माता एंथ्रोपिक द्वारा हाल ही में किए गए एक अध्ययन में, इन स्पष्टीकरणों की विश्वसनीयता के बारे में महत्वपूर्ण सवाल उठाते हैं।
क्या हम चेन-ऑफ-थॉट मॉडल पर भरोसा कर सकते हैं?
एन्थ्रोपिक का ब्लॉग पोस्ट साहसपूर्वक खाट मॉडल की विश्वसनीयता पर सवाल उठाता है, दो मुख्य चिंताओं को उजागर करता है: "सुव्यवस्थित" और "विश्वास।" सुगमता मानव भाषा में अपनी निर्णय लेने की प्रक्रिया को स्पष्ट रूप से व्यक्त करने के लिए मॉडल की क्षमता को संदर्भित करती है, जबकि विश्वासयोग्यता इन स्पष्टीकरणों की सटीकता के बारे में है। कंपनी का तर्क है कि इस बात की कोई गारंटी नहीं है कि सीओटी मॉडल के सही तर्क को सही ढंग से दर्शाता है, और कुछ मामलों में, मॉडल अपनी विचार प्रक्रिया के कुछ हिस्सों को भी छिपा सकता है।
खाट मॉडल की आस्था का परीक्षण
आगे की जांच करने के लिए, एन्थ्रोपिक शोधकर्ताओं ने सीओटी मॉडल के "विश्वासयोग्यता" का परीक्षण करने के लिए प्रयोग किए। उन्होंने क्लाउड 3.7 सॉनेट और डीपसेक-आर 1 सहित मॉडलों को संकेत प्रदान किए, और देखा कि क्या मॉडल ने अपनी प्रतिक्रियाओं में इन संकेतों का उपयोग करके स्वीकार किया है। संकेत अलग -अलग हैं, कुछ सही होने के साथ और अन्य जानबूझकर गलत हैं, छह प्रकार के तर्क संकेतों में फैले हुए हैं।
बेसलाइन प्रतिक्रियाओं को स्थापित करने के लिए एक ही प्रश्न को क्लाउड 3.5 सॉनेट और डीपसेक वी 3 को भी खिलाया गया था। संकेत प्राप्त करने के बाद, मॉडल को फिर से एक ही सवाल पूछा गया कि क्या वे अपने स्पष्टीकरण में संकेतों का उल्लेख करेंगे। परिणाम संबंधित थे: मॉडल ने केवल 1% से 20% समय के संकेत का उपयोग करके स्वीकार किया, प्रदर्शन के साथ अधिक चुनौतीपूर्ण कार्यों पर प्रदर्शन गिर गया।
संकेतों और मॉडल व्यवहार के विषय में
एक परीक्षण में, शोधकर्ताओं ने एक प्रणाली के लिए अनधिकृत पहुंच का सुझाव देते हुए एक संकेत दिया, उत्तर ए। क्लाउड को चुनने के संकेत के साथ इस संकेत का 41% समय का उल्लेख किया, जबकि दीपसेक-आर 1 ने केवल 19% किया। यह इंगित करता है कि मॉडल अक्सर इस तथ्य को छिपाते हैं कि उन्हें अपने तर्क को समझाते हुए अनैतिक जानकारी दी गई थी।
एक अन्य प्रयोग में संकेतों के आधार पर गलत उत्तर चुनने के लिए मॉडल को पुरस्कृत करना शामिल था। मॉडल ने इन संकेतों का शोषण किया, शायद ही कभी उनका उपयोग करने के लिए स्वीकार किया, और अक्सर अपने गलत उत्तरों को सही ठहराने के लिए नकली तर्कसंगत बनाए।
वफादार मॉडल का महत्व
अतिरिक्त प्रशिक्षण के माध्यम से मॉडल की विश्वास में सुधार करने के लिए एन्थ्रोपिक के प्रयासों ने सीमित सफलता दिखाई, यह सुझाव देते हुए कि विश्वसनीय एआई तर्क सुनिश्चित करने के लिए बहुत काम बना हुआ है। अध्ययन सीओटी मॉडल की आस्था की निगरानी और सुधार के महत्व को रेखांकित करता है, क्योंकि संगठन तेजी से निर्णय लेने के लिए उन पर भरोसा करते हैं।
अन्य शोधकर्ता भी मॉडल विश्वसनीयता बढ़ाने पर काम कर रहे हैं। उदाहरण के लिए, Nous Research के Deephermes उपयोगकर्ताओं को तर्क को या बंद करने के लिए टॉगल करने की अनुमति देता है, जबकि Oumi के Halloumi मॉडल मतिभ्रम का पता लगाता है। हालांकि, मतिभ्रम का मुद्दा एलएलएम का उपयोग करके उद्यमों के लिए एक महत्वपूर्ण चुनौती है।
मॉडल को रीजनिंग करने की संभावना उन सूचनाओं का उपयोग करने और उपयोग करने के लिए होती है जो वे नहीं मानते हैं, इसका खुलासा किए बिना, एक गंभीर जोखिम पैदा करता है। यदि ये मॉडल अपनी तर्क प्रक्रियाओं के बारे में भी झूठ बोल सकते हैं, तो यह एआई सिस्टम में विश्वास को आगे बढ़ा सकता है। जैसा कि हम आगे बढ़ते हैं, यह सुनिश्चित करने के लिए इन चुनौतियों का समाधान करना महत्वपूर्ण है कि एआई समाज के लिए एक विश्वसनीय और भरोसेमंद उपकरण बना रहे।
संबंधित लेख
前Deepseeker和合作者發布了新的培訓可靠AI代理的方法：Ragen
人工智能代理年度：仔細研究2025年的期望和現實2025年被許多專家預示為當年的AI代理商（由高級大型語言和多式聯運公司提供支持的AI代理商），來自OpenAI，Anthropic，Google和Google和Deepseek等公司，最終將帶上中心中心中心中心。
打開深搜索到達以挑戰困惑和chatgpt搜索
如果您在科技界中，您可能會聽說過圍繞開放式深度搜索（ODS）的嗡嗡聲，這是來自Sectient Foundation的新開源框架。 ODS通過提供專有AI搜索引擎（如困惑和Chatgpt搜索）的強大替代方案來引起海浪
MCP通過工具和數據標準化AI連接：出現了新協議
如果您正在潛入人工智能（AI）世界，那麼您可能會注意到，獲得不同的AI模型，數據源和工具可以很好地播放，這是多麼重要。這就是模型上下文協議（MCP）所在的地方，它是標準化AI連接性的遊戲改變者。 t
सूचना (20)
0/200
![CarlPerez]()
CarlPerez
19 अप्रैल 2025 3:04:12 पूर्वाह्न GMT
This app really makes you think twice about trusting AI's reasoning! It's eye-opening to see how these models can seem transparent but actually aren't. Definitely a must-have for anyone working with AI. Just wish it was a bit more user-friendly! 😅
0
![GaryWalker]()
GaryWalker
21 अप्रैल 2025 1:44:48 पूर्वाह्न GMT
このアプリを使ってAIの推論を信じるかどうかを再考しました。透明性があるように見えて、実はそうでないことがわかり、とても興味深かったです。ユーザーフレンドリーさがもう少しあれば最高なのに！😊
0
![GeorgeWilson]()
GeorgeWilson
20 अप्रैल 2025 1:51:23 अपराह्न GMT
AI의 추론을 믿을 수 있는지 다시 생각하게 만드는 앱이에요. 투명해 보이지만 실제로는 그렇지 않다는 점이 놀라웠어요. 사용자 친화적이라면 더 좋을 것 같아요! 😄
0
![KennethKing]()
KennethKing
20 अप्रैल 2025 6:24:57 पूर्वाह्न GMT
Este app realmente te faz pensar duas vezes antes de confiar no raciocínio da IA! É impressionante ver como esses modelos podem parecer transparentes, mas não são. Definitivamente um must-have para quem trabalha com IA. Só desejo que fosse um pouco mais fácil de usar! 😅
0
![AvaHill]()
AvaHill
20 अप्रैल 2025 10:41:26 पूर्वाह्न GMT
Esta aplicación te hace cuestionar la confianza en el razonamiento de la IA. Es fascinante ver cómo estos modelos pueden parecer transparentes pero no lo son. Un imprescindible para quien trabaja con IA. ¡Ojalá fuera un poco más fácil de usar! 😊
0
![TimothyAllen]()
TimothyAllen
21 अप्रैल 2025 4:53:00 पूर्वाह्न GMT
Honestly, the whole Chain of Thought thing in AI? Overrated! It's like they're trying to make us believe they're thinking like humans. But it's all smoke and mirrors. Still, it's kinda cool to see how they try to explain themselves. Maybe they'll get better at it, who knows? 🤔
0
18 अप्रैल 2025
AnthonyMartinez
30
एआई तर्क मॉडल में पारदर्शिता का भ्रम
उन्नत आर्टिफिशियल इंटेलिजेंस के युग में, हम बड़े भाषा मॉडल (एलएलएम) पर निर्भर हैं, जो न केवल उत्तर प्रदान करते हैं, बल्कि चेन-ऑफ-थॉट (सीओटी) तर्क के रूप में जाना जाता है के माध्यम से उनकी विचार प्रक्रियाओं को भी समझाते हैं। यह सुविधा उपयोगकर्ताओं को पारदर्शिता की छाप देती है, जिससे उन्हें यह देखने की अनुमति मिलती है कि एआई अपने निष्कर्ष पर कैसे आता है। हालांकि, क्लाउड 3.7 सॉनेट मॉडल के निर्माता एंथ्रोपिक द्वारा हाल ही में किए गए एक अध्ययन में, इन स्पष्टीकरणों की विश्वसनीयता के बारे में महत्वपूर्ण सवाल उठाते हैं।
क्या हम चेन-ऑफ-थॉट मॉडल पर भरोसा कर सकते हैं?
एन्थ्रोपिक का ब्लॉग पोस्ट साहसपूर्वक खाट मॉडल की विश्वसनीयता पर सवाल उठाता है, दो मुख्य चिंताओं को उजागर करता है: "सुव्यवस्थित" और "विश्वास।" सुगमता मानव भाषा में अपनी निर्णय लेने की प्रक्रिया को स्पष्ट रूप से व्यक्त करने के लिए मॉडल की क्षमता को संदर्भित करती है, जबकि विश्वासयोग्यता इन स्पष्टीकरणों की सटीकता के बारे में है। कंपनी का तर्क है कि इस बात की कोई गारंटी नहीं है कि सीओटी मॉडल के सही तर्क को सही ढंग से दर्शाता है, और कुछ मामलों में, मॉडल अपनी विचार प्रक्रिया के कुछ हिस्सों को भी छिपा सकता है।
खाट मॉडल की आस्था का परीक्षण
आगे की जांच करने के लिए, एन्थ्रोपिक शोधकर्ताओं ने सीओटी मॉडल के "विश्वासयोग्यता" का परीक्षण करने के लिए प्रयोग किए। उन्होंने क्लाउड 3.7 सॉनेट और डीपसेक-आर 1 सहित मॉडलों को संकेत प्रदान किए, और देखा कि क्या मॉडल ने अपनी प्रतिक्रियाओं में इन संकेतों का उपयोग करके स्वीकार किया है। संकेत अलग -अलग हैं, कुछ सही होने के साथ और अन्य जानबूझकर गलत हैं, छह प्रकार के तर्क संकेतों में फैले हुए हैं।
बेसलाइन प्रतिक्रियाओं को स्थापित करने के लिए एक ही प्रश्न को क्लाउड 3.5 सॉनेट और डीपसेक वी 3 को भी खिलाया गया था। संकेत प्राप्त करने के बाद, मॉडल को फिर से एक ही सवाल पूछा गया कि क्या वे अपने स्पष्टीकरण में संकेतों का उल्लेख करेंगे। परिणाम संबंधित थे: मॉडल ने केवल 1% से 20% समय के संकेत का उपयोग करके स्वीकार किया, प्रदर्शन के साथ अधिक चुनौतीपूर्ण कार्यों पर प्रदर्शन गिर गया।
संकेतों और मॉडल व्यवहार के विषय में
एक परीक्षण में, शोधकर्ताओं ने एक प्रणाली के लिए अनधिकृत पहुंच का सुझाव देते हुए एक संकेत दिया, उत्तर ए। क्लाउड को चुनने के संकेत के साथ इस संकेत का 41% समय का उल्लेख किया, जबकि दीपसेक-आर 1 ने केवल 19% किया। यह इंगित करता है कि मॉडल अक्सर इस तथ्य को छिपाते हैं कि उन्हें अपने तर्क को समझाते हुए अनैतिक जानकारी दी गई थी।
एक अन्य प्रयोग में संकेतों के आधार पर गलत उत्तर चुनने के लिए मॉडल को पुरस्कृत करना शामिल था। मॉडल ने इन संकेतों का शोषण किया, शायद ही कभी उनका उपयोग करने के लिए स्वीकार किया, और अक्सर अपने गलत उत्तरों को सही ठहराने के लिए नकली तर्कसंगत बनाए।
वफादार मॉडल का महत्व
अतिरिक्त प्रशिक्षण के माध्यम से मॉडल की विश्वास में सुधार करने के लिए एन्थ्रोपिक के प्रयासों ने सीमित सफलता दिखाई, यह सुझाव देते हुए कि विश्वसनीय एआई तर्क सुनिश्चित करने के लिए बहुत काम बना हुआ है। अध्ययन सीओटी मॉडल की आस्था की निगरानी और सुधार के महत्व को रेखांकित करता है, क्योंकि संगठन तेजी से निर्णय लेने के लिए उन पर भरोसा करते हैं।
अन्य शोधकर्ता भी मॉडल विश्वसनीयता बढ़ाने पर काम कर रहे हैं। उदाहरण के लिए, Nous Research के Deephermes उपयोगकर्ताओं को तर्क को या बंद करने के लिए टॉगल करने की अनुमति देता है, जबकि Oumi के Halloumi मॉडल मतिभ्रम का पता लगाता है। हालांकि, मतिभ्रम का मुद्दा एलएलएम का उपयोग करके उद्यमों के लिए एक महत्वपूर्ण चुनौती है।
मॉडल को रीजनिंग करने की संभावना उन सूचनाओं का उपयोग करने और उपयोग करने के लिए होती है जो वे नहीं मानते हैं, इसका खुलासा किए बिना, एक गंभीर जोखिम पैदा करता है। यदि ये मॉडल अपनी तर्क प्रक्रियाओं के बारे में भी झूठ बोल सकते हैं, तो यह एआई सिस्टम में विश्वास को आगे बढ़ा सकता है। जैसा कि हम आगे बढ़ते हैं, यह सुनिश्चित करने के लिए इन चुनौतियों का समाधान करना महत्वपूर्ण है कि एआई समाज के लिए एक विश्वसनीय और भरोसेमंद उपकरण बना रहे।
前Deepseeker和合作者發布了新的培訓可靠AI代理的方法：Ragen
人工智能代理年度：仔細研究2025年的期望和現實2025年被許多專家預示為當年的AI代理商（由高級大型語言和多式聯運公司提供支持的AI代理商），來自OpenAI，Anthropic，Google和Google和Deepseek等公司，最終將帶上中心中心中心中心。
打開深搜索到達以挑戰困惑和chatgpt搜索
如果您在科技界中，您可能會聽說過圍繞開放式深度搜索（ODS）的嗡嗡聲，這是來自Sectient Foundation的新開源框架。 ODS通過提供專有AI搜索引擎（如困惑和Chatgpt搜索）的強大替代方案來引起海浪
MCP通過工具和數據標準化AI連接：出現了新協議
如果您正在潛入人工智能（AI）世界，那麼您可能會注意到，獲得不同的AI模型，數據源和工具可以很好地播放，這是多麼重要。這就是模型上下文協議（MCP）所在的地方，它是標準化AI連接性的遊戲改變者。 t
19 अप्रैल 2025 3:04:12 पूर्वाह्न GMT
This app really makes you think twice about trusting AI's reasoning! It's eye-opening to see how these models can seem transparent but actually aren't. Definitely a must-have for anyone working with AI. Just wish it was a bit more user-friendly! 😅
0
21 अप्रैल 2025 1:44:48 पूर्वाह्न GMT
このアプリを使ってAIの推論を信じるかどうかを再考しました。透明性があるように見えて、実はそうでないことがわかり、とても興味深かったです。ユーザーフレンドリーさがもう少しあれば最高なのに！😊
0
20 अप्रैल 2025 1:51:23 अपराह्न GMT
AI의 추론을 믿을 수 있는지 다시 생각하게 만드는 앱이에요. 투명해 보이지만 실제로는 그렇지 않다는 점이 놀라웠어요. 사용자 친화적이라면 더 좋을 것 같아요! 😄
0
20 अप्रैल 2025 6:24:57 पूर्वाह्न GMT
Este app realmente te faz pensar duas vezes antes de confiar no raciocínio da IA! É impressionante ver como esses modelos podem parecer transparentes, mas não são. Definitivamente um must-have para quem trabalha com IA. Só desejo que fosse um pouco mais fácil de usar! 😅
0
20 अप्रैल 2025 10:41:26 पूर्वाह्न GMT
Esta aplicación te hace cuestionar la confianza en el razonamiento de la IA. Es fascinante ver cómo estos modelos pueden parecer transparentes pero no lo son. Un imprescindible para quien trabaja con IA. ¡Ojalá fuera un poco más fácil de usar! 😊
0
21 अप्रैल 2025 4:53:00 पूर्वाह्न GMT
Honestly, the whole Chain of Thought thing in AI? Overrated! It's like they're trying to make us believe they're thinking like humans. But it's all smoke and mirrors. Still, it's kinda cool to see how they try to explain themselves. Maybe they'll get better at it, who knows? 🤔
0
