AI बढ़ाया वीडियो आलोचनाओं को वितरित करना सीखता है
एआई अनुसंधान में वीडियो सामग्री का मूल्यांकन在天
कंप्यूटर विजन साहित्य की दुनिया में गोता लगाने पर, बड़े विजन-भाषा मॉडल (एलवीएलएम) जटिल प्रस्तुतियों की व्याख्या के लिए अमूल्य हो सकते हैं। हालांकि, वैज्ञानिक पत्रों के साथ आने वाले वीडियो उदाहरणों की गुणवत्ता और योग्यता का आकलन करने में महत्वपूर्ण बाधा आती है। यह एक महत्वपूर्ण पहलू है क्योंकि आकर्षक दृश्य अनुसंधान परियोजनाओं में किए गए दावों को उत्साह उत्पन्न करने और मान्य करने में पाठ जितना ही महत्वपूर्ण है।
विशेष रूप से वीडियो संश्लेषण परियोजनाएं, खारिज होने से बचने के लिए वास्तविक वीडियो आउटपुट प्रदर्शन पर बहुत अधिक निर्भर करती हैं। इन प्रदर्शनों में परियोजना के वास्तविक प्रदर्शन का मूल्यांकन किया जा सकता है, जो अक्सर परियोजना के बड़े दावों और इसकी वास्तविक क्षमताओं के बीच की खाई को प्रकट करता है।
मैंने किताब पढ़ी, फिल्म नहीं देखी
वर्तमान में, लोकप्रिय एपीआई-आधारित बड़े भाषा मॉडल (एलएलएम) और बड़े विजन-भाषा मॉडल (एलवीएलएम) वीडियो सामग्री का सीधे विश्लेषण करने के लिए सुसज्जित नहीं हैं। उनकी क्षमताएं वीडियो से संबंधित प्रतिलेखों और अन्य पाठ-आधारित सामग्रियों के विश्लेषण तक सीमित हैं। यह सीमा तब स्पष्ट होती है जब इन मॉडलों से वीडियो सामग्री का सीधे विश्लेषण करने के लिए कहा जाता है।
*GPT-4o, Google Gemini और Perplexity के विभिन्न आपत्तियां, जब बिना प्रतिलेखों या अन्य पाठ-आधारित स्रोतों के वीडियो का सीधे विश्लेषण करने के लिए कहा जाता है।*
कुछ मॉडल, जैसे ChatGPT-4o, वीडियो का व्यक्तिपरक मूल्यांकन प्रदान करने का प्रयास कर सकते हैं, लेकिन दबाव डालने पर अंततः स्वीकार करते हैं कि वे वीडियो को सीधे नहीं देख सकते।
*एक नए शोध पत्र से संबंधित वीडियो का व्यक्तिपरक मूल्यांकन करने के लिए कहा गया, और वास्तविक राय नकली करने के बाद, ChatGPT-4o अंततः स्वीकार करता है कि वह वीडियो को सीधे नहीं देख सकता।*
हालांकि ये मॉडल मल्टीमॉडल हैं और वीडियो से निकाले गए एकल फ्रेम जैसे व्यक्तिगत फोटो का विश्लेषण कर सकते हैं, उनकी गुणात्मक राय प्रदान करने की क्षमता संदिग्ध है। एलएलएम अक्सर 'लोगों को खुश करने वाली' प्रतिक्रियाएं देने की प्रवृत्ति रखते हैं बजाय ईमानदार आलोचनाओं के। इसके अलावा, वीडियो में कई समस्याएं अस्थायी होती हैं, जिसका अर्थ है कि एकल फ्रेम का विश्लेषण पूरी तरह से मुद्दे को चूक जाता है।
एलएलएम केवल पाठ-आधारित ज्ञान का उपयोग करके, जैसे कि डीपफेक इमेजरी या कला इतिहास को समझकर, मानव अंतर्दृष्टि के आधार पर सीखे गए एम्बेडिंग के साथ दृश्य गुणवत्ता को सहसंबंधित करके वीडियो पर 'मूल्य निर्णय' दे सकता है।
*FakeVLM परियोजना विशेष मल्टी-मॉडल विजन-भाषा मॉडल के माध्यम से लक्षित डीपफेक पहचान प्रदान करती है।* स्रोत: https://arxiv.org/pdf/2503.14905
हालांकि एलएलएम, YOLO जैसे सहायक एआई सिस्टम की मदद से वीडियो में वस्तुओं की पहचान कर सकता है, मानव राय को प्रतिबिंबित करने वाली हानि फ़ंक्शन-आधारित मीट्रिक के बिना व्यक्तिपरक मूल्यांकन मायावी रहता है।
सशर्त दृष्टि
हानि फ़ंक्शन मॉडल प्रशिक्षण में आवश्यक हैं, जो भविष्यवाणियों के सही उत्तरों से कितनी दूर होने को मापते हैं और मॉडल को त्रुटियों को कम करने के लिए मार्गदर्शन करते हैं। इनका उपयोग एआई-जनरेटेड सामग्री, जैसे फोटोरियलिस्टिक वीडियो, का मूल्यांकन करने के लिए भी किया जाता है।
एक लोकप्रिय मीट्रिक है Fréchet Inception Distance (FID), जो जनरेटेड और वास्तविक छवियों के वितरण के बीच समानता को मापता है। FID सांख्यिकीय अंतरों की गणना के लिए Inception v3 नेटवर्क का उपयोग करता है, और कम स्कोर उच्च दृश्य गुणवत्ता और विविधता को इंगित करता है।
हालांकि, FID आत्म-संदर्भित और तुलनात्मक है। 2021 में पेश किया गया Conditional Fréchet Distance (CFD) इस समस्या को संबोधित करता है, जो यह भी विचार करता है कि जनरेटेड छवियां अतिरिक्त शर्तों, जैसे वर्ग लेबल या इनपुट छवियों के साथ कितनी अच्छी तरह मेल खाती हैं।
*2021 CFD प्रदर्शन के उदाहरण।* स्रोत: https://github.com/Michael-Soloveitchik/CFID/
CFD का लक्ष्य गुणात्मक मानव व्याख्या को मीट्रिक में एकीकृत करना है, लेकिन इस दृष्टिकोण में संभावित पक्षपात, बार-बार अपडेट की आवश्यकता, और बजट बाधाएं जैसी चुनौतियां हैं जो समय के साथ मूल्यांकन की स्थिरता और विश्वसनीयता को प्रभावित कर सकती हैं।
cFreD
अमेरिका से हाल ही का एक पत्र Conditional Fréchet Distance (cFreD) प्रस्तुत करता है, एक नया मीट्रिक जो दृश्य गुणवत्ता और पाठ-छवि संरेखण दोनों का मूल्यांकन करके मानव प्राथमिकताओं को बेहतर ढंग से प्रतिबिंबित करने के लिए डिज़ाइन किया गया है।
*नए पत्र से आंशिक परिणाम: 'एक लिविंग रूम जिसमें एक सोफा और सोफे पर रखा एक लैपटॉप कंप्यूटर है' प्रॉम्प्ट के लिए विभिन्न मीट्रिक द्वारा छवि रैंकिंग (1-9)। हरा रंग शीर्ष मानव-रेटेड मॉडल (FLUX.1-dev) को हाइलाइट करता है, बैंगनी रंग सबसे कम (SDv1.5) को। केवल cFreD मानव रैंकिंग से मेल खाता है। पूर्ण परिणामों के लिए कृपया स्रोत पत्र देखें, जिसे हम यहां पुन: प्रस्तुत करने के लिए स्थान नहीं रखते।* स्रोत: https://arxiv.org/pdf/2503.21721
लेखक तर्क देते हैं कि Inception Score (IS) और FID जैसे पारंपरिक मीट्रिक केवल छवि गुणवत्ता पर ध्यान केंद्रित करते हैं, बिना यह विचार किए कि छवियां अपने प्रॉम्प्ट से कितनी अच्छी तरह मेल खाती हैं। वे प्रस्ताव करते हैं कि cFreD छवि गुणवत्ता और इनपुट पाठ पर शर्त को कैप्चर करता है, जिससे मानव प्राथमिकताओं के साथ उच्च सहसंबंध प्राप्त होता है।
*पत्र के परीक्षणों से संकेत मिलता है कि लेखकों द्वारा प्रस्तावित मीट्रिक, cFreD, तीन बेंचमार्क डेटासेट (PartiPrompts, HPDv2, और COCO) पर FID, FDDINOv2, CLIPScore, और CMMD की तुलना में मानव प्राथमिकताओं के साथ लगातार उच्च सहसंबंध प्राप्त करता है।*
अवधारणा और विधि
पाठ-से-छवि मॉडल का मूल्यांकन करने के लिए स्वर्ण मानक क्राउड-सोर्स्ड तुलनाओं के माध्यम से एकत्र किया गया मानव प्राथमिकता डेटा है, जो बड़े भाषा मॉडल के लिए उपयोग की जाने वाली विधियों के समान है। हालांकि, ये विधियां महंगी और धीमी हैं, जिसके कारण कुछ प्लेटफॉर्म अपडेट बंद कर देते हैं।
*Artificial Analysis Image Arena Leaderboard, जो जनरेटेड विजुअल AI में वर्तमान में अनुमानित नेताओं को रैंक करता है।* स्रोत: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard
FID, CLIPScore, और cFreD जैसे स्वचालित मीट्रिक भविष्य के मॉडल के मूल्यांकन के लिए महत्वपूर्ण हैं, खासकर जब मानव प्राथमिकताएं विकसित होती हैं। cFreD मानता है कि वास्तविक और जनरेटेड छवियां गाऊसी वितरण का पालन करती हैं और प्रॉम्प्ट के पार अपेक्षित Fréchet दूरी को मापता है, जो यथार्थवाद और पाठ स्थिरता दोनों का आकलन करता है।
डेटा और परीक्षण
cFreD के मानव प्राथमिकताओं के साथ सहसंबंध का मूल्यांकन करने के लिए, लेखकों ने एक ही पाठ प्रॉम्प्ट के साथ कई मॉडल से छवि रैंकिंग का उपयोग किया। उन्होंने Human Preference Score v2 (HPDv2) परीक्षण सेट और PartiPrompts Arena का उपयोग किया, डेटा को एकल डेटासेट में समेकित किया।
नए मॉडल के लिए, उन्होंने COCO के प्रशिक्षण और सत्यापन सेट से 1,000 प्रॉम्प्ट का उपयोग किया, यह सुनिश्चित करते हुए कि HPDv2 के साथ कोई ओवरलैप न हो, और Arena Leaderboard से नौ मॉडल का उपयोग करके छवियां जनरेट कीं। cFreD को कई सांख्यिकीय और सीखे गए मीट्रिक के खिलाफ मूल्यांकन किया गया, जो मानव निर्णयों के साथ मजबूत संरेखण दिखाता है।
*HPDv2 परीक्षण सेट पर मॉडल रैंकिंग और स्कोर, सांख्यिकीय मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, HPSv2, और MPS) का उपयोग करके। सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
cFreD ने मानव प्राथमिकताओं के साथ उच्चतम संरेखण प्राप्त किया, 0.97 का सहसंबंध और 91.1% की रैंक सटीकता प्राप्त की। इसने मानव प्राथमिकता डेटा पर प्रशिक्षित मीट्रिक सहित अन्य मीट्रिक को पीछे छोड़ दिया, जो विविध मॉडल में इसकी विश्वसनीयता को दर्शाता है।
*PartiPrompt पर मॉडल रैंकिंग और स्कोर, सांख्यिकीय मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, और MPS) का उपयोग करके। सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
PartiPrompts Arena में, cFreD ने 0.73 के उच्चतम सहसंबंध के साथ मानव मूल्यांकन के साथ सबसे अधिक संरेखण दिखाया, जिसके बाद FID और FDDINOv2 निकटता से थे। हालांकि, मानव प्राथमिकताओं पर प्रशिक्षित HPSv2 ने 0.83 के साथ सबसे मजबूत संरेखण दिखाया।
*COCO प्रॉम्प्ट पर मॉडल रैंकिंग, स्वचालित मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, HPSv2, और MPS) का उपयोग करके। 0.5 से कम रैंक सटीकता असंगत जोड़ों को इंगित करती है, और सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
COCO डेटासेट मूल्यांकन में, cFreD ने 0.33 का सहसंबंध और 66.67% की रैंक सटीकता प्राप्त की, जो मानव प्राथमिकताओं के साथ संरेखण में तीसरे स्थान पर रहा, केवल मानव डेटा पर प्रशिक्षित मीट्रिक के पीछे।
*COCO डेटासेट पर प्रत्येक छवि बैकबोन की रैंकिंग कितनी बार वास्तविक मानव-व्युत्पन्न रैंकिंग से मेल खाती है, यह दिखाने वाली जीत दरें।*
लेखकों ने Inception V3 का भी परीक्षण किया और पाया कि यह DINOv2-L/14 और ViT-L/16 जैसे ट्रांसफॉर्मर-आधारित बैकबोन से पीछे रह गया, जो लगातार मानव रैंकिंग के साथ बेहतर संरेखण करते हैं।
निष्कर्ष
हालांकि मानव-इन-द-लूप समाधान मीट्रिक और हानि फ़ंक्शन विकसित करने के लिए इष्टतम दृष्टिकोण बने हुए हैं, अपडेट की मात्रा और आवृत्ति उन्हें अव्यवहारिक बनाती है। cFreD की विश्वसनीयता मानव निर्णय के साथ इसके संरेखण पर निर्भर करती है, हालांकि अप्रत्यक्ष रूप से। मीट्रिक की वैधता मानव प्राथमिकता डेटा पर निर्भर करती है, क्योंकि बिना ऐसे बेंचमार्क के, मानव-समान मूल्यांकन के दावे अप्रमाणित होंगे।
जनरेटेड आउटपुट में 'यथार्थवाद' के वर्तमान मानदंडों को मीट्रिक फ़ंक्शन में शामिल करना दीर्घकालिक गलती हो सकती है, क्योंकि जनरेटेड AI सिस्टम की नई लहर द्वारा संचालित यथार्थवाद की हमारी समझ विकसित हो रही है।
*इस बिंदु पर, मैं सामान्य रूप से हाल के शैक्षणिक प्रस्तुति से एक उदाहरणात्मक वीडियो उदाहरण शामिल करूंगा; लेकिन यह कटु होगा - जो कोई भी Arxiv के जनरेटेड AI आउटपुट को 10-15 मिनट से अधिक समय तक देखता है, उसे पहले से ही पूरक वीडियो मिल चुके होंगे जिनकी व्यक्तिपरक खराब गुणवत्ता यह इंगित करती है कि संबंधित प्रस्तुति को ऐतिहासिक पत्र के रूप में स्वीकार नहीं किया जाएगा।*
*प्रयोगों में कुल 46 छवि बैकबोन मॉडल का उपयोग किया गया, जिनमें से सभी को ग्राफ परिणामों में शामिल नहीं किया गया है। पूर्ण सूची के लिए कृपया पत्र के परिशिष्ट को देखें; तालिकाओं और आंकड़ों में शामिल किए गए लोगों को सूचीबद्ध किया गया है।*
पहली बार मंगलवार, 1 अप्रैल, 2025 को प्रकाशित
संबंधित लेख
AI-चालित पॉडकास्ट उपकरण सरलीकृत सामग्री निर्माण के लिए
पॉडकास्ट का निर्माण और परिष्करण करना एक साथ चुनौतीपूर्ण और संतुष्टिदायक हो सकता है। कई पॉडकास्टरों को समय लेने वाले कार्यों जैसे कि फिलर शब्दों को हटाने, आकर्षक शो नोट्स तैयार करने, और सामग्री को प्रभ
ब्रिटनी स्पीयर्स का लाल कैटसूट: पॉप फैशन में एक निर्णायक क्षण
ब्रिटनी स्पीयर्स, पॉप की सत्तारूढ़ आइकन, ने अपनी बोल्ड शैली से दर्शकों को लगातार मोहित किया है। उनके म्यूजिक वीडियो न केवल संगीतमय हिट हैं, बल्कि फैशन के मील के पत्थर भी हैं। यह लेख 'ऊप्स!...आई डिड इट
परम भक्ति की खोज: विश्वास, प्रेम और आध्यात्मिक स्वतंत्रता
एक ऐसी दुनिया में जो अराजकता और व्याकुलताओं से भरी है, आध्यात्मिक संबंध के लिए शांति के क्षण निकालना जीवन को बदल सकता है। यह लेख यीशु की पूजा के गहन कार्य में उतरता है, विश्वास, ईश्वरीय प्रेम और आध्या
सूचना (6)
0/200
![RalphMartínez]()
RalphMartínez
22 जुलाई 2025 6:55:03 पूर्वाह्न IST
This AI video critique stuff is wild! Imagine a machine roasting your YouTube edits better than a film critic. 😄 Kinda scary how smart these models are getting, though—hope they don’t start judging my binge-watching habits next!
0
![FrankSmith]()
FrankSmith
25 अप्रैल 2025 7:59:53 पूर्वाह्न IST
AI Learns to Deliver Enhanced Video Critiques는 유용하지만 비디오 품질의 미묘한 부분을 잡아내는 데는 아직 부족함이 있습니다. 빠른 분석에는 좋지만, 세부 사항까지 완벽하게 원한다면 다른 도구도 고려해보세요. 한번 사용해볼 만해요! 😉
0
![GaryGarcia]()
GaryGarcia
23 अप्रैल 2025 4:39:01 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques is a cool tool but it still struggles with some nuances of video quality. It's great for getting a quick analysis but don't expect it to catch every subtle detail. Worth a try if you're into video critiquing! 😎
0
![KennethKing]()
KennethKing
22 अप्रैल 2025 3:26:13 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques é uma ferramenta legal, mas ainda tem dificuldade com alguns detalhes da qualidade do vídeo. É ótimo para uma análise rápida, mas não espere que pegue todos os detalhes sutis. Vale a pena experimentar se você gosta de críticas de vídeo! 😄
0
![DouglasPerez]()
DouglasPerez
22 अप्रैल 2025 2:25:54 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques es una herramienta genial, pero todavía le cuesta captar algunos matices de la calidad del video. Es excelente para obtener un análisis rápido, pero no esperes que capture cada detalle sutil. ¡Vale la pena probarlo si te interesa la crítica de videos! 😃
0
![GaryGonzalez]()
GaryGonzalez
20 अप्रैल 2025 7:52:28 पूर्वाह्न IST
AI Learns to Deliver Enhanced Video Critiquesは便利ですが、ビデオの品質の微妙な部分を捉えるのはまだ難しいです。素早い分析には便利ですが、細部まで完璧を求めるなら他のツールも検討してみてください。試してみる価値はありますよ！😊
0
एआई अनुसंधान में वीडियो सामग्री का मूल्यांकन在天
कंप्यूटर विजन साहित्य की दुनिया में गोता लगाने पर, बड़े विजन-भाषा मॉडल (एलवीएलएम) जटिल प्रस्तुतियों की व्याख्या के लिए अमूल्य हो सकते हैं। हालांकि, वैज्ञानिक पत्रों के साथ आने वाले वीडियो उदाहरणों की गुणवत्ता और योग्यता का आकलन करने में महत्वपूर्ण बाधा आती है। यह एक महत्वपूर्ण पहलू है क्योंकि आकर्षक दृश्य अनुसंधान परियोजनाओं में किए गए दावों को उत्साह उत्पन्न करने और मान्य करने में पाठ जितना ही महत्वपूर्ण है।
विशेष रूप से वीडियो संश्लेषण परियोजनाएं, खारिज होने से बचने के लिए वास्तविक वीडियो आउटपुट प्रदर्शन पर बहुत अधिक निर्भर करती हैं। इन प्रदर्शनों में परियोजना के वास्तविक प्रदर्शन का मूल्यांकन किया जा सकता है, जो अक्सर परियोजना के बड़े दावों और इसकी वास्तविक क्षमताओं के बीच की खाई को प्रकट करता है।
मैंने किताब पढ़ी, फिल्म नहीं देखी
वर्तमान में, लोकप्रिय एपीआई-आधारित बड़े भाषा मॉडल (एलएलएम) और बड़े विजन-भाषा मॉडल (एलवीएलएम) वीडियो सामग्री का सीधे विश्लेषण करने के लिए सुसज्जित नहीं हैं। उनकी क्षमताएं वीडियो से संबंधित प्रतिलेखों और अन्य पाठ-आधारित सामग्रियों के विश्लेषण तक सीमित हैं। यह सीमा तब स्पष्ट होती है जब इन मॉडलों से वीडियो सामग्री का सीधे विश्लेषण करने के लिए कहा जाता है।
*GPT-4o, Google Gemini और Perplexity के विभिन्न आपत्तियां, जब बिना प्रतिलेखों या अन्य पाठ-आधारित स्रोतों के वीडियो का सीधे विश्लेषण करने के लिए कहा जाता है।*
कुछ मॉडल, जैसे ChatGPT-4o, वीडियो का व्यक्तिपरक मूल्यांकन प्रदान करने का प्रयास कर सकते हैं, लेकिन दबाव डालने पर अंततः स्वीकार करते हैं कि वे वीडियो को सीधे नहीं देख सकते।
*एक नए शोध पत्र से संबंधित वीडियो का व्यक्तिपरक मूल्यांकन करने के लिए कहा गया, और वास्तविक राय नकली करने के बाद, ChatGPT-4o अंततः स्वीकार करता है कि वह वीडियो को सीधे नहीं देख सकता।*
हालांकि ये मॉडल मल्टीमॉडल हैं और वीडियो से निकाले गए एकल फ्रेम जैसे व्यक्तिगत फोटो का विश्लेषण कर सकते हैं, उनकी गुणात्मक राय प्रदान करने की क्षमता संदिग्ध है। एलएलएम अक्सर 'लोगों को खुश करने वाली' प्रतिक्रियाएं देने की प्रवृत्ति रखते हैं बजाय ईमानदार आलोचनाओं के। इसके अलावा, वीडियो में कई समस्याएं अस्थायी होती हैं, जिसका अर्थ है कि एकल फ्रेम का विश्लेषण पूरी तरह से मुद्दे को चूक जाता है।
एलएलएम केवल पाठ-आधारित ज्ञान का उपयोग करके, जैसे कि डीपफेक इमेजरी या कला इतिहास को समझकर, मानव अंतर्दृष्टि के आधार पर सीखे गए एम्बेडिंग के साथ दृश्य गुणवत्ता को सहसंबंधित करके वीडियो पर 'मूल्य निर्णय' दे सकता है।
*FakeVLM परियोजना विशेष मल्टी-मॉडल विजन-भाषा मॉडल के माध्यम से लक्षित डीपफेक पहचान प्रदान करती है।* स्रोत: https://arxiv.org/pdf/2503.14905
हालांकि एलएलएम, YOLO जैसे सहायक एआई सिस्टम की मदद से वीडियो में वस्तुओं की पहचान कर सकता है, मानव राय को प्रतिबिंबित करने वाली हानि फ़ंक्शन-आधारित मीट्रिक के बिना व्यक्तिपरक मूल्यांकन मायावी रहता है।
सशर्त दृष्टि
हानि फ़ंक्शन मॉडल प्रशिक्षण में आवश्यक हैं, जो भविष्यवाणियों के सही उत्तरों से कितनी दूर होने को मापते हैं और मॉडल को त्रुटियों को कम करने के लिए मार्गदर्शन करते हैं। इनका उपयोग एआई-जनरेटेड सामग्री, जैसे फोटोरियलिस्टिक वीडियो, का मूल्यांकन करने के लिए भी किया जाता है।
एक लोकप्रिय मीट्रिक है Fréchet Inception Distance (FID), जो जनरेटेड और वास्तविक छवियों के वितरण के बीच समानता को मापता है। FID सांख्यिकीय अंतरों की गणना के लिए Inception v3 नेटवर्क का उपयोग करता है, और कम स्कोर उच्च दृश्य गुणवत्ता और विविधता को इंगित करता है।
हालांकि, FID आत्म-संदर्भित और तुलनात्मक है। 2021 में पेश किया गया Conditional Fréchet Distance (CFD) इस समस्या को संबोधित करता है, जो यह भी विचार करता है कि जनरेटेड छवियां अतिरिक्त शर्तों, जैसे वर्ग लेबल या इनपुट छवियों के साथ कितनी अच्छी तरह मेल खाती हैं।
*2021 CFD प्रदर्शन के उदाहरण।* स्रोत: https://github.com/Michael-Soloveitchik/CFID/
CFD का लक्ष्य गुणात्मक मानव व्याख्या को मीट्रिक में एकीकृत करना है, लेकिन इस दृष्टिकोण में संभावित पक्षपात, बार-बार अपडेट की आवश्यकता, और बजट बाधाएं जैसी चुनौतियां हैं जो समय के साथ मूल्यांकन की स्थिरता और विश्वसनीयता को प्रभावित कर सकती हैं।
cFreD
अमेरिका से हाल ही का एक पत्र Conditional Fréchet Distance (cFreD) प्रस्तुत करता है, एक नया मीट्रिक जो दृश्य गुणवत्ता और पाठ-छवि संरेखण दोनों का मूल्यांकन करके मानव प्राथमिकताओं को बेहतर ढंग से प्रतिबिंबित करने के लिए डिज़ाइन किया गया है।
*नए पत्र से आंशिक परिणाम: 'एक लिविंग रूम जिसमें एक सोफा और सोफे पर रखा एक लैपटॉप कंप्यूटर है' प्रॉम्प्ट के लिए विभिन्न मीट्रिक द्वारा छवि रैंकिंग (1-9)। हरा रंग शीर्ष मानव-रेटेड मॉडल (FLUX.1-dev) को हाइलाइट करता है, बैंगनी रंग सबसे कम (SDv1.5) को। केवल cFreD मानव रैंकिंग से मेल खाता है। पूर्ण परिणामों के लिए कृपया स्रोत पत्र देखें, जिसे हम यहां पुन: प्रस्तुत करने के लिए स्थान नहीं रखते।* स्रोत: https://arxiv.org/pdf/2503.21721
लेखक तर्क देते हैं कि Inception Score (IS) और FID जैसे पारंपरिक मीट्रिक केवल छवि गुणवत्ता पर ध्यान केंद्रित करते हैं, बिना यह विचार किए कि छवियां अपने प्रॉम्प्ट से कितनी अच्छी तरह मेल खाती हैं। वे प्रस्ताव करते हैं कि cFreD छवि गुणवत्ता और इनपुट पाठ पर शर्त को कैप्चर करता है, जिससे मानव प्राथमिकताओं के साथ उच्च सहसंबंध प्राप्त होता है।
*पत्र के परीक्षणों से संकेत मिलता है कि लेखकों द्वारा प्रस्तावित मीट्रिक, cFreD, तीन बेंचमार्क डेटासेट (PartiPrompts, HPDv2, और COCO) पर FID, FDDINOv2, CLIPScore, और CMMD की तुलना में मानव प्राथमिकताओं के साथ लगातार उच्च सहसंबंध प्राप्त करता है।*
अवधारणा और विधि
पाठ-से-छवि मॉडल का मूल्यांकन करने के लिए स्वर्ण मानक क्राउड-सोर्स्ड तुलनाओं के माध्यम से एकत्र किया गया मानव प्राथमिकता डेटा है, जो बड़े भाषा मॉडल के लिए उपयोग की जाने वाली विधियों के समान है। हालांकि, ये विधियां महंगी और धीमी हैं, जिसके कारण कुछ प्लेटफॉर्म अपडेट बंद कर देते हैं।
*Artificial Analysis Image Arena Leaderboard, जो जनरेटेड विजुअल AI में वर्तमान में अनुमानित नेताओं को रैंक करता है।* स्रोत: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard
FID, CLIPScore, और cFreD जैसे स्वचालित मीट्रिक भविष्य के मॉडल के मूल्यांकन के लिए महत्वपूर्ण हैं, खासकर जब मानव प्राथमिकताएं विकसित होती हैं। cFreD मानता है कि वास्तविक और जनरेटेड छवियां गाऊसी वितरण का पालन करती हैं और प्रॉम्प्ट के पार अपेक्षित Fréchet दूरी को मापता है, जो यथार्थवाद और पाठ स्थिरता दोनों का आकलन करता है।
डेटा और परीक्षण
cFreD के मानव प्राथमिकताओं के साथ सहसंबंध का मूल्यांकन करने के लिए, लेखकों ने एक ही पाठ प्रॉम्प्ट के साथ कई मॉडल से छवि रैंकिंग का उपयोग किया। उन्होंने Human Preference Score v2 (HPDv2) परीक्षण सेट और PartiPrompts Arena का उपयोग किया, डेटा को एकल डेटासेट में समेकित किया।
नए मॉडल के लिए, उन्होंने COCO के प्रशिक्षण और सत्यापन सेट से 1,000 प्रॉम्प्ट का उपयोग किया, यह सुनिश्चित करते हुए कि HPDv2 के साथ कोई ओवरलैप न हो, और Arena Leaderboard से नौ मॉडल का उपयोग करके छवियां जनरेट कीं। cFreD को कई सांख्यिकीय और सीखे गए मीट्रिक के खिलाफ मूल्यांकन किया गया, जो मानव निर्णयों के साथ मजबूत संरेखण दिखाता है।
*HPDv2 परीक्षण सेट पर मॉडल रैंकिंग और स्कोर, सांख्यिकीय मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, HPSv2, और MPS) का उपयोग करके। सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
cFreD ने मानव प्राथमिकताओं के साथ उच्चतम संरेखण प्राप्त किया, 0.97 का सहसंबंध और 91.1% की रैंक सटीकता प्राप्त की। इसने मानव प्राथमिकता डेटा पर प्रशिक्षित मीट्रिक सहित अन्य मीट्रिक को पीछे छोड़ दिया, जो विविध मॉडल में इसकी विश्वसनीयता को दर्शाता है।
*PartiPrompt पर मॉडल रैंकिंग और स्कोर, सांख्यिकीय मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, और MPS) का उपयोग करके। सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
PartiPrompts Arena में, cFreD ने 0.73 के उच्चतम सहसंबंध के साथ मानव मूल्यांकन के साथ सबसे अधिक संरेखण दिखाया, जिसके बाद FID और FDDINOv2 निकटता से थे। हालांकि, मानव प्राथमिकताओं पर प्रशिक्षित HPSv2 ने 0.83 के साथ सबसे मजबूत संरेखण दिखाया।
*COCO प्रॉम्प्ट पर मॉडल रैंकिंग, स्वचालित मीट्रिक (FID, FDDINOv2, CLIPScore, CMMD, और cFreD) और मानव प्राथमिकता-प्रशिक्षित मीट्रिक (Aesthetic Score, ImageReward, HPSv2, और MPS) का उपयोग करके। 0.5 से कम रैंक सटीकता असंगत जोड़ों को इंगित करती है, और सर्वश्रेष्ठ परिणाम बोल्ड में हैं, दूसरा सर्वश्रेष्ठ रेखांकित है।*
COCO डेटासेट मूल्यांकन में, cFreD ने 0.33 का सहसंबंध और 66.67% की रैंक सटीकता प्राप्त की, जो मानव प्राथमिकताओं के साथ संरेखण में तीसरे स्थान पर रहा, केवल मानव डेटा पर प्रशिक्षित मीट्रिक के पीछे।
*COCO डेटासेट पर प्रत्येक छवि बैकबोन की रैंकिंग कितनी बार वास्तविक मानव-व्युत्पन्न रैंकिंग से मेल खाती है, यह दिखाने वाली जीत दरें।*
लेखकों ने Inception V3 का भी परीक्षण किया और पाया कि यह DINOv2-L/14 और ViT-L/16 जैसे ट्रांसफॉर्मर-आधारित बैकबोन से पीछे रह गया, जो लगातार मानव रैंकिंग के साथ बेहतर संरेखण करते हैं।
निष्कर्ष
हालांकि मानव-इन-द-लूप समाधान मीट्रिक और हानि फ़ंक्शन विकसित करने के लिए इष्टतम दृष्टिकोण बने हुए हैं, अपडेट की मात्रा और आवृत्ति उन्हें अव्यवहारिक बनाती है। cFreD की विश्वसनीयता मानव निर्णय के साथ इसके संरेखण पर निर्भर करती है, हालांकि अप्रत्यक्ष रूप से। मीट्रिक की वैधता मानव प्राथमिकता डेटा पर निर्भर करती है, क्योंकि बिना ऐसे बेंचमार्क के, मानव-समान मूल्यांकन के दावे अप्रमाणित होंगे।
जनरेटेड आउटपुट में 'यथार्थवाद' के वर्तमान मानदंडों को मीट्रिक फ़ंक्शन में शामिल करना दीर्घकालिक गलती हो सकती है, क्योंकि जनरेटेड AI सिस्टम की नई लहर द्वारा संचालित यथार्थवाद की हमारी समझ विकसित हो रही है।
*इस बिंदु पर, मैं सामान्य रूप से हाल के शैक्षणिक प्रस्तुति से एक उदाहरणात्मक वीडियो उदाहरण शामिल करूंगा; लेकिन यह कटु होगा - जो कोई भी Arxiv के जनरेटेड AI आउटपुट को 10-15 मिनट से अधिक समय तक देखता है, उसे पहले से ही पूरक वीडियो मिल चुके होंगे जिनकी व्यक्तिपरक खराब गुणवत्ता यह इंगित करती है कि संबंधित प्रस्तुति को ऐतिहासिक पत्र के रूप में स्वीकार नहीं किया जाएगा।*
*प्रयोगों में कुल 46 छवि बैकबोन मॉडल का उपयोग किया गया, जिनमें से सभी को ग्राफ परिणामों में शामिल नहीं किया गया है। पूर्ण सूची के लिए कृपया पत्र के परिशिष्ट को देखें; तालिकाओं और आंकड़ों में शामिल किए गए लोगों को सूचीबद्ध किया गया है।*
पहली बार मंगलवार, 1 अप्रैल, 2025 को प्रकाशित
AI-चालित पॉडकास्ट उपकरण सरलीकृत सामग्री निर्माण के लिए
पॉडकास्ट का निर्माण और परिष्करण करना एक साथ चुनौतीपूर्ण और संतुष्टिदायक हो सकता है। कई पॉडकास्टरों को समय लेने वाले कार्यों जैसे कि फिलर शब्दों को हटाने, आकर्षक शो नोट्स तैयार करने, और सामग्री को प्रभ
ब्रिटनी स्पीयर्स का लाल कैटसूट: पॉप फैशन में एक निर्णायक क्षण
ब्रिटनी स्पीयर्स, पॉप की सत्तारूढ़ आइकन, ने अपनी बोल्ड शैली से दर्शकों को लगातार मोहित किया है। उनके म्यूजिक वीडियो न केवल संगीतमय हिट हैं, बल्कि फैशन के मील के पत्थर भी हैं। यह लेख 'ऊप्स!...आई डिड इट
परम भक्ति की खोज: विश्वास, प्रेम और आध्यात्मिक स्वतंत्रता
एक ऐसी दुनिया में जो अराजकता और व्याकुलताओं से भरी है, आध्यात्मिक संबंध के लिए शांति के क्षण निकालना जीवन को बदल सकता है। यह लेख यीशु की पूजा के गहन कार्य में उतरता है, विश्वास, ईश्वरीय प्रेम और आध्या
22 जुलाई 2025 6:55:03 पूर्वाह्न IST
This AI video critique stuff is wild! Imagine a machine roasting your YouTube edits better than a film critic. 😄 Kinda scary how smart these models are getting, though—hope they don’t start judging my binge-watching habits next!
0
25 अप्रैल 2025 7:59:53 पूर्वाह्न IST
AI Learns to Deliver Enhanced Video Critiques는 유용하지만 비디오 품질의 미묘한 부분을 잡아내는 데는 아직 부족함이 있습니다. 빠른 분석에는 좋지만, 세부 사항까지 완벽하게 원한다면 다른 도구도 고려해보세요. 한번 사용해볼 만해요! 😉
0
23 अप्रैल 2025 4:39:01 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques is a cool tool but it still struggles with some nuances of video quality. It's great for getting a quick analysis but don't expect it to catch every subtle detail. Worth a try if you're into video critiquing! 😎
0
22 अप्रैल 2025 3:26:13 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques é uma ferramenta legal, mas ainda tem dificuldade com alguns detalhes da qualidade do vídeo. É ótimo para uma análise rápida, mas não espere que pegue todos os detalhes sutis. Vale a pena experimentar se você gosta de críticas de vídeo! 😄
0
22 अप्रैल 2025 2:25:54 अपराह्न IST
AI Learns to Deliver Enhanced Video Critiques es una herramienta genial, pero todavía le cuesta captar algunos matices de la calidad del video. Es excelente para obtener un análisis rápido, pero no esperes que capture cada detalle sutil. ¡Vale la pena probarlo si te interesa la crítica de videos! 😃
0
20 अप्रैल 2025 7:52:28 पूर्वाह्न IST
AI Learns to Deliver Enhanced Video Critiquesは便利ですが、ビデオの品質の微妙な部分を捉えるのはまだ難しいです。素早い分析には便利ですが、細部まで完璧を求めるなら他のツールも検討してみてください。試してみる価値はありますよ！😊
0
