बैच डेटा प्रोसेसिंग रियल-टाइम एआई के लिए बहुत धीमी है: कैसे ओपन-सोर्स अपाचे एयरफ्लो 3.0 इवेंट-चालित डेटा ऑर्केस्ट्रेशन के साथ चुनौती को हल करता है

AI अनुप्रयोगों के लिए विभिन्न स्रोतों से उपयुक्त स्थान पर डेटा को स्थानांतरित करना कोई छोटी उपलब्धि नहीं है। यह वह जगह है जहां अपाचे एयरफ्लो जैसे डेटा ऑर्केस्ट्रेशन टूल खेल में आते हैं, जिससे प्रक्रिया को चिकना और अधिक कुशल बनाया जाता है।

अपाचे एयरफ्लो समुदाय ने संस्करण 3.0 के लॉन्च के साथ वर्षों में अपना सबसे महत्वपूर्ण अपडेट जारी किया है। यह चार वर्षों में पहला प्रमुख अपडेट है, जिसमें 2.x श्रृंखला में स्थिर सुधारों के बाद, 2024 में 2.9 और 2.10 रिलीज़ शामिल हैं, जो एआई संवर्द्धन पर बहुत अधिक ध्यान केंद्रित करते हैं।

अपाचे एयरफ्लो डेटा इंजीनियरों के लिए गो-टू टूल बन गया है, जो शीर्ष ओपन-सोर्स वर्कफ़्लो ऑर्केस्ट्रेशन प्लेटफॉर्म के रूप में अपनी जगह को मजबूत करता है। फॉर्च्यून 500 कंपनियों के बीच 3,000 से अधिक योगदानकर्ताओं और व्यापक उपयोग के साथ, यह स्पष्ट है कि यह इतना लोकप्रिय क्यों है। इसके शीर्ष पर कई वाणिज्यिक सेवाएं भी बनाई गई हैं, जैसे कि एस्ट्रोनॉमर एस्ट्रो, गूगल क्लाउड कम्पोज़र, अमेज़ॅन ने अपाचे एयरफ्लो (MWAA) के लिए वर्कफ़्लोज़ प्रबंधित किया, और Microsoft Azure Data Factory प्रबंधित एयरफ्लो को कुछ नाम देने के लिए।

जैसा कि कंपनियां विभिन्न प्रणालियों, बादलों और तेजी से एआई वर्कलोड में डेटा वर्कफ़्लो को समन्वित करने के साथ जूझती हैं, मजबूत समाधान की आवश्यकता बढ़ती है। Apache Airflow 3.0 स्टेप्स इन एंटरप्राइज़ की जरूरतों को पूरा करने के लिए एक वास्तुशिल्प ओवरहाल के साथ जो संगठनों को बढ़ाने और डेटा एप्लिकेशन को तैनात करने का वादा करता है।

Apache AirFlow PMC (प्रोजेक्ट मैनेजमेंट कमेटी) के सदस्य और एस्ट्रोनॉमर्स में मुख्य रणनीति अधिकारी विक्रम कोका, "मेरे लिए, AirFlow 3 एक नई शुरुआत है, क्षमताओं के एक व्यापक सेट के लिए एक नींव है।" "यह लगभग एक पूर्ण रिफैक्टर है जो इस बात पर आधारित है कि उद्यमों ने हमें बताया कि उन्हें मिशन-महत्वपूर्ण अपनाने के अगले स्तर के लिए आवश्यक है।"

एंटरप्राइज़ डेटा जटिलता ने डेटा ऑर्केस्ट्रेशन की जरूरतों को बदल दिया है

निर्णय लेने के लिए डेटा पर निर्भर व्यवसायों के साथ, डेटा वर्कफ़्लोज़ की जटिलता आसमान छू गई है। कंपनियां अब जटिल पाइपलाइनों को टटोलती हैं जो कई क्लाउड वातावरण, विविध डेटा स्रोतों और तेजी से परिष्कृत एआई वर्कलोड को फैलाती हैं।

AirFlow 3.0 इन विकसित उद्यम जरूरतों को दूर करने के लिए तैयार है। अपने पूर्ववर्तियों के विपरीत, यह रिलीज एक अखंड संरचना से एक वितरित ग्राहक मॉडल तक दूर चला जाता है, जो अधिक लचीलापन और सुरक्षा प्रदान करता है। यह नई वास्तुकला उद्यमों को सशक्त बनाती है:

1. कई क्लाउड वातावरणों में कार्यों को निष्पादित करें।
2. विस्तृत सुरक्षा नियंत्रण लागू करें।
3. विभिन्न प्रकार की प्रोग्रामिंग भाषाओं का समर्थन करें।
4. सही बहु-क्लाउड परिनियोजन सक्षम करें।

एयरफ्लो 3.0 में विस्तारित भाषा का समर्थन विशेष रूप से उल्लेखनीय है। जबकि पहले के संस्करण मुख्य रूप से पायथन-केंद्रित थे, नई रिलीज़ अब मूल रूप से कई प्रोग्रामिंग भाषाओं का समर्थन करती है। AirFlow 3.0 वर्तमान में जावा, टाइपस्क्रिप्ट और जंग को शामिल करने की योजना के साथ पायथन और गो का समर्थन करता है। इस लचीलेपन का मतलब है कि डेटा इंजीनियर अपनी पसंदीदा प्रोग्रामिंग भाषा का उपयोग कर सकते हैं, जिससे वर्कफ़्लो विकास और एकीकरण स्मूथ हो सकता है।

इवेंट-संचालित क्षमताएं डेटा वर्कफ़्लो को बदल देती हैं

परंपरागत रूप से, AirFlow अनुसूचित बैच प्रसंस्करण में बहुत अच्छा रहा है, लेकिन उद्यम अब वास्तविक समय डेटा प्रसंस्करण क्षमताओं की मांग कर रहे हैं। इस मांग को पूरा करने के लिए एयरफ्लो 3.0 कदम।

"एयरफ्लो 3 में एक महत्वपूर्ण परिवर्तन वह है जिसे हम इवेंट-चालित शेड्यूलिंग कहते हैं," कोका ने समझाया।

एक सेट शेड्यूल पर डेटा प्रोसेसिंग जॉब चलाने के बजाय, हर घंटे की तरह, एयरफ्लो अब नौकरी को ट्रिगर कर सकता है जब कोई विशिष्ट घटना होती है, जैसे कि जब एक डेटा फ़ाइल अमेज़ॅन S3 बकेट पर अपलोड की जाती है या अपाचे काफ्का में एक संदेश दिखाई देता है। यह इवेंट-चालित शेड्यूलिंग पारंपरिक ईटीएल (एक्सट्रैक्ट, ट्रांसफॉर्म, और लोड) टूल और स्ट्रीम प्रोसेसिंग फ्रेमवर्क जैसे अपाचे फ्लिंक या अपाचे स्पार्क स्ट्रक्चर्ड स्ट्रीमिंग के बीच की खाई को पुल करता है, जिससे संगठनों को एक एकल ऑर्केस्ट्रेशन लेयर के साथ अनुसूचित और इवेंट-ट्रिगर वर्कफ़्लो दोनों का प्रबंधन करने की अनुमति मिलती है।

AirFlow उद्यम AI निष्कर्ष निष्पादन और यौगिक AI में तेजी लाएगा

इवेंट-संचालित डेटा ऑर्केस्ट्रेशन की शुरूआत में तेजी से एआई इनवेंशन निष्पादन का समर्थन करने के लिए एयरफ्लो की क्षमता को भी बढ़ावा मिलेगा।

कोका ने कानूनी समय ट्रैकिंग जैसी पेशेवर सेवाओं के लिए वास्तविक समय के अनुमान का उपयोग करने का एक उदाहरण प्रदान किया। इस परिदृश्य में, एयरफ्लो कैलेंडर, ईमेल और दस्तावेजों जैसे स्रोतों से कच्चे डेटा को इकट्ठा करने में मदद करता है। एक बड़ा भाषा मॉडल (LLM) तब इस असंरचित डेटा को संरचित जानकारी में बदल देता है। एक अन्य पूर्व-प्रशिक्षित मॉडल इस संरचित समय को ट्रैकिंग डेटा का विश्लेषण कर सकता है, यह निर्धारित कर सकता है कि क्या काम बिल योग्य है, और उपयुक्त बिलिंग कोड और दरों को असाइन करें।

कोका इसे एक यौगिक एआई प्रणाली के रूप में संदर्भित करता है - एक वर्कफ़्लो जो विभिन्न एआई मॉडल को कुशलतापूर्वक और समझदारी से एक जटिल कार्य को पूरा करने के लिए जोड़ता है। AirFlow 3.0 की घटना-चालित वास्तुकला इस प्रकार के वास्तविक समय, बहु-चरणीय निष्कर्ष प्रक्रिया को विभिन्न उद्यम उपयोग के मामलों में संभव बनाता है।

कम्पाउंड एआई, 2024 में बर्कले आर्टिफिशियल इंटेलिजेंस रिसर्च सेंटर द्वारा परिभाषित एक अवधारणा, एजेंट एआई से अलग है। कोका ने समझाया कि जबकि एजेंट एआई स्वायत्त एआई निर्णय लेने में सक्षम बनाता है, यौगिक एआई पूर्वनिर्धारित वर्कफ़्लो का अनुसरण करता है जो व्यावसायिक अनुप्रयोगों के लिए अधिक अनुमानित और विश्वसनीय हैं।

एयरफ्लो के साथ गेंद खेलना, कैसे टेक्सास रेंजर्स लाभ के लिए दिखते हैं

टेक्सास रेंजर्स मेजर लीग बेसबॉल टीम एयरफ्लो के कई उपयोगकर्ताओं में से एक है। टेक्सास रेंजर्स बेसबॉल क्लब में एक फुल-स्टैक डेटा इंजीनियर ओलिवर डाइकस्ट्रा ने वेंचरबीट के साथ साझा किया कि टीम एयरफ्लो का उपयोग करती है, जो एस्ट्रोनॉमर्स एस्ट्रो प्लेटफॉर्म पर होस्ट की जाती है, अपने बेसबॉल डेटा ऑपरेशन के 'नर्व सेंटर' के रूप में। सभी खिलाड़ी विकास, अनुबंध, एनालिटिक्स और गेम डेटा एयरफ्लो के माध्यम से ऑर्केस्ट्रेटेड हैं।

"हम एयरफ्लो 3 में अपग्रेड करने के लिए तत्पर हैं और इवेंट-संचालित शेड्यूलिंग, अवलोकन और डेटा वंश के लिए इसके संवर्द्धन," डाइकस्ट्रा ने कहा। "जैसा कि हम पहले से ही अपने महत्वपूर्ण एआई/एमएल पाइपलाइनों का प्रबंधन करने के लिए एयरफ्लो पर भरोसा करते हैं, एयरफ्लो 3 की अतिरिक्त दक्षता और विश्वसनीयता हमारे पूरे संगठन के भीतर इन डेटा उत्पादों के विश्वास और लचीलापन को बढ़ाने में मदद करेगी।"

एंटरप्राइज एआई गोद लेने के लिए इसका क्या मतलब है

अपने डेटा ऑर्केस्ट्रेशन रणनीति का मूल्यांकन करने वाले तकनीकी निर्णय-निर्माताओं के लिए, AirFlow 3.0 मूर्त लाभ प्रदान करता है जो धीरे-धीरे लागू किया जा सकता है।

पहला कदम वर्तमान डेटा वर्कफ़्लो का आकलन करना है जो नई इवेंट-संचालित क्षमताओं से लाभान्वित हो सकता है। संगठन वर्तमान में अनुसूचित नौकरियों का उपयोग करके डेटा पाइपलाइनों को इंगित कर सकते हैं, लेकिन इवेंट-आधारित ट्रिगर के साथ अधिक कुशल होंगे। यह बदलाव प्रसंस्करण विलंबता को कम कर सकता है और अनावश्यक मतदान संचालन को समाप्त कर सकता है।

इसके बाद, प्रौद्योगिकी नेताओं को यह देखने के लिए अपने विकास के वातावरण की समीक्षा करनी चाहिए कि क्या एयरफ्लो की विस्तारित भाषा समर्थन खंडित ऑर्केस्ट्रेशन टूल को समेकित करने में मदद कर सकता है। वर्तमान में विभिन्न भाषा वातावरण के लिए अलग -अलग ऑर्केस्ट्रेशन टूल का प्रबंधन करने वाली टीमें अपने प्रौद्योगिकी स्टैक को सुव्यवस्थित करने के लिए एक माइग्रेशन रणनीति की योजना बनाना शुरू कर सकती हैं।

एआई कार्यान्वयन में सबसे आगे के उद्यमों के लिए, एयरफ्लो 3.0 एक महत्वपूर्ण बुनियादी ढांचा घटक का प्रतिनिधित्व करता है जो एआई गोद लेने में एक महत्वपूर्ण चुनौती को संबोधित करता है: एक उद्यम पैमाने पर ऑर्केस्ट्रेटिंग कॉम्प्लेक्स, मल्टी-स्टेज एआई वर्कफ़्लोज़। यौगिक एआई सिस्टम को समन्वित करने के लिए मंच की क्षमता संगठनों को एंटरप्राइज़-वाइड एआई परिनियोजन के लिए प्रूफ-ऑफ-कॉन्सेप्ट से आगे बढ़ने में मदद कर सकती है, जिससे उचित शासन, सुरक्षा और विश्वसनीयता सुनिश्चित हो सकती है।