實時AI的批處數據處理太慢：開源Apache氣流3.0如何通過事件驅動的數據編排解決挑戰

將資料從各種來源移動到適合AI應用的地方並非小事。這就是Apache Airflow等資料編排工具的用武之地，使流程更順暢、更高效。

Apache Airflow社群剛剛發布了多年來最重要的更新，推出了3.0版。這是四年來首次重大更新，繼2024年的2.x系列（包括2.9和2.10版本）穩定改進後，這些版本特別專注於AI增強功能。

Apache Airflow已成為資料工程師的首選工具，鞏固了其作為頂級開源工作流程編排平台的地位。擁有超過3,000名貢獻者，並在財富500強企業中廣泛使用，其受歡迎程度顯而易見。基於其上的商業服務也不少，例如Astronomer Astro、Google Cloud Composer、Amazon Managed Workflows for Apache Airflow (MWAA)和Microsoft Azure Data Factory Managed Airflow等。

隨著企業在不同系統、雲端及日益增加的AI工作負載中協調資料工作流程，對強大解決方案的需求日益增長。Apache Airflow 3.0通過架構全面改造，滿足這些企業需求，承諾提升組織開發和部署資料應用的方式。

“對我來說，Airflow 3是一個新起點，為更廣泛的功能奠定了基礎，”Apache Airflow PMC（專案管理委員會）成員兼Astronomer首席策略官Vikram Koka在接受VentureBeat獨家採訪時表示。“這幾乎是根據企業對下一階段關鍵任務採用的需求，進行了徹底的重構。”

企業資料複雜性改變了資料編排需求

隨著企業越來越依賴資料進行決策，資料工作流程的複雜性急劇上升。企業現在需處理跨越多個雲端環境、不同資料來源以及日益複雜的AI工作負載的複雜管道。

Airflow 3.0專為滿足這些不斷變化的企業需求而設計。與前代不同，此版本從單一結構轉向分散式客戶端模型，提供更大的靈活性和安全性。此新架構使企業能夠：

1. 在多個雲端環境中執行任務。
2. 實施詳細的安全控制。
3. 支援多種程式語言。
4. 實現真正的多雲部署。

Airflow 3.0的語言支援擴展尤為值得注意。雖然早期版本主要專注於Python，但新版本現在原生支援多種程式語言。Airflow 3.0目前支援Python和Go，並計劃加入Java、TypeScript和Rust。這種靈活性意味著資料工程師可以使用他們偏好的程式語言，使工作流程開發和整合更順暢。

事件驅動功能改變資料工作流程

傳統上，Airflow擅長於定時批次處理，但企業現在需要即時資料處理能力。Airflow 3.0迎合了這一需求。

“Airflow 3的關鍵變化是我們所說的事件驅動調度，”Koka解釋道。

Airflow不再按固定時間表（例如每小時）運行資料處理作業，而是可以在特定事件發生時觸發作業，例如當資料檔案上傳至Amazon S3儲存桶或Apache Kafka中出現訊息時。這種事件驅動調度彌合了傳統ETL（提取、轉換和載入）工具與Apache Flink或Apache Spark Structured Streaming等串流處理框架之間的差距，使組織能夠通過單一編排層管理定時和事件觸發的工作流程。

Airflow將加速企業AI推論執行和複合AI

事件驅動資料編排的引入也將提升Airflow支援快速AI推論執行的能力。

Koka舉例說明了使用即時推論進行專業服務，如法律時間追蹤。在這種情況下，Airflow幫助從日曆、電子郵件和文件等來源收集原始資料。大型語言模型（LLM）將這些非結構化資料轉換為結構化資訊。另一個預訓練模型可以分析這些結構化時間追蹤資料，判斷工作是否可計費，並分配適當的計費代碼和費率。

Koka稱這為複合AI系統——一個結合不同AI模型以高效、智慧地完成複雜任務的工作流程。Airflow 3.0的事件驅動架構使這種即時、多步驟推論過程在各種企業用例中變得可行。

複合AI是2024年由Berkeley Artificial Intelligence Research Center首次定義的概念，與代理AI不同。Koka解釋說，雖然代理AI實現自主AI決策，但複合AI遵循預定義的工作流程，對商業應用更可預測和可靠。

與Airflow合作，德州遊騎兵如何受益

德州遊騎兵棒球隊是眾多Airflow使用者之一。德州遊騎兵棒球俱樂部的全棧資料工程師Oliver Dykstra在接受VentureBeat採訪時表示，該隊使用Astronomer Astro平台上的Airflow作為棒球資料運營的“神經中樞”。所有球員發展、合約、分析和比賽資料都通過Airflow進行編排。

“我們期待升級到Airflow 3及其在事件驅動調度、可觀察性和資料沿革方面的增強功能，”Dykstra說。“由於我們已經依賴Airflow管理關鍵的AI/ML管道，Airflow 3的額外效率和可靠性將有助於提升我們整個組織對這些資料產品的信任和韌性。”

這對企業AI採用意味著什麼

對於評估資料編排策略的技術決策者，Airflow 3.0提供了可逐步實施的具體好處。

第一步是評估當前資料工作流程，找出可從新的事件驅動功能中受益的管道。組織可以確定目前使用定時作業但使用事件觸發更有效率的資料管道。這種轉變可顯著降低處理延遲並消除不必要的輪詢操作。

接下來，技術領導者應審查其開發環境，查看Airflow的擴展語言支援是否能幫助整合分散的編排工具。目前管理不同語言環境的獨立編排工具的團隊，可以開始規劃遷移策略以簡化其技術堆疊。

對於處於AI實施前沿的企業，Airflow 3.0是一個關鍵的基礎設施組件，解決了AI採用中的一個核心挑戰：在大規模企業中編排複雜的多階段AI工作流程。該平台協調複合AI系統的能力，可以幫助組織超越概念驗證，實現企業範圍的AI部署，確保適當的治理、安全性和可靠性。