Die Verarbeitung von Stapeldaten ist für Echtzeit-KI zu langsam: Wie Open-Source-Airflow 3.0 die Herausforderung mit ereignisgesteuerter Datenorchestrierung löst

Das Verschieben von Daten aus verschiedenen Quellen an den richtigen Ort für KI-Anwendungen ist keine Kleinigkeit. Hier kommen Datenorchestrierungstools wie Apache Airflow ins Spiel, die den Prozess reibungsloser und effizienter gestalten.

Die Apache Airflow-Community hat gerade ihr bedeutendstes Update seit Jahren mit der Veröffentlichung von Version 3.0 herausgebracht. Dies markiert das erste große Update seit vier Jahren, nach stetigen Verbesserungen in der 2.x-Serie, einschließlich der Versionen 2.9 und 2.10 im Jahr 2024, die stark auf KI-Verbesserungen fokussiert waren.

Apache Airflow hat sich zum bevorzugten Werkzeug für Dateningenieure entwickelt und seinen Platz als führende Open-Source-Plattform für Workflow-Orchestrierung gefestigt. Mit über 3.000 Mitwirkenden und weit verbreiteter Nutzung unter Fortune-500-Unternehmen ist klar, warum es so beliebt ist. Es gibt auch mehrere kommerzielle Dienste, die darauf aufbauen, wie Astronomer Astro, Google Cloud Composer, Amazon Managed Workflows for Apache Airflow (MWAA) und Microsoft Azure Data Factory Managed Airflow, um nur einige zu nennen.

Da Unternehmen mit der Koordination von Datenworkflows über verschiedene Systeme, Clouds und zunehmend KI-Workloads zu kämpfen haben, wächst der Bedarf an robusten Lösungen. Apache Airflow 3.0 tritt an, um diese Unternehmensanforderungen mit einer architektonischen Überarbeitung zu erfüllen, die verspricht, die Entwicklung und Bereitstellung von Datenanwendungen zu verbessern.

„Für mich ist Airflow 3 ein neuer Anfang, eine Grundlage für eine viel breitere Palette von Fähigkeiten“, teilte Vikram Koka, Mitglied des Apache Airflow PMC (Projektmanagement-Komitee) und Chief Strategy Officer bei Astronomer, in einem exklusiven Interview mit VentureBeat mit. „Dies ist fast eine komplette Überarbeitung, basierend auf dem, was Unternehmen uns für die nächste Stufe der unternehmenskritischen Einführung mitgeteilt haben.“

Die Komplexität von Unternehmensdaten hat die Anforderungen an die Datenorchestrierung verändert

Da Unternehmen zunehmend auf Daten für Entscheidungen angewiesen sind, ist die Komplexität von Datenworkflows sprunghaft gestiegen. Unternehmen jonglieren nun mit komplexen Pipelines, die mehrere Cloud-Umgebungen, vielfältige Datenquellen und zunehmend anspruchsvolle KI-Workloads umfassen.

Airflow 3.0 ist darauf zugeschnitten, diese sich entwickelnden Unternehmensanforderungen zu adressieren. Im Gegensatz zu seinen Vorgängern bewegt sich diese Version von einer monolithischen Struktur hin zu einem verteilten Client-Modell, das größere Flexibilität und Sicherheit bietet. Diese neue Architektur befähigt Unternehmen dazu:

1. Aufgaben über mehrere Cloud-Umgebungen hinweg auszuführen.
2. Detaillierte Sicherheitskontrollen zu implementieren.
3. Eine Vielzahl von Programmiersprachen zu unterstützen.
4. Echte Multi-Cloud-Bereitstellungen zu ermöglichen.

Die erweiterte Sprachunterstützung in Airflow 3.0 ist besonders bemerkenswert. Während frühere Versionen hauptsächlich auf Python fokussiert waren, unterstützt die neue Version nun nativ mehrere Programmiersprachen. Airflow 3.0 unterstützt derzeit Python und Go, mit Plänen, Java, TypeScript und Rust einzubeziehen. Diese Flexibilität bedeutet, dass Dateningenieure ihre bevorzugte Programmiersprache verwenden können, was die Workflow-Entwicklung und -Integration reibungsloser macht.

Ereignisgesteuerte Fähigkeiten transformieren Datenworkflows

Traditionell war Airflow hervorragend in der geplanten Stapelverarbeitung, aber Unternehmen fordern nun Echtzeit-Datenverarbeitungsfähigkeiten. Airflow 3.0 tritt an, um diese Nachfrage zu erfüllen.

„Eine wesentliche Änderung in Airflow 3 ist das, was wir ereignisgesteuerte Planung nennen“, erklärte Koka.

Anstatt einen Datenverarbeitungsjob nach einem festen Zeitplan, wie stündlich, auszuführen, kann Airflow den Job nun auslösen, wenn ein bestimmtes Ereignis eintritt, wie z. B. wenn eine Datendatei in einen Amazon S3-Bucket hochgeladen wird oder eine Nachricht in Apache Kafka erscheint. Diese ereignisgesteuerte Planung schließt die Lücke zwischen traditionellen ETL (Extract, Transform, and Load)-Tools und Stream-Processing-Frameworks wie Apache Flink oder Apache Spark Structured Streaming, was es Organisationen ermöglicht, sowohl geplante als auch ereignisgesteuerte Workflows mit einer einzigen Orchestrierungsebene zu verwalten.

Airflow wird die Ausführung von Unternehmens-KI-Inferenzen und zusammengesetzte KI beschleunigen

Die Einführung der ereignisgesteuerten Datenorchestrierung wird auch die Fähigkeit von Airflow stärken, schnelle KI-Inferenzausführung zu unterstützen.

Koka gab ein Beispiel für die Nutzung von Echtzeit-Inferenz für professionelle Dienstleistungen wie die Zeiterfassung im Rechtsbereich. In diesem Szenario hilft Airflow, Rohdaten aus Quellen wie Kalendern, E-Mails und Dokumenten zu sammeln. Ein großes Sprachmodell (LLM) transformiert diese unstrukturierten Daten in strukturierte Informationen. Ein weiteres vortrainiertes Modell kann diese strukturierten Zeiterfassungsdaten analysieren, feststellen, ob die Arbeit abrechnungsfähig ist, und geeignete Abrechnungscodes und -raten zuweisen.

Koka bezeichnet dies als zusammengesetztes KI-System – ein Workflow, der verschiedene KI-Modelle kombiniert, um eine komplexe Aufgabe effizient und intelligent zu erledigen. Die ereignisgesteuerte Architektur von Airflow 3.0 macht diesen Typ von Echtzeit-, mehrstufigem Inferenzprozess für verschiedene Unternehmensanwendungsfälle machbar.

Zusammengesetzte KI, ein Konzept, das 2024 erstmals vom Berkeley Artificial Intelligence Research Center definiert wurde, unterscheidet sich von agentischer KI. Koka erklärte, dass während agentische KI autonome KI-Entscheidungen ermöglicht, zusammengesetzte KI vordefinierten Workflows folgt, die für Geschäftsanwendungen vorhersehbarer und zuverlässiger sind.

Mit Airflow im Spiel, wie die Texas Rangers profitieren wollen

Das Major-League-Baseballteam Texas Rangers gehört zu den vielen Nutzern von Airflow. Oliver Dykstra, ein Full-Stack-Dateningenieur beim Texas Rangers Baseball Club, teilte VentureBeat mit, dass das Team Airflow, gehostet auf der Astro-Plattform von Astronomer, als „Nervenzentrum“ ihrer Baseball-Datenoperationen nutzt. Alle Spielerförderungen, Verträge, Analysen und Spieldaten werden durch Airflow orchestriert.

„Wir freuen uns darauf, auf Airflow 3 zu aktualisieren und seine Verbesserungen bei der ereignisgesteuerten Planung, Beobachtbarkeit und Datenherkunft zu nutzen“, sagte Dykstra. „Da wir bereits auf Airflow angewiesen sind, um unsere kritischen KI/ML-Pipelines zu verwalten, wird die zusätzliche Effizienz und Zuverlässigkeit von Airflow 3 dazu beitragen, das Vertrauen und die Widerstandsfähigkeit dieser Datenprodukte in unserer gesamten Organisation zu erhöhen.“

Was dies für die Einführung von Unternehmens-KI bedeutet

Für technische Entscheidungsträger, die ihre Datenorchestrierungsstrategie bewerten, bietet Airflow 3.0 greifbare Vorteile, die schrittweise implementiert werden können.

Der erste Schritt besteht darin, aktuelle Datenworkflows zu bewerten, die von den neuen ereignisgesteuerten Fähigkeiten profitieren könnten. Organisationen können Datenpipelines identifizieren, die derzeit geplante Jobs verwenden, aber mit ereignisgesteuerten Auslösern effizienter wären. Diese Umstellung kann die Verarbeitungslatenz erheblich reduzieren und unnötige Abfrageoperationen eliminieren.

Als Nächstes sollten Technologieführer ihre Entwicklungsumgebungen überprüfen, um zu sehen, ob die erweiterte Sprachunterstützung von Airflow helfen könnte, fragmentierte Orchestrierungstools zu konsolidieren. Teams, die derzeit separate Orchestrierungstools für verschiedene Sprachumgebungen verwalten, können eine Migrationsstrategie planen, um ihren Technologie-Stack zu straffen.

Für Unternehmen an der Spitze der KI-Implementierung stellt Airflow 3.0 eine entscheidende Infrastrukturkomponente dar, die eine zentrale Herausforderung bei der KI-Einführung adressiert: die Orchestrierung komplexer, mehrstufiger KI-Workflows auf Unternehmensebene. Die Fähigkeit der Plattform, zusammengesetzte KI-Systeme zu koordinieren, könnte Organisationen dabei helfen, über Proof-of-Concepts hinaus zu einer unternehmensweiten KI-Bereitstellung zu gelangen, mit angemessener Governance, Sicherheit und Zuverlässigkeit.