Обработка данных пакетов слишком медленная для ИИ в реальном времени: как открытый исходный код Apache Airflow 3.0 решает задачу с помощью оркестровки данных, управляемой событиями,

Перемещение данных из различных источников в соответствующее место для приложений для ИИ является немалым подвигом. Именно здесь вступают в игру инструменты оркестровки данных, такие как Apache Airflow, что делает процесс более плавным и более эффективным.

Сообщество Apache Airflow только что выпустило свое наиболее значимое обновление за последние годы с запуска версии 3.0. Это знаменует собой первое крупное обновление за четыре года после устойчивых улучшений в серии 2.x, включая выпуски 2,9 и 2,10 в 2024 году, которые в значительной степени сосредоточены на улучшениях ИИ.

Apache Airflow стал инструментом для инженеров данных, закрепив свое место в качестве верхней платформы рабочего процесса с открытым исходным кодом. Имея более 3000 участников и широко распространенное использование среди компаний из списка Fortune 500, ясно, почему это так популярно. Есть также несколько коммерческих услуг, созданных на вершине ИТ, таких как астроном Astro, Google Cloud Composer, Amazon Managed Workflow для Apache Airflow (MWAA) и Microsoft Azure Factory Manageed Airflow.

По мере того, как компании сталкиваются с координацией рабочих процессов данных в разных системах, облаках и все чаще рабочих нагрузках ИИ, необходимость в надежных решениях растет. Apache Airflow 3.0 шагает для удовлетворения этих потребностей предприятия с помощью архитектурного пересмотра, который обещает улучшить то, как организации разрабатывают и развертывают приложения для данных.

«Для меня Airflow 3 - это новое начало, основа для гораздо более широкого набора возможностей», - член и главный стратегический директор Vikram Koka, член Apache Airflow PMC (комитет по управлению проектами) и директором по стратегии, поделился в эксклюзивном интервью с VentureBeat. «Это почти полный рефактор, основанный на том, что предприятия сказали нам, что им нужно для следующего уровня критически важного внедрения».

Сложность корпоративных данных изменила потребности в оркестровании данных

Поскольку предприятия все чаще полагаются на данные о принятии решений, сложность рабочих процессов данных взлетела. Компании в настоящее время совмещают сложные трубопроводы, которые охватывают несколько облачных сред, разнообразных источников данных и все более сложных рабочих нагрузок искусственного интеллекта.

Airflow 3.0 адаптирован для удовлетворения этих развивающихся потребностей предприятия. В отличие от своих предшественников, этот выпуск отходит от монолитной структуры к распределенной клиентской модели, предлагая большую гибкость и безопасность. Эта новая архитектура дает предприятиям:

1. Выполнить задачи в нескольких облачных средах.
2. Реализовать подробные элементы управления безопасности.
3. Поддержите различные языки программирования.
4. Включить истинные мульти-облачные развертывания.

Расширенная языковая поддержка в воздушном потоке 3.0 особенно заслуживает внимания. В то время как более ранние версии были в основном ориентированы на Python, новый релиз теперь изначально поддерживает несколько языков программирования. Airflow 3.0 в настоящее время поддерживает Python и GO, с планами включить Java, TypeScript и Rust. Эта гибкость означает, что инженеры данных могут использовать свой предпочтительный язык программирования, делая разработку и интеграцию рабочих процессов более плавными.

Возможности, управляемые событиями, преобразование рабочих процессов данных

Традиционно, воздушный поток отлично справляется с запланированной партийной обработкой, но в настоящее время предприятия требуют возможности обработки данных в реальном времени. Airflow 3.0 шагает, чтобы удовлетворить этот спрос.

«Ключевое изменение в воздушном потоке 3-это то, что мы называем планированием, управляемым событиями»,-объяснил Кока.

Вместо того, чтобы запустить задание по обработке данных в установленном графике, как и каждый час, Airflow теперь может запускать задание, когда происходит конкретное событие, например, когда в Apache Kafka загружается файл данных. Это управляемое событиями планирование соединяет разрыв между традиционными инструментами ETL (Extract, Transform и Load) и структурами обработки потоков, такими как Apache Flink или Apache Spark Structured Structured Studering, позволяя организациям управлять как запланированными, так и запускаемыми событиями рабочими процессами с одним слоем оркестровки.

Воздушный поток ускорит выполнение вывода AI Enterprise и составной ИИ

Внедрение оркестровки данных, управляемого событиями, также повысит способность воздушного потока поддерживать быстрое выполнение вывода ИИ.

Koka представила пример использования вывода в режиме реального времени для профессиональных услуг, таких как юридическое отслеживание времени. В этом сценарии воздушный поток помогает собирать необработанные данные из таких источников, как календари, электронные письма и документы. Большая языковая модель (LLM) затем преобразует эти неструктурированные данные в структурированную информацию. Другая предварительно обученная модель может проанализировать эти структурированные данные отслеживания времени, определить, является ли работа выплата, и назначить соответствующие коды и ставки.

Koka называет это как составную систему ИИ - рабочий процесс, который сочетает в себе различные модели ИИ для эффективного и интеллектуального выполнения сложной задачи. Архитектура Airflow 3.0, управляемая событиями, делает этот тип многоэтапного процесса вывода в режиме реального времени в различных случаях использования предприятия.

Compound AI, концепция, впервые определяемая Центром исследований в области искусственного интеллекта в Беркли в 2024 году, отличается от агента AI. Кока объяснил, что, хотя агент AI обеспечивает автономное принятие решений ИИ, составной ИИ следует предопределенным рабочим процессам, которые более предсказуемы и надежны для бизнес-приложений.

Играя в мяч с воздушным потоком, как техасские рейнджеры, которые можно получить

Бейсбольная команда высшей лиги Техас Рейнджерс входит в число многих пользователей воздушного потока. Оливер Дайкстра, инженер с полным стеком в бейсбольном клубе Texas Rangers, поделился с VentureBeat, что команда использует воздушный поток, размещенной на платформе астронома Astro, в качестве «нервного центра» их операций бейсбольных данных. Все разработки игроков, контракты, аналитика и игровые данные организованы через воздушный поток.

«Мы с нетерпением ждем возможности обновления до Airflow 3 и его улучшения планирования, управляемого событиями, наблюдения и линии данных»,-сказал Дайкстра. «Поскольку мы уже полагаемся на воздушный поток для управления нашими критическими трубопроводами AI/ML, дополнительная эффективность и надежность воздушного потока 3 помогут повысить доверие и устойчивость этих продуктов данных во всей нашей организации».

Что это значит для принятия ИИ предприятия

Для тех, кто принимает технические решения, оценивающие свою стратегию оркестровки данных, Airflow 3.0 предлагает ощутимые преимущества, которые могут быть реализованы постепенно.

Первым шагом является оценка текущих рабочих процессов данных, которые могут извлечь выгоду из новых возможностей, управляемых событиями. Организации могут точно определить трубопроводы данных, которые в настоящее время используют запланированные задания, но будут более эффективными с помощью триггеров на основе событий. Этот сдвиг может значительно снизить задержку обработки и устранить ненужные операции по опросам.

Далее, технологические лидеры должны пересмотреть свои среды развития, чтобы увидеть, может ли расширенная языковая поддержка Airflow помочь консолидировать фрагментированные инструменты оркестровки. В настоящее время команды, управляющие отдельными инструментами оркестровки для различных языковых сред, могут начать планирование стратегии миграции, чтобы упростить свой технологический стек.

Для предприятий, находящихся на переднем крае реализации ИИ, Airflow 3.0 представляет собой решающий компонент инфраструктуры, который решает ключевую проблему в принятии искусственного интеллекта: оркестровая сложные многоэтапные рабочие процессы ИИ в масштабе предприятия. Способность платформы координировать комплексные системы ИИ может помочь организациям выйти за рамки подтверждения концепции в развертывании ИИ в масштабах всего предприятия, обеспечивая надлежащее управление, безопасность и надежность.