Xử lý dữ liệu hàng loạt quá chậm đối với AI thời gian thực: cách Apache Airflow 3.0 giải quyết thách thức với sự phối hợp dữ liệu dựa trên sự kiện

Di chuyển dữ liệu từ nhiều nguồn khác nhau đến nơi thích hợp cho các ứng dụng AI là không phải là một kỳ công nhỏ. Đây là nơi các công cụ điều phối dữ liệu như Apache Airflow phát huy tác dụng, làm cho quá trình này suôn sẻ và hiệu quả hơn.

Cộng đồng Apache Airflow vừa phát hành bản cập nhật quan trọng nhất trong nhiều năm với sự ra mắt của phiên bản 3.0. Điều này đánh dấu bản cập nhật lớn đầu tiên trong bốn năm, sau những cải tiến ổn định trong loạt 2.x, bao gồm các bản phát hành 2.9 và 2.10 vào năm 2024, tập trung nhiều vào các cải tiến AI.

Apache Airflow đã trở thành công cụ hướng tới cho các kỹ sư dữ liệu, củng cố vị trí của nó như là nền tảng điều phối dòng công việc nguồn mở hàng đầu. Với hơn 3.000 người đóng góp và sử dụng rộng rãi trong số các công ty Fortune 500, rõ ràng lý do tại sao nó rất phổ biến. Ngoài ra còn có một số dịch vụ thương mại được xây dựng trên đỉnh của nó, chẳng hạn như Astroon Astro, Google Cloud Composer, Amazon do Amazon quản lý cho Apache Airflow (MWAA) và Microsoft Azure Data Factory do Factory quản lý luồng không khí.

Khi các công ty vật lộn với việc phối hợp quy trình công việc dữ liệu trên các hệ thống, đám mây và khối lượng công việc ngày càng AI, nhu cầu về các giải pháp mạnh mẽ tăng lên. Apache Airflow 3.0 bước lên để đáp ứng các nhu cầu doanh nghiệp này với một cuộc đại tu kiến ​​trúc hứa hẹn sẽ tăng cường cách các tổ chức phát triển và triển khai các ứng dụng dữ liệu.

"Đối với tôi, Airflow 3 là một khởi đầu mới, một nền tảng cho một bộ khả năng rộng hơn nhiều", Vikram Koka, một thành viên và giám đốc chiến lược của Apache Airflow PMC (Ủy ban quản lý dự án) tại Astronomer, đã chia sẻ trong một cuộc phỏng vấn độc quyền với VentureBeat. "Đây gần như là một bộ tái cấu trúc hoàn chỉnh dựa trên những gì các doanh nghiệp nói với chúng tôi rằng họ cần cho cấp độ tiếp theo của việc áp dụng nhiệm vụ quan trọng."

Độ phức tạp của dữ liệu doanh nghiệp đã thay đổi nhu cầu điều phối dữ liệu

Với các doanh nghiệp ngày càng dựa vào dữ liệu để ra quyết định, sự phức tạp của quy trình công việc dữ liệu đã tăng vọt. Các công ty hiện đang tung hứng các đường ống phức tạp trải dài nhiều môi trường đám mây, các nguồn dữ liệu đa dạng và khối lượng công việc AI ngày càng tinh vi.

Airflow 3.0 được thiết kế để giải quyết các nhu cầu doanh nghiệp đang phát triển này. Không giống như những người tiền nhiệm của nó, bản phát hành này chuyển từ một cấu trúc nguyên khối sang mô hình khách hàng phân tán, mang lại sự linh hoạt và bảo mật cao hơn. Kiến trúc mới này trao quyền cho các doanh nghiệp:

1. Thực hiện các tác vụ trên nhiều môi trường đám mây.
2. Thực hiện kiểm soát bảo mật chi tiết.
3. Hỗ trợ một loạt các ngôn ngữ lập trình.
4. Kích hoạt triển khai đa đám mây thực sự.

Hỗ trợ ngôn ngữ mở rộng trong Airflow 3.0 đặc biệt đáng chú ý. Trong khi các phiên bản trước đó chủ yếu tập trung vào Python, bản phát hành mới hiện đang hỗ trợ nhiều ngôn ngữ lập trình. Airflow 3.0 hiện đang hỗ trợ Python và Go, với kế hoạch bao gồm Java, TypeScript và Rust. Tính linh hoạt này có nghĩa là các kỹ sư dữ liệu có thể sử dụng ngôn ngữ lập trình ưa thích của họ, làm cho phát triển quy trình làm việc và tích hợp mượt mà hơn.

Khả năng hướng sự kiện chuyển đổi quy trình công việc dữ liệu

Theo truyền thống, luồng không khí đã rất tuyệt vời trong việc xử lý hàng loạt theo lịch trình, nhưng các doanh nghiệp hiện đang yêu cầu các khả năng xử lý dữ liệu thời gian thực. Luồng không khí 3.0 bước lên để đáp ứng nhu cầu này.

"Một thay đổi quan trọng trong Airflow 3 là những gì chúng tôi gọi là lập lịch hướng sự kiện", Koka giải thích.

Thay vì chạy một công việc xử lý dữ liệu theo lịch trình đã đặt, như mỗi giờ, luồng không khí giờ đây có thể kích hoạt công việc khi xảy ra sự kiện cụ thể, chẳng hạn như khi tệp dữ liệu được tải lên xô Amazon S3 hoặc tin nhắn xuất hiện trong Apache Kafka. Lập lịch trình hướng đến sự kiện này thu hẹp khoảng cách giữa các công cụ ETL (trích xuất, biến đổi và tải) truyền thống và các khung xử lý luồng như Apache Flink hoặc Apache Spark có cấu trúc có cấu trúc, cho phép các tổ chức quản lý cả quy trình làm việc theo lịch trình và sự kiện với một lớp phối hợp duy nhất.

Luồng không khí sẽ tăng tốc thực thi suy luận AI của doanh nghiệp và hợp chất AI

Việc giới thiệu phối hợp dữ liệu dựa trên sự kiện cũng sẽ tăng khả năng của Airflow để hỗ trợ thực hiện suy luận AI nhanh chóng.

Koka đã cung cấp một ví dụ về việc sử dụng suy luận thời gian thực cho các dịch vụ chuyên nghiệp như theo dõi thời gian hợp pháp. Trong kịch bản này, luồng không khí giúp thu thập dữ liệu thô từ các nguồn như lịch, email và tài liệu. Một mô hình ngôn ngữ lớn (LLM) sau đó chuyển đổi dữ liệu phi cấu trúc này thành thông tin có cấu trúc. Một mô hình được đào tạo trước khác có thể phân tích dữ liệu theo dõi thời gian có cấu trúc này, xác định xem công việc có thể thanh toán hay không và gán các mã và tỷ lệ thanh toán phù hợp.

Koka đề cập đến điều này như một hệ thống AI hợp chất - một quy trình công việc kết hợp các mô hình AI khác nhau để hoàn thành một cách hiệu quả và thông minh một nhiệm vụ phức tạp. Kiến trúc hướng sự kiện của AirFlow 3.0 làm cho loại quy trình suy luận nhiều bước thời gian thực này khả thi trên các trường hợp sử dụng doanh nghiệp khác nhau.

Hợp chất AI, một khái niệm lần đầu tiên được xác định bởi Trung tâm nghiên cứu trí tuệ nhân tạo Berkeley vào năm 2024, khác với AI tác nhân. Koka giải thích rằng trong khi AI tác nhân cho phép ra quyết định AI tự trị, thì AI hợp chất tuân theo các quy trình công việc được xác định trước có thể dự đoán được và đáng tin cậy hơn cho các ứng dụng kinh doanh.

Chơi bóng với luồng không khí, các kiểm lâm viên Texas trông như thế nào

Đội bóng chày Major League Texas Rangers là một trong số nhiều người sử dụng Airflow. Oliver Dykstra, một kỹ sư dữ liệu đầy đủ tại Câu lạc bộ bóng chày Texas Rangers, được chia sẻ với VentureBeat rằng đội sử dụng Airflow, được tổ chức trên nền tảng Astro của Astronomer, làm 'trung tâm thần kinh' của các hoạt động dữ liệu bóng chày của họ. Tất cả sự phát triển của người chơi, hợp đồng, phân tích và dữ liệu trò chơi được phối hợp thông qua luồng không khí.

"Chúng tôi mong muốn nâng cấp lên luồng Air 3 và các cải tiến của nó để lập lịch, khả năng quan sát và dòng dữ liệu theo hướng sự kiện", Dykstra nói. "Vì chúng tôi đã dựa vào luồng khí để quản lý các đường ống AI/ML quan trọng của chúng tôi, hiệu quả và độ tin cậy của Airflow 3 sẽ giúp tăng sự tin cậy và khả năng phục hồi của các sản phẩm dữ liệu này trong toàn bộ tổ chức của chúng tôi."

Điều này có nghĩa là gì đối với việc áp dụng AI doanh nghiệp

Đối với những người ra quyết định kỹ thuật đánh giá chiến lược điều phối dữ liệu của họ, Airflow 3.0 mang lại những lợi ích hữu hình có thể được thực hiện dần dần.

Bước đầu tiên là đánh giá các quy trình công việc dữ liệu hiện tại có thể được hưởng lợi từ các khả năng do sự kiện mới. Các tổ chức có thể xác định chính xác các đường ống dữ liệu hiện đang sử dụng các công việc theo lịch trình nhưng sẽ hiệu quả hơn với các kích hoạt dựa trên sự kiện. Sự thay đổi này có thể làm giảm đáng kể độ trễ xử lý và loại bỏ các hoạt động bỏ phiếu không cần thiết.

Tiếp theo, các nhà lãnh đạo công nghệ nên xem xét môi trường phát triển của họ để xem liệu hỗ trợ ngôn ngữ mở rộng của Airflow có thể giúp củng cố các công cụ điều phối phân mảnh hay không. Các nhóm hiện đang quản lý các công cụ điều phối riêng biệt cho các môi trường ngôn ngữ khác nhau có thể bắt đầu lập kế hoạch chiến lược di chuyển để hợp lý hóa ngăn xếp công nghệ của họ.

Đối với các doanh nghiệp đi đầu trong việc triển khai AI, Airflow 3.0 thể hiện một thành phần cơ sở hạ tầng quan trọng nhằm giải quyết một thách thức chính trong việc áp dụng AI: dàn dựng quy trình làm việc AI phức tạp, đa giai đoạn ở quy mô doanh nghiệp. Khả năng điều phối các hệ thống AI hợp chất của nền tảng có thể giúp các tổ chức vượt ra ngoài khái niệm bằng chứng để triển khai AI toàn doanh nghiệp, đảm bảo quản trị, bảo mật và độ tin cậy thích hợp.