Apache Airflow

Apache Airflow

Airflowは、データパイプラインをプログラムで作成、スケジュール、および監視するためのプラットフォームです。
Airflowは、データパイプラインをプログラムで作成、スケジュール、および監視するためのプラットフォームです。Airflowを使用して、ワークフローをタスクの有向非循環グラフ(DAG)として作成します。Airflowスケジューラーは、指定された依存関係に従って、ワーカーの配列でタスクを実行します。豊富なコマンドラインユーティリティにより、DAGで複雑な手術を簡単に実行できます。リッチなユーザーインターフェイスにより、運用中のパイプラインの視覚化、進行状況の監視、必要な場合の問題のトラブルシューティングが容易になります。これにより、パイプラインを動的にインスタンス化するコードを作成できます。拡張可能:独自の演算子、エグゼキューターを簡単に定義し、ライブラリを拡張して、環境に適した抽象化レベルに適合させます。エレガント:エアフローパイプラインは無駄がなく明確です。スクリプトのパラメーター化は、強力なJinjaテンプレートエンジンを使用してAirflowのコアに組み込まれています。スケーラブル:Airflowはモジュールアーキテクチャを備えており、メッセージキューを使用して、任意の数のワーカーを調整します。気流は無限に拡大する準備ができています。
apache-airflow

Self-HostedのApache Airflowの代替