123
Apache Airflow

Apache Airflow

Airflowは、データパイプラインをプログラムで作成、スケジュール、および監視するためのプラットフォームです。
Airflowは、データパイプラインをプログラムで作成、スケジュール、および監視するためのプラットフォームです。Airflowを使用して、ワークフローをタスクの有向非循環グラフ（DAG）として作成します。Airflowスケジューラーは、指定された依存関係に従って、ワーカーの配列でタスクを実行します。豊富なコマンドラインユーティリティにより、DAGで複雑な手術を簡単に実行できます。リッチなユーザーインターフェイスにより、運用中のパイプラインの視覚化、進行状況の監視、必要な場合の問題のトラブルシューティングが容易になります。これにより、パイプラインを動的にインスタンス化するコードを作成できます。拡張可能：独自の演算子、エグゼキューターを簡単に定義し、ライブラリを拡張して、環境に適した抽象化レベルに適合させます。エレガント：エアフローパイプラインは無駄がなく明確です。スクリプトのパラメーター化は、強力なJinjaテンプレートエンジンを使用してAirflowのコアに組み込まれています。スケーラブル：Airflowはモジュールアーキテクチャを備えており、メッセージキューを使用して、任意の数のワーカーを調整します。気流は無限に拡大する準備ができています。

ウェブサイト:

特徴

カテゴリー

Clever CloudのApache Airflowの代替

Zenaton

Zenaton

開発者向けのワークフロービルダー。数か月ではなく数日でイベント駆動型プロセスを構築します。