資料編排

編排（orchestration）是對資料管線中所有步驟的排程與協調：決定什麼要跑、依什麼順序、在什麼時候、以及某一步失敗時該怎麼辦。編排器就是樂團指揮——它通常不親自處理資料，而是告訴每個任務何時開始，並確保步驟 B 會等步驟 A 成功完成之後才動。

這之所以重要，是因為真實的管線有數十個彼此相依的任務，順序或時機弄錯就會產生過時或半壞的資料。編排器把工作建模成一張 DAG（有向無環圖，directed acyclic graph）——一張沒有迴圈的任務流程圖——並負責重試、警報與回補（backfill，重跑歷史資料）。Apache Airflow 是經典範例；Prefect 與 Dagster 則是熱門的現代替代方案。