資料管線

資料管線（data pipeline）是一連串自動化、可重複執行的步驟，把資料從來源、經過清理與轉換、送到最終可用的形態——就像資料的生產線。每一步的輸出餵給下一步，而且整條管線可以排程執行，不需要有人按按鈕。

管線把一次性的清理變成可靠的基礎建設：當明天的資料進來，同一份程式再跑一次，就產出新鮮且一致的結果。好的管線會被監控、出錯時會大聲報錯，因為上游一個無聲的故障，可能悄悄毒害下游的每一份報表與模型。