現代資料技術棧與工具
資料湖倉
資料湖倉(lakehouse)是較新的設計,試圖兼取兩者之長:資料湖的廉價、彈性儲存,加上資料倉儲的結構、可靠性與快速 SQL。它在普通檔案之上加了一層「中繼資料與交易層」(採用開放表格格式如 Delta Lake、Apache Iceberg 或 Apache Hudi),讓雜亂的湖式儲存開始表現得像乾淨的倉儲表格。
它的吸引力在於「一個地方放所有東西」——原始檔案與可直接分析的表格——而不必同時維護一個湖、再加一個倉儲、並在兩者間複製資料。實務上湖倉仍在成熟中,團隊選用它是為了減少重複,並讓資料科學家(喜歡原始檔案)與分析師(喜歡整齊表格)從同一份儲存出發工作。
Databricks 把表格存成 Delta Lake 檔案,你既能用來訓練模型、也能用 SQL 查詢。
又称