現代資料技術棧與工具
資料湖
資料湖(data lake)是廉價、大規模的儲存空間,存放幾乎任何格式的原始資料——表格、JSON、文字、影像、影片、日誌檔——而不強迫它先套進固定結構。你把資料原封不動倒進去,之後再決定怎麼解讀它,這稱為「讀取時定結構」(schema on read,查詢時才施加結構,而非儲存時)。
資料湖受歡迎是因為儲存便宜,可以把所有東西都留著,包括你還不確定是否需要的資料。風險是會變成「資料沼澤」(data swamp):沒有治理、命名或文件,湖裡塞滿沒人找得到、也沒人信得過的檔案。正是這個風險把業界推向資料湖倉(lakehouse),它在資料湖式儲存之上加了倉儲式的結構。
「讀取時定結構」(湖)相對於「寫入時定結構」(倉儲)是要記住的關鍵對比。
又称