數據湖

數據湖是指使用大型二進制對象或文件這樣的自然格式儲存數據的系統。它通常把企業所有的數據統一存儲，既包括源系統中的原始副本，也包括轉換后的數據，比如那些用于報表, 可視化, 數據分析和機器學習的數據。數據湖可以包括關系數據庫的結構化數據(行與列)、半結構化的數據(CSV/日志/XML/JSON)，非結構化數據 (電子郵件/文件/PDF)和二進制數據(圖像/音頻/視頻)。數據湖的本質包含四個標準：1. 統一的存儲系統;2. 存儲原始數據;3. 豐富的計算模型/范式;4. 數據湖與上云無關。這四個標準來判斷，開源大數據的Hadoop HDFS存儲系統就是一個標準的數據湖架構，具備統一的原始數據存儲架構。

數據湖與數據倉庫的區別

1、數據結構：數據倉庫只能存儲經過處理和提煉的數據，而數據湖存儲尚未出于某種目的處理的原始數據。因此，數據湖需要比數據倉庫大得多的存儲容量，且數據靈活、分析迅速，非常適合機器學習。2、加工：數據倉庫使用寫入時序模式的方法來處理數據以賦予其形狀和結構，而數據湖對原始數據使用讀取模式來處理它。3、成本：存儲在數據倉庫中的成本可能很高，尤其是在有大量數據的情況下，而數據湖是專為低成本數據存儲而設計，成本...

白馬嘯西風發布了一篇文章 · 2022-09-07 16:23

數據湖