為什麼存儲效率很重要

ETL（Extract、Transform、Load）流程是現代數據工程的核心。無論你是建立資料湖、提供分析儀表板，或是存檔原始日誌，資料存儲方式都會直接影響速度、成本與維護性。存儲效率不僅僅是節省磁碟空間，它還會影響查詢性能、網路傳輸時間以及下游系統的可擴展性。

在眾多存儲格式中，CSV 和 Parquet 是最廣泛使用的。CSV 簡單且支援度高，而 Parquet 是為高效能分析設計的列式存儲格式。理解它們的差異並在 ETL 流程中正確應用，是打造可擴展資料解決方案的關鍵。

了解 CSV

CSV（逗號分隔值）檔案是最常見的資料格式之一，容易閱讀、生成簡單，幾乎所有工具都能支援，從 Excel 到雲端服務都能輕鬆使用。每一列代表一個紀錄，欄位間用分隔符號（通常是逗號）隔開。

CSV 的簡單性是它的優勢，但當資料量增大時，效率會下降。CSV 為純文字格式，沒有內建壓縮或索引，導致大型檔案解析緩慢且佔用大量儲存空間。此外，CSV 不支援資料型別，所有欄位都是文字，需要手動轉換。

了解 Parquet

Apache Parquet 是一種 列式存儲格式，為 Spark、Hive 等大數據處理框架最佳化。與 CSV 按列儲存不同，Parquet 將資料按欄位存放，這種設計能有效壓縮資料，並只讀取必要欄位。

Parquet 支援豐富的資料型別、Schema 演進，以及多種壓縮演算法，如 Snappy、Gzip、ZSTD。由於其設計，Parquet 相較 CSV 可減少 70–90% 的存儲空間，並在分析工作負載中大幅提升查詢效能。

CSV 與 Parquet 的比較

1. 存儲大小

CSV 為純文字格式，檔案大小會隨資料量線性增長。Parquet 利用列式壓縮與編碼技術，大幅減少檔案大小。對大型 ETL 流程來說，這意味著更低的存儲成本。

2. 讀寫效能

讀取 CSV 必須掃描整個檔案，即使只需要一兩個欄位。Parquet 支援欄位裁剪，只讀取必要欄位。雖然寫入 Parquet 因壓縮稍慢，但對分析工作而言是值得的。

3. 相容性與易用性

CSV 在通用相容性上占優勢，任何支援表格資料的工具都能讀取。Parquet 則需要支援相應庫或工具，但現代生態系統（如 Python Pandas、Snowflake、BigQuery）都原生支援。

4. 可讀性

CSV 可用文字編輯器直接開啟與檢查。Parquet 為二進位格式，需要特定工具檢視。小規模除錯用 CSV 方便，生產流程則建議用 Parquet。

ETL 工作流程與檔案格式

設計 ETL 流程時，檔案格式應符合工作需求：

• 批次分析：Parquet 理想，查詢快且壓縮高效。
• 資料交換：CSV 適合跨系統傳遞，設定簡單。
• 資料存檔：Parquet 節省成本且保留結構。
• 快速除錯：CSV 提供簡單易用的檢查方式。

Python 範例

以下示範如何在 Python 中寫入與讀取 CSV 與 Parquet。

寫入與讀取 CSV

import pandas as pd

# 建立範例 DataFrame
data = {
    "id": [1, 2, 3],
    "name": ['Alice', 'Bob', 'Charlie'],
    "score": [85.5, 92.3, 78.9]
}
df = pd.DataFrame(data)

# 寫入 CSV
df.to_csv('data.csv', index=False)

# 讀取 CSV
df_csv = pd.read_csv('data.csv')
print(df_csv.head())

寫入與讀取 Parquet

import pandas as pd

# 同樣的 DataFrame
data = {
    "id": [1, 2, 3],
    "name": ['Alice', 'Bob', 'Charlie'],
    "score": [85.5, 92.3, 78.9]
}
df = pd.DataFrame(data)

# 寫入 Parquet
df.to_parquet('data.parquet', engine='pyarrow', index=False, compression='snappy')

# 讀取 Parquet
df_parquet = pd.read_parquet('data.parquet')
print(df_parquet.head())

優化技巧

使用 Parquet 時，可參考以下最佳實踐：

• 分區：按年份、月份等分區，減少查詢掃描量。
• Row group 大小：調整以平衡 I/O 與記憶體使用。
• 壓縮：Snappy 平衡速度與大小，ZSTD 則最大壓縮。
• 避免小檔案：合併輸出，減少分散式系統的 metadata 開銷。

何時使用 CSV 或 Parquet

• 使用 CSV：小型資料分享、ETL 除錯、舊系統相容。
• 使用 Parquet：大規模分析、長期存儲、分散式系統（如 Spark）。

結語

高效存儲是可靠 ETL 流程的基石。CSV 與 Parquet 不是對手，而是互補工具，各自擅長不同情境。理解它們的優缺點並運用最佳實踐，可以打造既功能完善又成本效益高的資料管道。

隨著資料量持續增長，善用 Parquet 將大幅降低基礎設施成本，同時最大化分析效能。