大規模データセットの取り扱い | データの取得と準備

INDEX

大規模データセットの取り扱い（HDF5、Parquet）

機械学習やデータ分析では、数GBから数TB規模のデータを扱うことがあります。CSVやExcelは扱いやすい反面、大規模データでは読み込み速度やメモリ使用量が問題になることがあります。

そこで利用されるのが、HDF5やParquetといった大規模データ向けの保存形式です。これらを利用することで、高速な読み込みや効率的なデータ管理が可能になります。

CSVはシンプルで扱いやすい形式ですが、データ量が増えると読み込み速度やメモリ使用量が大きな課題になります。

HDF5（Hierarchical Data Format）は、大規模データを階層構造で保存できるフォーマットです。

pip install pandas tables

import pandas as pd

df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['A', 'B', 'C']
})

df.to_hdf('data.h5', key='df', mode='w')

df_loaded = pd.read_hdf('data.h5', 'df')

print(df_loaded)

Parquetは列指向（カラムナ型）のデータフォーマットです。必要な列だけを効率よく読み込めるため、ビッグデータ処理や機械学習で広く利用されています。

pip install pyarrow

import pandas as pd

df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['A', 'B', 'C']
})

df.to_parquet('data.parquet')

df_loaded = pd.read_parquet('data.parquet')

print(df_loaded)

機械学習では大量の学習データを扱うため、データの保存形式が処理速度に大きく影響します。