2016年3月1日火曜日

【Rで大規模データを扱う】freadを使えば26倍早くcsvファイルを読み込める

【方法】data.table パッケージの fread() を使う

Rの弱み:大規模データの処理
→ data.tableパッケージを活用することで大規模データも高速に処理可能

> library(data.table) > > #Rで大規模csvファイルを読み込む > > #read.csvで読み込む場合 > system.time(df.read.csv <- read.csv(file("C:/R_test/data/test.csv"))) ユーザ システム 経過 50.34 0.18 50.56 > > #data.tableパッケージのfreadで読み込む場合 > system.time(df.fread <- fread("C:/R_test/data/test.csv")) ユーザ システム 経過 1.92 0.02 1.94

経過時間
read.csv50.56
fread1.94

freadの方が26倍以上早い!

0 件のコメント :

コメントを投稿