先日、業務で大容量CSVを取り扱う機会がありました。
行数：200,000行以上、ファイルサイズ：1.4GB超
ここまで大きなCSVファイルを扱うことは稀ですが、
CSVが重くてExcellで開くとクラッシュすることは稀によくあると思います。
そんな時の対処方法、CSVの分割方法をご教示します。
大容量CSVを扱う方法は大きく分けて2つかと思われます。
- 大容量に耐えうるソフトで開く
- 分割する
私も最初は１の方法を試してみました。
そう、このCSVを開けないのはExcellくんが悪いんだと思っていました。
Excellの代わりに試したエディタは以下の通り。
- Cassava Editor
- CS Editor 3
- Kuto Csv Editor
- SmCsvEdit
試してみた結果
これらすべてのエディタは20万行を超えるCSVファイルを開くことはできませんでした。
これはもしや、ファイルが規格外すぎるのでは？
鈍い私もようやくこの結論に至りました。
ここで私は思いつきました。
一度に開くからダメなんだ、CSVファイルを分割して小さくすればすればExcellでも開けるはず・・・
というわけで以下の条件を満たすソフトを探しました。
- CSVを分割できる
- GUI（コマンドではなく画面で操作できる）
- 分割行数を指定できる（1ファイルの行数を指定できる）
- Win7で動く
- サクサク動く
- 分割ファイル名をある程度指定できる
これをすべて満たすソフト・・・ありました。
それが、Netplanetesというツールです。
使い方は簡単。
リンク先からファイルをダウンロードして解凍して起動するだけ。
ソフトが起動すると、CUI（黒い画面）とGUI（ウィンドウ）が立ち上がるはずです。
黒い画面のみ立ち上がる場合は、一度黒い画面を閉じて、再度起動すると立ち上がるはずです。
起動したら、読み込むファイルや分割行数、ファイル名や連番設定など行います。
あとはソフトが頑張ってくれます。
20万行超のCSVも1万行ずつ分割できました。
大容量CSVを開く場合、一度分割したほうがスムーズに行えるかもしれません。
お困りの方はぜひ参考にして下さい。
