bigmemoryパッケージを使用して混合型カラムを使用して大きなcsvファイルをロードする方法

Question

bigmemoryパッケージのscan（）とread.big.matrix（）を組み合わせて200 MBの.csvファイルを読み込む方法はありますか混合型の列を持つファイルで、整数、文字、数値の列を持つデータフレームが得られるでしょうか？

Answer 1

ヘルプファイルによると、

ファイルには、1つのアトミックタイプ（すべての整数など）が含まれている必要があります。 ユーザーは、ファイルに行および/または列の名前があるかどうかを知る必要があります。 で目的の動作を取得するには、さまざまなオプションの組み合わせが役立ちます。

私はこのパッケージ/関数に慣れていませんが、Rでは、行列は原子タイプを1つしか持てません（data.framesとは異なります）。

Answer 2

このためにffパッケージをお試しください。

library(ff) 
help(read.table.ffdf) 

関数「read.table.ffdf」「read.tableを」「FFDF」 非常に多くのようなオブジェクト（および使用）に分かれフラットファイルを読み取ります。また、 は 'read.csv'のような便利なラッパーで動作し、Rの通常の ラッパーのための 独自の便利ラッパー（例： 'read.csv.ffdf'）を提供します。

これは、このような単純な作業でなければなりません。

x <- read.csv.ffdf(file=csvfile) 

（はるかに大きいファイルの場合、それはおそらくあなたがあなたのマシンやOSに応じて、設定オプションのいくつかを調査することが必要になります）。

Answer 3

ああ、この人生では不可能なことがいくつかあります。誤解されて不快な状況につながるものがあります。 @Romanは正しい：マトリックスは1つの原子タイプでなければならない。それはデータフレームではありません。

マトリックスは1つのタイプでなければならないので、bigmemoryをスヌーカーで試してみると、複数のタイプを処理すること自体が悪いことです。それはできますか？私はそこに行くつもりはない。どうして？それ以外のものは、データフレームではなく行列を取得しているとみなされるからです。それはより多くの疑問と悲しみにつながります。

ここで、各列の種類を識別し、それぞれが特定の種類の項目を含む異なるビッグメモリファイルのセットを生成することができます。例えば。 charBM =文字ビッグ行列、intBM =整数ビッグ行列など。そして、この中からデータフレームを生成するラッパーを開発することができます。それでも、私はそれを推奨しません：あなたができるならば、大きなデータフレームグリフィンを作り出そうとするよりも、異なるアイテムをそのまま扱うか、同質性を強要してください。

@mdsumnerは、ffを示唆しています。もう1つのストレージオプションはHDF5で、Rのncdf4からアクセスできます。残念ながら、他のパッケージはbigmemoryほど快適ではありません。

Answer 4

最適な解決策は、ファイルを1行ずつ読み込んで解析することです。このようにして、読み取りプロセスはほぼ直線的な量のメモリを占有します。