既存のデータフレーム（RDS）に新しいデータを追加R

Question

フラットファイルの形式で一定のデータストリームを読み込んでいるRscriptがあります。別のスクリプトがこのフラットファイルをピックアップし、解析と処理を行い、その結果をdata.frameとしてRDS形式で保存します。その後、眠り、そのプロセスを繰り返す。第... n番目の反復で

saveRDS(tmp.df, file="H:/Documents/tweet.df.rds") #saving the data.frame 

、私は、コードは、新しい行が前の反復以降フラット・ファイルに追加し、処理しています。ただし、デルタラインを永久データフレームに追加するには、それを読み込んで追加してから元に上書きして保存する必要があります。

df2 <- readRDS("H:/Documents/tweet.df.rds") #read in permanent      
tmp.df2 <- rbind(df2, tmp.df) #append new to existing 
saveRDS(tmp.df2, file="H:/Documents/tweet.df.rds") #save it 
rm(df2) #housecleaning 
rm(tmp.df2) #housecleaning 

このアプローチは、RDSが読み取り/書き込み用に開いているときはいつでも、そのファイルに触れたい別のプロセスが待機する必要があるため、危険です。ベースファイルが大きくなると、リスクが増加します。

appendRDS（私は文字通りそうではないことを知っています）私は、ファイルに保存された単一データフレームの反復更新を実現できますか？完全置換ではなく追加を使用しますか？

Answer 1

私は、接続を使用してプロセスを保護し、次のプロセスが引き継ぐ前に開閉することができると思います。

con <- file("tmp.rds") 
open(con) 
df <- readRDS(con) 
df.new <- rbind(df,df) 
saveRDS(df.new, con) 
close(con) 

更新：

あなたは、ファイルへの接続が開いているかどうかをテストし、同時実行の問題を抱えている場合は少し待つためにそれを伝えることができます。

while(is.Open(con)) { # untested but something of this nature should work 
sys.Sleep(2) 
} 

Answer 2

ディレクトリで番号RDSの一連のファイルを使用しての代わりに、単一のRDSをファイルに何か問題はありますか？データフレームは単純に列のリストなので、ファイル全体を書き直すことなくデータフレームにRDSファイルを追加することはできないと考えられます。したがって、おそらくそれらは一度に1列ずつ直列化されるため、最後の列のみが終了しますファイルの終わり近く。

RDSファイルから一貫性のないデータを読み込むリスクを最小限に抑えたい場合は、そのファイルを読み込み、追加操作を実行してから一時ファイルに書き込んで、名前を変更します完成したら元の名前にファイルします。少なくともリスクの期間はファイルのサイズに依存しません。ファイル名を既存の名前に変更するときに、さまざまなファイルシステムによってどのようなアトミック性が保証されているかに精通していませんが、おそらくsaveRDSの時間よりも優れています。