Cで入出力演算を並列に行うことはできますか？

Question

大きな配列を.csvファイルにcで書きたいと思います。 それを並行して書くことは可能でしょうか？

多分OpenMPを使用していますか？

パラレル化したいコードは、ファイル内の一般的なIO操作です。 resutVector1とサイズnのresultVector2考える 、

fp=fopen("output.csv","w+"); 
for(i=0;i<n;i++){ 
    fprintf(fp,"%f,%f\n",resultVector1[i],resultVector2[i]); 
} 
fclose(fp); 

Answer 1

あなたは、単一のファイルに平行書き込みを実行しようとしている多くの問題に実行しようとしています。

w +既存のファイルを書き込み操作の前に長さ0に切り捨てるか、新しいファイルを作成します。どのように並列ファイルポインタの書き込みを調整しますか？

いずれにしても複数のライターがある場合は、それらを同期させる必要があり、シーケンシャルライトではスピードを上げることができなくなります。実際、単一の専用シーケンシャル書き込みスレッドよりも同期オーバーヘッドのためにおそらく遅くなります。

あなたの質問についてもう少し考えてみてください。もしあなたが本当に巨大な配列を持っていたら、5億の整数を言うなら、この配列を永続的なファイルに読み書きする最も速い方法が本当に必要でした。配列を割り当てることができる専用スレッドの数で割って、各セグメントを別々のファイルに書き込むことができます。このデータを並列に読み込むことで、この配列を配列に読み戻すことができます。この場合、Parallel For型のパターンを使用して、単一ファイルで同期ロックオーバーヘッドを回避できます。

私が与えた例では、4つのスレッドがある場合、各スレッドが独自の四半分を別々のファイルに書き込んだり読んだりする配列間を分割します。

注：すべてのファイルが同じディスクドライブ上にある場合は、ディスクのさまざまな部分で複数の同時読み取り/書き込み操作を実行すると、I/O速度が低下することがあります。この効果は、各ファイルを別のディスク/サーバーに保存できる場合に仲介できます。

Answer 2

2つのファイルを開き、それぞれのファイルを独自のファイルに書き込むことができますが、これは役に立ちますが、私はそれに賭けません。プラットフォームのアーキテクチャに依存します。さらに、同じファイルに両方のファイルが必要な場合は、それを一緒にコピーする必要がありますが、もう一度時間がかかります。

また、ハードドライブ自体への書き込みもボトルネックになっているので、バッファをハードドライブにいっぱいにする必要はありません。

2つの異なるハードドライブで2つのファイルを開くことができますが、これは本当にスピードアップするとは思っています。

Answer 3

ライブラリを使用して実装された並列読み取りメソッドpreadを書くように質問されました。ファイルサイズがFILESIZEで、スレッド数がnの場合、preadメソッドは入力ファイルをほぼ等しいサイズのFILESIZE/nのチャンクにスライスし、各チャンクをスレッドに割り当てます。次に、各スレッドは、BUFFFERSIZEのパラレルでファイルの異なるオフセットからfreadを使用してファイルの読み込みを開始します。実装hereが見つかります。

これは実行中の実装ですが、私はまだパラレル書き込み側で作業しています。