リモートマシンでファイルを読み込む最も速い方法

Question

リモートマシンでファイルを読み込むための最も速い方法を知りたい。

私は要件がある

をするリモートI/Oの方法：

1. マシンBは、マシン内のディスクAからファイル（またはページ）を読んでA.
2. 高速転送、DiskI/OとネットワークI/Oのオーバーラップ。
3. ファイルサイズはページです（多分64KB〜4MBです）
4. 私はNFSやFTPなどを使いたくありません。

環境は以下のとおりです。

1. 私は同じ部屋にある100台のマシンを持っています。
2. すべてのマシンはInfiniband（帯域幅：1GB /秒〜1.5GB /秒）で接続されていますので、RDMAを使用できます！
3. 各マシンは、IntelのPCI-E SSD（シーケンシャルリード帯域幅1.0ギガバイト/秒〜1.5ギガバイト/秒）
4. オペレーティングシステムを持ってはCentOSの6.4

は、任意のライブラリまたは実装方法はありますか？ MPI I/Oについて聞いたことがありますが、それが何であるかは分かりません。

私を助けてください。 ありがとう

Answer 1

通常は気にしないでください。 （ハードウェア）ネットワーク常にはボトルネックになります。できるだけ速いネットワークハードウェアを用意してください。

ほとんどのネットワーク（イーサネット、有線）接続は1Gビット/秒です（これらは安価です）。両方のコンピュータが物理的に近くにある場合（同じ部屋または建物）と、それ以外の場合はロードされていないネットワーク上にある場合に限り、速度が得られます。

10ギガビット/秒のイーサネットカードを購入するには、数百万ドルまたはUS $を費やすことがあります。あなたは2つ（両側に1つ）が必要です。そして、そのような高速イーサネットでさえ、ディスクまたはSSDよりもはるかに遅いです...

ネットワークのボトルネックを回避するソフトウェアソリューションはありません。よく設定された標準的な接続は、ネットワークを飽和させることができます（数％以内）。ローカルファイルのデータは、しばしばpage cacheにあります。

MPIはあなたのケースでは関連しません。

10Gb/sイーサネットカードを2枚購入し、SSDを使用してください。ソフトウェアはそれほど重要ではありません。ハードウェアがボトルネックです。

PS。もちろん、それらは例外です（たとえば火星のロボットにファイルを転送するなど）。しかし、依然としてあなたの質問にあなたの制約をもっと説明する必要があります。