いくつかの手順でHDFSファイルに書き込むのが効率的ですか？

Question

私は、HDFSのブロックサイズが64 MBであることを知っています。しかし、私は新しいHDFSファイルを作成し、それにデータを書き続けると言いましょう。しかし、一度に4KBというわずかなデータを書きます。それは非常に非効率的でしょうか？最終的に私のファイルは1GBのサイズになる可能性がありますが、データを少しずつ書き込んでいくと、そのようなファイルへの書き込みは効率的ではありませんか？つまり、ファイルに書き込む前にデータをバッファリングすることが重要です。この場合、たとえば、64 MBのサイズに達するまでバッファにデータを蓄積した後、HDFSファイルに書き込んでそのバッファをクリアした後にその手順を繰り返すことができます。

Answer 1

最初にHDFSのブロックサイズはあなた次第ですが、デフォルトは設定可能で、HDFSに配置するときに、指定されたファイルに対して異なるブロックサイズを設定することができます。

HDFSにデータを保存するときにデータが手元にない場合は、Flumeを使用してデータジェネレータのソースを設定し、HDFSのファイルにシンクを設定し、細部に苦しんでいる。データがデータベースにある場合は、Sqoopにも切り替えることができます。

それ以外の場合は、実験を行い、パフォーマンステストを行い、どのアプローチが良いかを確認します。データの生成方法と使用方法に大きく依存します。