Apache Samzaのファイルをローカルファイルシステムとhdfsシステムから読み取る方法

Question

Apache SamzaでローカルシステムまたはHDFSからファイルを読み取る方法をお探しの場合 フィルタを適用し、条件を集計します。 。 何か助けてください。

Answer 1

使用するデータソースごとにシステムを作成する必要があります。たとえば、ファイルから読み込むには、FileReaderSystemFactoryを使用してシステムを作成し、HDFSの場合はHdfsSystemFactoryを使用してシステムを作成する必要があります。その後、通常のプロセスコールバックやウィンドウ処理を使用してデータを処理することができます。

Answer 2

標準のカフカプロデューサーを使用してSamzaジョブをフィードできます。あなたのために簡単にする。あなたが基本的なフィルタリングを行うことができます

• 入力ローカルファイルまたはHDFSなど
• ここフィルター（別売）、集約など
• カフカの出力を持つ：あなたLogstashを使用することができ、あなたが指定したLogstashスクリプトを作成する必要があります特定のトピックあなたは私がローカルファイルから
  を私samzaジョブを養うために、このアプローチを使用していた

入力

を送りたいです

もう1つのアプローチは、Kafka Connectを使用することです。 http://docs.confluent.io/2.0.0/connect/