Apache PigはファイルではなくSTDINからデータをロードできますか？

Question

私は2つのファイルでデータを変換/結合するためにApache pigを使用したいと思いますが、それは実際のデータからテストしますが、小さなサイズ（例えば10行）でテストします。 STDINから読み込んでSTDOUTに出力するブタを使用することは可能ですか？

Answer 1

答えはいいえです。 MRジョブをデータ上で実行する前に、データノードのクラスタでデータを出力する必要があります。

しかし、小さなデータサンプルを使用していて単純なことをやりたいのであれば、ローカルモードでPigを使用し、stdinをローカルファイルに書き込んでスクリプトで実行することができます。

しかし、もっと大きな疑問があるのは、なぜデータのストリームでMR/Pigを使いたいのですか？このタイプの使用を意図したものでもありません。

Answer 2

基本的に、Hadoopはストリーミングをvarious waysでサポートしていますが、Pigはもともとストリーミングによるデータのロードをサポートしていませんでした。しかし、いくつかの解決策があります。

あなたはHStreamingをチェックアウトすることができます：

A = LOAD 'http://myurl.com:1234/index.html' USING HStream('\n') AS (f1, f2);