apache-pig

0熱

1答えて

PIGを使用して代理キージェネレータを実装しようとしています。最後に生成されたキーをデータベースに保持し、次に使用可能なキーをデータベースに照会する必要があります。 PIGにODBCを使用してデータベースを照会するサポートはありますか？はいの場合は、ガイダンスやサンプルを提供してください。

5熱

8答えて

PIGまたはHIVEの行の行番号を追加するにはどうすればよいですか？

Apache Pigを使用して行番号を追加するときに問題があります。問題は、STR_ID列があり、STR_IDの行番号であるデータのROW_NUM列を追加したいということです。 STR_ID ------------ 3D64B18BC842 BAECEFA8EFB6 346B13E4E240 6D8A9D0249B4 9FD024AA52BA 私のような出力を得るにはどうすれば

5熱

2答えて

グループ化されたレコードをPigで複数のファイルに保存する方法は？

レコードをロードしてグループ化した後、グループ化されたレコードを複数のファイル（グループごとに1つ（= userid））に保存するにはどうすればよいですか？それが指定された属性によってレコードを分割 - records = LOAD 'input' AS (userid:int, ...); grouped_records = GROUP records BY userid; は私が望むまさ

1熱

2答えて

Apache PigはファイルではなくSTDINからデータをロードできますか？

私は2つのファイルでデータを変換/結合するためにApache pigを使用したいと思いますが、それは実際のデータからテストしますが、小さなサイズ（例えば10行）でテストします。 STDINから読み込んでSTDOUTに出力するブタを使用することは可能ですか？

2熱

3答えて

Javaアプリケーション内からブタを実行

外部アプリケーションをフォークすることなく、Javaアプリケーション内からApache Pigジョブを実行できますか？ PigとHadoopの両方がJavaで書かれているようですが、Java APIは実際には提供されていません。シェルスクリプトに頼るのではなく、Java Springアプリケーション内でこれらのツールフォームを使用したいと思います。

0熱

1答えて

フィルターレコード - PigLatin

私はPigLatinに入るために始めていると私は疑問を持っている...右今私はワードカウント、古典的な例で働いている私は、いくつかの電子書籍を処理します単語のリストと各単語が現れる回数を取得します。そのデータをブタの入力データとして使用して、各単語が表示される回数でソートし、最も一般的な5つの単語を取得します。これまでのところ、とても良いですが、私の問題ですが、今では5つの最も一般的な言葉を手

0熱

2答えて

elephantbirdを使用したJSONの読み込みエラー - PIG

ElephantBirdとPigを使用してJSONファイルを読み取ることができません。私はどこでミスをしているのか知りたいデータ： { "nrcpts": "1", "src": "[email protected]", "sendmailid": "p6D0r0u1006229", "relay": "app03.example.com", "class

0熱

2答えて

Pig Latinで投影中の条件に基づいてレコードを生成する

などの条件に基づいて既存のスキーマからレコードを生成したいとします。私は何かをしたいのです A = load 'data' using PigStorage() as (f1:int, f2:int); B = foreach A generate (f1 == 0 ? null : A); これを行うには適切な方法はありますか？

4熱

4答えて

豚に行番号を生成するには？

私は、データの準備のために豚を使用している、と私は簡単なようだが、私は対処できないという問題に直面：どのようにすることができる。例えばを、私はその後、名前 name ------ Alicia Ana Benita Berta Bertha の列を持っています私は各名前の行番号を追加しますか？結果は次のようになります。 name | id ---------------- A

1熱

2答えて

Apache Pigで配列を展開する

Apache pigでデータを解析していますが、項目がある場合は配列を展開する方法が見つかりませんでした。ここは、私が働いているスキーマであり、所望の出力の例： (col1:int, col2:int, items:{ARRAY_ELEM:(name:chararray, total:int)}) input = (1, 1, {("bird", 5), ("bear", 12), ("wol