BigQueryの2つのテーブルからデータを抽出し、それをCoGroupByKeyで結合しようとしています。 BigQueryの出力はPCollection<TableRow>
ですが、CoGroupByKey
にはPCollection<KV<K,V>>
が必要です。 PCollection<TableRow>
からPCollection<KV<K,V>>
に変換するにはどうすればよいですか?でCoGroup
にどのキーを知っている必要がありCoGroupByKey
PCollection <TableRow>からPCollectionに変換<KV<K,V>>
0
A
答えて
2
- これはKV<K, V>
でK
あり、そしてV
は、このコレクションでは、このキーに関連付けられた値です。複数のコレクションを同じグループにまとめると、各キーごとに、このキーを持つすべての値が各コレクションに表示されます。
PCollection<TableRow>
からPCollection<KV<YourKey, TableRow>>
に変換する必要があります。ここで、YourKey
は、参加するキーのタイプです(例:あなたの場合はおそらくString
、またはInteger
などである可能性があります。
変換を行うための最適な変換はおそらくです。例えば。ここではタイプString
の仮想的なuserId
フィールドをキーとPCollection<KV<String, TableRow>>
にPCollection<TableRow>
を変換するコードサンプルです:
PCollection<TableRow> rows = ...;
PCollection<KV<String, TableRow>> rowsKeyedByUser = rows
.apply(WithKeys.of(new SerializableFunction<TableRow, String>() {
@Override
public String apply(TableRow row) {
return (String)row.get("userId");
}
}));
関連する問題
- 1. PCollectionにPCollection <T>を組み合わせる簡単なアプローチ<Iterable<T>>
- 2. PCollection <KV <String、String >>から複数のテキストファイルを出力
- 3. PCollectionを再シャッフルする方法<T>?
- 4. マップ全体の一般的なキーイング:地図<T,K>から地図<K,V>と<T,V>
- 5. DataFlowでのPCollectionのインデックス付け
- 6. <strong><em></em></strong>漢字から<strong><em></strong></em>に羽生ピンインを変換する方法
- 7. リスト<String>からArrayList <String>変換の問題
- 8. クラス<T>からタイプ参照への変換<T>
- 9. Scikit-を学ぶ線形回帰私は直線<code>k</code> X <code>n</code>予測変数<code>X</code>、K> = nの上に<code>k</code>応答変数<code>y</code>を回帰しています
- 10. c32rtombはどのようなエンコードに変換しますか? <code><cuchar></code>/<code><uchar.h></code>から
- 11. C#重複<k, v>
- 12. 式<Func <TypeIn、TypeOut1 >>から式<Func <TypeIn、TypeOut2 >>への変換
- 13. リストから<T>のサブタイプに変換するには<T>
- 14. <K,V>の<K,V>タイプを指定してください
- 15. 不一致タイプ(<&K, &V>を見つけ、<K, V>を期待)
- 16. System.Lazy <IARepository>からSystem.Lazy <IGenericRepository>に変換できません
- 17. は、System.Collections.Generic.List <>からSystem.Collections.Generic.IEnumerable <>に変換できません。
- 18. <day><time>からPythonとDjangoのDateTimeに変換して戻す
- 19. のjava:<SomeInterface>リストに一覧<SomeClass>から変換工assがSomeInterface
- 20. エラーC2440: '=': 'ノード<ValueType> *'から 'ノード<ValueType> *'に変換できません。
- 21. PCollectionからファイル名を抽出して効率的に解析する
- 22. 変換リスト<Object><attributeA、リスト<attributeB>
- 23. 変換F#のパイプライン演算子(<|, >>、<<)OCamlの
- 24. PLCファイルアドレス/開始アドレスをEtherNet/IPに変換@<class>/<instance>/<attribute>
- 25. データセット<Tuple2 <String、DeviceData >>をイテレータに変換する方法<DeviceData>
- 26. IQueryable <T>をExpression <Func <T, bool>>に変換する方法?
- 27. リスト<String>をGroupMatcherに変換するには<JobKey>
- 28. マップに値を挿入< K, V >
- 29. ラムダ型をint => IEnumerable <string>> int =>タスク<IEnumerable <string> >>に変換しますか?
- 30. Java - セットをソートする方法<Entry<K,V>>?