apache-beam

1熱

2答えて

tf.TransformでGoogle DataFlowランナーとテンプレートを使用するには？

私たちは分散型TensorFlowトレーニングとモデル提供にGC ML-Engineを、分散型前処理ジョブにDataFlowを活用して、Google Cloud上でMachine Learningパイプラインを確立しています。私たちはApache BeamアプリケーションをGoogle CloudのDataFlowジョブとして実行したいと考えています。 ML-Engine samples を見て

1熱

1答えて

Beam Python SDKで複雑なXMLを読む

入れ子になったXMLファイルを読み込んで複数の行に分割するPython SDKのソースを書くにはどうすればよいでしょうか。既存のソースはすべて、XMLの文脈で必要なものではない行レベルで動作します。これはXMLファイルの束であり、すべての単一のファイルは、複数のレコード（注文行、支払いなど）に分割されなければならない1つのトランザクションを作成します。

0熱

1答えて

Apache Beam：PubsubReaderがNPEで失敗する

PubSubから読み込んで、変換を適用した後でBigQueryに書き込むビームパイプラインがあります。パイプラインはNPEと一貫して失敗します。私はビームSDKバージョン0.6.0を使用しています。私が間違ってやっている可能性のあるアイデアは？私はDirectRunnerでパイプラインを実行しようとしています。 java.lang.NullPointerException at org.apac

2熱

1答えて

Apache Beam Eclipseでデータフローランナーを使用するMinimalWordcountの例

MinimalWordCountを使用してMinimalWordCount - > Run as Javaアプリケーションを使用しているウィンドウでEclipseからDataFlowRunnerを使用してMinimalWordCountの例を実行しようとしています。私のgcsのバケツ、しかし、私は一貫して次の例外を取得する、いくつかの1つは私にここで何が問題を知っていることができますか？バケット

1熱

1答えて

GAE Cronjobから実行されるApache Beam（Python）をトリガーする

私の古いappengine-mapreduceジョブを置き換えるには、私はcronからこのpythonデータフロージョブをトリガする方法が必要です。私はhttps://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functio

0熱

2答えて

要素値に基づいてウィンドウを閉じた後

入力要素にDoFnのサイド出力にフラグ値があるときにウィンドウを閉じる方法はありますか？例えば。セッションの終了を示すイベントはウィンドウを閉じます。私はドキュメントを読んでいますが、トリガーは主に時間ベースです。例が素晴らしいだろう。編集：Trigger.OnElementContext.forTrigger（ExecutableTriggerトリガー）は有望そうですが、Executable

1熱

3答えて

Mavenの依存関係について

Apache Beam Cookbookの例を実行しようとしていますが、import文があります。 import org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO; 私のEclipseプロジェクトがこれに必要とするmaven依存関係は何ですか、私が見つけることができるドキュメントはありません。ありがとうございました。

1熱

1答えて

SparkにBeam Tasksを均等に分配する方法は？

私は、テキストファイルとmysqlの両方のレコードを読み込み、それらを照合しようとする単純なパイプラインを持っています。つまり、DBに存在しないレコードを挿入し、DBのレコードをファイルで更新し、ファイルに存在しないDB内のレコードに追加します。スパークで2Mレコードを実行したときに生じる問題は以下の通りです：私の勘では、次のコードは、ここではその不均衡 final TupleTag<Fil

1熱

2答えて

GroupByKeyが動作しないようにするセッションウィンドウ

私はイベントの入ったストリームを持っています。それぞれのセッションには、すでに別のプロセスのセッションIDが関連付けられています。私がしたいのは、カスタムCombineFnを使用してこれらのイベントを単一のセッションオブジェクトに結合することだけです。開発中に、私は、ファイルから読み込んで、次のコードが動作しているよう有界データセットを使用しています： input.apply(ParDo.na

0熱

1答えて

GoogleCredentialas.getApplicationDefault NoSuchMethodError

私は雲BigtableのV2のAPIを使用しようとしていると私はそれが私のApacheのビームジョブで働く知っている間、私は直接APIを使用しようとすると、私はこのエラーが発生した： Caused by: java.lang.NoSuchMethodError: com.google.auth.oauth2.GoogleCredentials.getApplicationDefault(Lcom/