apache-beam

1熱

1答えて

Apache Beamでmatplotlibモジュールを使用する方法Google DataFlowランナー

Googleのdataflow（beam）内からmatplotlibモジュールを取得することはできますか？私は私のrequirements.txtでそれを持っている： matplotlib==2.0.2 しかし、それでもまだエラーが出る： ImportError: No module named matplotlib 感謝を！

0熱

1答えて

パラレルとバルクプロセスデータストア要素

問題：私は自分のデータストア事業における2M +ユーザーデータのリストを持っています。すべてのユーザーに週刊ニュースレターを送付したいと思います。メーリングAPIは、API呼び出しごとに最大50の電子メールアドレスを受け入れます。前のソリューション：使用済みのアプリエンジンのバックエンドと一度にすべてのレコードを処理するための簡単なデータストアクエリ。しかし、何が起こるかは、メモリオーバーフ

1熱

1答えて

Bigquery：クラスをBigqueryに変換するTableSchema

Javaクラス（xsdから生成されたxsdから生成され、XMLバインドアノテーションを含む）をBigquery TableSchemaに変換する方法を知っていますか。代わりに、JsonScheamをTableSchemaに変換します。多かれ少なかれ複雑なクラスのためにこれを行う必要があります。よろしく

0熱

1答えて

Apache Beamのファイルに書き込む

DirectRunner経由でApache Beamを使用してWindowsでWordCountプログラムを実行しています。出力ファイルが一時フォルダ（src/main/resources /の下）に作成されています。出力ファイルが失敗しています。以下は、コードスニペットです： p.apply("ReadMyFile", TextIO.read().from("src/main/resource

0熱

1答えて

ステートとタイマーを使用した処理

ステートフルな処理とタイマーをBeam Dataflowランナー（v2.1.0以降）で使用するためのガイドラインや制限はありますか？状態のサイズや更新頻度などの制限など候補のストリーミングパイプラインは、Bigtableを耐久性のあるストレージとして使用して、ユーザーセッション状態に対して広範に状態とタイマーを使用します。ここで

1熱

2答えて

Apache Beamで実行時に作成されたクラスをシリアライズする方法

データフローランナーを使用してダイレクトランナーとローカルで両方ともパイプラインを実行するapache-beamアプリケーションがあります。ローカルでは動作しますが、googleのデータフローランナーでは失敗します。ここエラートレースは、次のとおり（9938ce94c0752c7）：java.lang.RuntimeException：com.google.cloud.dataflow.wor

1熱

1答えて

GoogleクラウドデータフローのBeamアプリケーションのログ

私は、ローカルアプリケーションでdirectrunnerを使用して正常に実行され、自分のローカルコンソールにコード内にあるすべてのログ情報を提供します。しかし、Googleのクラウドデータフロー環境で実行しようとしたときに、ローカルコンソール上のログ情報しか表示されませんが、データフロージョブ用のGoogle Cloud ConsoleやStackDriverのロギングページには表示されません。こ

12熱

1答えて

import apache_beamメタクラスの競合

Apacheのビームをインポートしようとすると、次のエラーが発生します。私はGoogleのクラウドプラットフォーム上で実行することが可能であるバージョンを必要とするようピップとGoogleのクラウド・データフローをインストールすることでapache_beamをインストールした新しい仮想環境で働いている >>> import apache_beam Traceback (most recent c

0熱

1答えて

Mavenを使用しないApache Beamプログラムの実行

Apache Sparkランナーを使用した簡単なサンプルBeamプログラムを実行します。 1）ローカルのプログラムを正常にコンパイルすることができました。 2）MavenがインストールされていないQAボックスにJARファイルをプッシュしたい。 3）サンプルプログラムをコンパイルして実行するMavenコマンドの例を見ています。 4）Mavenをインストールせずにコードを実行する手順を教えてください。

0熱

1答えて

Apacheのビーム2.1.0は、私は（Google App Engineのから）のStackdriverログに次のエラーを取得するGAE

における非既存の機能にグアバ前提条件checkArgumentを呼び出します。 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;I)V at org.apache.beam.sdk.io.gcp.datastore.DatastoreV1$Read.