beam

0熱

1答えて

数千のファイルを処理するデータフロージョブを作成しようとしていますが、ファイルごとにGCSの別の宛先に書き込みます。私はソースとして多くのTextIOを実行し、別々のフローとして宛先に書き込む必要があります。サンプル・コード・スニペットは、次のようになります。これは、バックエンドでエラー「アップロードされたデータが不十分」との（永遠にぶら下がっているようだ）黙って失敗し List<PCollec

2熱

1答えて

アーランのタイパーは、私が<em>タイパー</em>を模索していた文字列

のための奇妙な種類を推定し、そしてそれを何もしません機能与えた： const_str（） - >「QWEを」。男のタイプは次のように推定される： -spec const_str（） - > [101 | 113 | 119、...] 、すなわち "EQW"（ハァッ！？）、この '...' 事業が続きます。定数の文字列が混乱しているように見えます。タイバー;私はこのようなものを使うべきではないこ

5熱

2答えて

Erlangの整数にはサイズ制限がありますか？

私はErlangに任意のサイズの整数があることを知っていますが、標準実装の1つに最大限の制限がありますか？もしそうなら、何？

1熱

1答えて

beam dataflow pythonの名前 'PipelineOptions'が定義されていません

）これは私の最初の質問です。私は非常に単純なパイプラインを作成したいと思っており、すでに最初に立ち往生しています。ここに私のコードが来る： import apache_beam as beam options = PipelineOptions() google_cloud_options = options.view_as(GoogleCloudOptions) google_clou

4熱

1答えて

DataflowRunnerを使用しようとするとClassNotFound例外が発生する

Apache Beam 0.6.0を使用してGCPでデータフロージョブを起動しようとしています。私は "mvn：execjava"を使ってジョブを起動できないので、shadeプラグインを使ってuber jarファイルをコンパイルしています。私はこの依存関係を含めています： <dependency> <groupId>org.apache.beam</groupId> <arti

1熱

1答えて

環境変数をPythonの環境変数としてDataflowワーカーに届ける方法

python sdkでカスタムシンクを作成します。私はAWS S3にデータを保存しようとしています。 S3に接続するには、いくつかの資格情報、秘密鍵が必要ですが、セキュリティ上の理由からコードに設定するのは良いことではありません。私は環境変数を環境変数としてDataflowワーカーに届けるようにしたいと考えています。どうすればいいですか？

0熱

1答えて

同じ名前のエリクサーデバッガーが私の代わりに組み込み関数を呼び出す理由

ここには、組み込み関数と全く同じ名前の別の関数を呼び出す関数で2つのブレークポイントを持つ単純なモジュールがあります。get/1とput/2私のの代わりに関数の put/2を内蔵実行 get/1にデバッガ結果から get/1呼び出し、 iex(1)> Test.call_get Break reached: Test.call_get/0 (lib/test.ex:7) 5: end

-1熱

1答えて

Beam java SDK、Java文法の混乱

Apache Beamプログラミングガイドhttps://beam.apache.org/documentation/programming-guide/#transforms-flatten-partitionでは、このようなコードを見ました。私は以下のJava文法と混乱しています。 PCollection<String> merged = collections.apply(Flatten.<