Pubsub Hook to Bigquery

Question

私はフローとしてデータパイプラインを持っています：アプリエンジンは、pubsubに公開してBigQueryにプッシュします。 Doc https://cloud.google.com/python/getting-started/using-pub-subの例では、AppEngineでホストされているワーカーにpubsubプッシュを送信し、そこで適切なBigQueryテーブルへの書き込みを行います。しかし、BigQueryテーブルのサブスクリプションから直接pubsubをプッシュすることは可能ですか？

Answer 1

現在のところ、BigQueryにデータを自動的にプッシュする方法はありません。 2つのオプションは次のようになります。

1. は、Googleクラウドパブ/サブスクリプションからのメッセージを取得したBigQueryに書き込む加入を書きます。

2. Google Cloud Dataflowを使用してPub/Sub I/O経由で読み取り、BigQuery I/Oを介して書き込みます。