PHP Cloud Datastore and Cloud Dataflow

Question

GAo Flex（PHP）を使用して、IoTデバイスからCloud DataStoreへの生データを保持するように設計しました。また、これらのデータをCloud DataFlow経由でBigQueryに送信したいと考えています。しかし、DataStoreとDataFlowサービスの間でデータを読み書きする方法を表す標準的な文書や公式文書は見つかりません。

Answer 1

これを達成する最も簡単な方法は、CloudQuestのCloud Datastoreバックアップを読み込むことです。本質的には、定期的なバックアップをGCSバケットにスケジュールし、GCSからBigQueryにバックアップをロードします。 [documentation]。

データフローを使用する場合は、JavaまたはPythonでDatastoreIOソースを使用できます（ここではPHPはありません）。 [documentation] PCollectionへのクエリから

読む結果：

Pipeline p = Pipeline.create(options); 
PCollection<Entity> entities = p.apply(
    DatastoreIO.v1().read() 
     .withProjectId(projectId) 
     .withQuery(myQueryObject)); 

は、その後、あなたがデータを好きな場所に、このPCollectionを書きます。