1

私の目標は、ユーザーが比較的大きなデータセットをMongoDB(mongoクラウド上でホストされる)にインポートできるようにすることです。 Apiサーバーはコンテナエンジンでホストされており、そのような大きな負荷では他の操作はありません(単純なCRUD操作のみ)。GCPクラウドは、大容量の.csvファイルを処理するための適切なツールですか?

ユーザーはGCP Bucketに.csvファイルをアップロードします。そこから、csvファイルの各行を検証してMongoDBにアップアップし、インポートされたデータに基づいて計算を行う必要があります。 これはGCPクラウド機能に適していますか?私は少し約540秒の実行時間の制限を心配しています。

+1

Cloud Dataflowを使用してMongoへのインポートを管理することをお勧めします。そこから、別のデータフローパイプラインを実行して計算を実行するか、単にアプリケーションで実行することができます。 –

答えて

1

これはむしろApache Beam/Dataflowの良いユースケースのようです。 Beam 2.2では、TextIO.read().from(...).watchForNewFiles(...)javadoc参照)を使用してバケット内の新しいファイルを継続的に取り込むストリーミングパイプラインを作成できます。

関連する問題