1
私の目標は、ユーザーが比較的大きなデータセットをMongoDB(mongoクラウド上でホストされる)にインポートできるようにすることです。 Apiサーバーはコンテナエンジンでホストされており、そのような大きな負荷では他の操作はありません(単純なCRUD操作のみ)。GCPクラウドは、大容量の.csvファイルを処理するための適切なツールですか?
ユーザーはGCP Bucketに.csvファイルをアップロードします。そこから、csvファイルの各行を検証してMongoDBにアップアップし、インポートされたデータに基づいて計算を行う必要があります。 これはGCPクラウド機能に適していますか?私は少し約540秒の実行時間の制限を心配しています。
Cloud Dataflowを使用してMongoへのインポートを管理することをお勧めします。そこから、別のデータフローパイプラインを実行して計算を実行するか、単にアプリケーションで実行することができます。 –