ブロブ入力によるスローストリーム解析

Question

ブロブを入力としてストリームアナリティクスを使用し、次にAzure SQLデータベースに書き込むソリューションを継承しました。

最初は、問題なく機能しましたが、コンテナに数百万個のブロブを追加した後（古いブロブは削除しない）、新しいブロブの処理が遅くなりました。また、一部のブロブが欠落/スキップされているように見えます。

質問：ストリームアナリティクスは、コンテナ内に新しいブロブがあることをどのように認識しますか？

Blobストレージには、新しいBlobを処理する必要があることをストリームアナリティクスに知らせるためのプッシュ通知メカニズムがありませんでした。したがって、ストリームアナリティクスがBlobのリストを取得するためにコンテナをポーリングしていると仮定していますCloudBlobContainer.ListBlobs()のようなもの）を使用して内部的にBLOBのリストを保存するので、再びポーリングするときに新しいリストを古いリストと比較し、どのBLOBが新規で処理される必要があるかを知ることができます。

documentation状態：

ストリームAnalyticsはしかし、そのノート以外にも、私はストリームアナリティクスにブロブかを知っている方法を説明するために、他のドキュメントを見ていない、一度だけ

各ファイルを表示しますプロセス。

Answer 1

ASAは、リストブロブを使用してブロブのリストを取得します。

ブロブのパスを日付の時間パターンで区切ることができれば、より良いでしょう。 ASAは、日付パターンなしで新しいBLOBを発見する特定のパスをリストするだけで、すべてのBLOBをリストアップする必要があります。これはおそらく、膨大な数のブロブではより遅くなるのです。