メモリ不足Azureデータファクトリを使用したU-SQLアクティビティの実行

Question

定義済みのタイムスライスのAzureデータファクトリでパイプラインの一部としてU-SQLアクティビティを実行しています。 U-SQLアクティビティは、Azureデータレイクに格納されたデータを読み込んで処理する一連のU-SQLスクリプトを実行します。私のローカルでデータが正常に処理されている間、Azure Data Factory Cloud環境で実行しているときにSystem Out of Memory Exceptionがスローされています。

入力データは約200MBです。以前は大きなデータセットが処理されていたため、処理に問題はありません。

メモリ管理は必要に応じてスケーリングされていると見なされますが、Azure Cloud環境でメモリ不足例外が発生するのは驚くべきことですが、同じ入力データに対する2回の実行の例外スナップショットがあります。それらが発生します。

Exception Snapshot - 1

Exception Snapshot - 2

どのような援助は、高度、おかげで理解されます。

さらに更新：さらなる調査で、変数skipNRowを使用してスキップするヘッダー行を観察した：1再解決される問題、スニペットの後ろに我々のU-SQLコードでは、日付の比較に条件付けされたループを有し、その可能性ループは、スニペットが入力としてDateTime型の行の列を処理している場合、ヘッダー行の列の日付時間の無効なキャストのために終了しません。理想的には無効な日付時刻書式例外を与えるはずですが、代わりにメモリ不足例外が表示されます。

Answer 1

ユーザーコード内の何かが例外を引き起こしているようですが、失敗した頂点デバッグ機能をVSで実行することができます。あなたはVSで失敗したジョブを開くことができます。そして、あなたはそのプロセスを始めることができるジョブ概要のエラーバーを表示する必要があります。それは、失敗した部分をデスクトップにダウンロードして、あなたを進めさせます。