2016-10-13 7 views
0

My Data Lake Analyticsジョブは、IExtractorを実装するカスタム.NETアセンブリを読み込みます。この抽出機能は、たとえばテキストファイルからデータを並べ替えるだけの場合に効果的ですが、実際には入力データをHTTP経由でベンダーのリモートAPIから取得します。だから、基本的にRESTリクエストであるものを作るためにエクストラクタの実装を変更します。エラー:カスタムアセンブリから「http要求を作成できません」

と回答した場合、 Analyticsログに「httpリクエストを作成できません」というエラーが表示されます。私は、MicrosoftがAnalyticsのカスタムアセンブリ内でできることとできないことをマイクロソフトが制限していると思いますが、私は直接言及しているドキュメントには何も見つかりません。カスタムアセンブリ内でHTTP要求を行うことはできません。

だから私の質問は2つの部分である:

  1. Azureのデータ湖Analyticsのカスタムアセンブリ上の制限が文書化されていますか?
  2. 大量の静的入力ファイルが最新のデータを取得するのに邪魔にならない方法であるとわかった場合、入力データをAnalyticsジョブに引き込むより良い方法はありますか?
+0

同様の要件があるので、Logic app、BLOBストレージに書き込むなど、良いパターンを知っていると良いでしょうか? – wBob

+0

これは私が今やっていることです。明らかに、私はU-SQL内のソースサービスからデータを「生きている」ことができません。その次善策は、ファイル形式ですべてのデータを取得し、それをBlobまたはData Lake Storeに押し込むことです。つまり、私は「リアルタイム」の経験は得られませんが、私のアプリケーションでは大丈夫です。 – catfood

答えて

2

この制限は、今後のカスタムオペレータの作成に関するドキュメントに記載されています(年末までに最新のものとして公開予定)。

私は通常、プレゼンテーションでそれを言いますが、スライドでは明示的ではないことに気付きました。私はそれを修正する:)。

私たちが外部呼び出しを許可しない主な理由は、大量のデータに拡張されたひどく設計されたUDOは、その外部サービスのRESTエンドポイントにDDOSのように見えるため、リスト。

http://aka.ms/adlfeedbackで達成したいことをお知らせください。上記の欠点なしでこれを可能にする機能が追加されているかどうかを確認します。

関連する問題