2017-07-09 3 views
1

私は正規表現とGROKパターンを試してみましたが、新しい行、ログファイルを解析するために、このStreamSetsを使用してログファイルの複数行のレコードを解析する方法は?

00:01:03.930 [WebContainer : 41] Outbound message: 
00:01:03.930 [WebContainer : 41] Values to hide NewPassword -- mask -- .+ 

のようなものをStreamSetsが行ずつ解析し、私のログレコードが複数行ある問題をStreamSetsを使用していますタグは私のためには機能しません。 したがって、StreamSetsをレコードを複数の行として解析する方法を教えてください。

+0

私はあなたの質問に答えることができません - あなたがPythonとpyparsingを使いたいと思わない限り、私は実験できたあなたのログファイルのより大きなサンプルを投稿できたらうれしいです。ありがとうございました! –

+0

彼らは常にペアになっていますか?どのように信頼性の高いグループ分けをしていますか? – metadaddy

+0

File TailコンポーネントのData Formatタブに「Pattern for Multiline」と書かれていますが、ヘルプで「複数行のテキストとログファイルのメインラインを検出するための正規表現パターン」と書かれていますが、正規表現に入れてください。私はメインの正規表現も埋める必要があります。このタグをどうすれば使えますか? –

答えて

1

ファイルを解析するカスタムプロセッサを作成しました。私はこのチュートリアルを踏襲し、うまく働いていたなど、私は(複数行を処理すると、単一のレコードとして考慮すること)私はJavascriptの評価(プロセッサ)

を使用して試してみて、以下のコードを記述します https://github.com/streamsets/tutorials/tree/master/tutorial-origin

0

を望んでいました

for(var i = 0; i < records.length; i++) { 
    try { 
    items = records[i].value['items'] 

<write your logic here to consider multiple lines > 


    } 

    } catch (e) { 
    // Send record to error 
    error.write(records[i], e); 
    } 
} 
関連する問題