Logstashを使用して圧縮データを取り込むことはできますか？

Question

私はElasticsearchにデータを取り込みしようとしています。

データは共有フォルダにあります。可能であれば、私はElasticsearchにそれを摂取した後、zipファイルを削除したいと思います。

それはこのように見ているフォーマットで大きな単一のファイルに解凍.zipファイルです：基本的に各

#ReferenceID... 
... 
#EndDoc 

がElasticsearchに摂取すべき文書を表している

#ReferenceID 123das 
#FamilyID  abc 
#ArchiveDate 1483237892226 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is secret content of the document, and it is not encrypted. 
#EndDoc 

#ReferenceID 123das/1 (The "/1" means 1st attachment) 
#FamilyID  abc   
#ArchiveDate 1483237892227 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is the secret attachment content 
#EndDoc 

#ReferenceID... 
... 
#EndDoc 

...multiple of these until End of File 

LogstashとBeatsを使用して私の質問ができますか？これをどうやってやりますか？任意のポインタが高く評価されました。

Answer 1

Logstashのファイル{}入力では、ZIPファイルを処理できません。 github issueを参照してください。

Filebeatはまだ...できません。 this PRを参照してください。

ちょうど、s3 {}入力が可能です。