FTPソース - 取得ファイル参照ファイルは

Question

転送されるたびに私はこのようなストリームを作成言うことができます：FTPサーバー2つのファイルの両方が転送され、シンクはこのような何かをログに記録するログされますが含まれている場合

stream create --name ftpstream --definition "ftp --username=ftpuser --password=pass123 --host=host.com --remoteDir=/home/ftpuser --mode=ref | log" --deploy 

を：しかし、この印刷が唯一の新しいファイルが処理される最初の時間に発生し

2017-10-24T20:43:08+0200 1.3.1.RELEASE INFO task-scheduler-3 sink.ftpstream - /tmp/xd/ftp/dummy.txt 
2017-10-24T20:43:08+0200 1.3.1.RELEASE INFO task-scheduler-3 sink.ftpstream - /tmp/xd/ftp/test.txt 

（私はFTPサーバーに新しいファイルを追加する場合、シンクログメッセージをログに記録されます） が、私はすでに削除した場合は、ローカル/tmp/xd/ftpディレクトリからファイルを転送します、ファイルは変換されます再度エラーは発生しますが、シンクログメッセージは書き込まれません。

ファイルが転送されるたびにファイル参照を正しく取得する方法はありますか？

ありがとうございました。

Answer 1

カスタムFTPソースが必要です。デフォルトのソースはlocal-filterにAcceptOnceFileListFilterとなっていますので、同じファイルを2度渡すことはありません（フェッチしても）。

FileSystemPersistentAcceptOnceFileListFilterを使用すると、lastModifiedの日付が変更された場合にファイルを渡します。