Linuxユーザー空間から変更されたファイルを検出する

Question

Linuxシステムで最後にリストを生成してから変更されたファイルのリストを生成する必要があります。私はユーザー空間でこれを行う必要があるので、解決策のようなFAMは私のために合っていません。

1. ターゲットソリューションの両方ext2とext3ファイル・システム上で使用することができます。これを行うには、私は以下のいくつかの制約があります。
2. ユーザ空間に実装する必要があります。カーネルの変更やモジュールは許可されていません。
3. ファイルの変更時刻に依存してはいけません。少なくともファイルサイズを使用するか、より良いチェックサムアルゴリズムを使用してdeltaを生成する必要があります。
4. リアルタイムである必要はなく、定期的に（たとえば10分ごとに）実行されます。

誰もがこのタスクのために既に実装されている解決策を知っていますか？私はこの目的のためにrsyncを使ってみましたが、rsyncは違いを計算するためにすべてのファイルのコピーが必要です。

EDIT

基本的に私は、再帰的に指定したディレクトリ下のファイルとそのデルタのリストをgenratesし、前のものと比較メカニズムが必要です。差分を生成するためにファイルサイズを使用する場合があります（rsync algorithmに似ています）。しかし、MD5やSHA1のような暗号化ハッシュアルゴリズムは、その性能のために私には適していません。私は何千ものファイルを持っているのではなく、これは暗号の場合ではありません。

カーネル上で変更が必要なリアルタイムソリューションまたは解決策（inotify、kqueue、FAM、Fuseなど）は、私にとっては適していません。

ありがとうございます。

Answer 1

• あなたはファイルシステムを監視するためにinotify施設を使用することができます。わからない 既にツールを使用していて、のクイック検索の結果が多い場合は、たとえばhttps://github.com/rvoicilas/inotify-tools/wiki/となります。 の違いを検出するために

  find/-xdev -type f -print0 | xargs -0 md5sum -b >> /tmp/sums.txt

  今、あなたはそれらのファイルをソートし、それらを比較することができます：あなたは これを行うにmd5sumを使用することができます

• sort -k 2 </tmp/sums.txt> /tmp/sums.sorted.txt

  は、私はあなたが得ると思いますアイデアはもちろんですが、これはロットあなたはチェックサムをしているのですべてのデータ。

EDIT：私は、ファイル名にファイルサイズを追加し、ファイルシステムツリーをダンプ迅速なスクリプトを書きました。 diffを使用すると、2回の実行の出力を比較して、変更内容を判断できます。もちろんこれは単なるスケッチであり、改善することができます。

#!/usr/bin/env python 

import os 
import sys 

# initialize variables. 
entries=[] 
if len(sys.argv) > 1: 
     rootdir=os.path.normpath(sys.argv[1]) 
else: 
     rootdir=os.curdir 

# walk filesystem tree. 
for root, dirs, files in os.walk(rootdir): 
     for name in sorted(files): 
       fullname=os.path.normpath(os.path.join(root, name)) 
       if os.path.islink(fullname) or not os.path.isfile(fullname): 
         entries.append(fullname) 
       else: 
         st=os.stat(fullname) 
         entries.append("%s %d" % (fullname, st.st_size)) 
     for name in sorted(dirs): 
       entries.append(os.path.normpath(os.path.join(root, name))) 

# print sorted list of found filesystem entries. 
for entry in sorted(entries): 
     print entry 

これは役に立ちますか？ディレクトリがマウントポイントで、散歩からそれを除外した場合

• チェック：

  は、改善を提案しました。

• 変更するファイルタイプを見つけるために、ダンプする前にタイプする文字（たとえば、f blub 6またはd test）。
• 時間に基づいてファイルの変化を検出するファイルにst_mtime/st_atime/st_ctimeを追加します。
• append md5最も一般的な変更を検出するファイルの先頭と最後の1,024バイトの合計です（ファイルがappenededデータを取得した場合）。
• 完全なチェックサムをファイルの内容（たとえばCRC32）に追加します。

私はrsyncの

Answer 2

あなたは

• 仕掛け
• rkhunterの
• のrsyncで見ることができる（ただし、参照コピーを持っている必要があります）

rdiffbackupとrsnapshotはfullblown増分（deltifying）ですrsyncに基づくバックアップソリューション

また、zfs-fuseやzfsonlinuxで多くの用途があるかもしれません。これらのファイルシステムは、連続的なスナップショットをサポートしています。

SNAPID=$RANDOM # something unique, please 
zfs snapshot tank/volume_of_mount@$SNAPID 
zfs send -i tank/volume_or_mount@previous tank/volume_of_mount@$SNAPID | 
    pbzip2 > dumpfile.$SNAPID.bz2 

受信側：

zfs receive -vFdn tank2/into_this@$SNAPID < dumpfile.$SNAPID.bz2 

スナップショットのこの種のは、オンザフライで、住んで行われ、ZFSはログ構造化ファイルシステムがあるとして、非常によく実行することができますmerkel-treeベースのインテグリティチェックが組み込まれています。あなたは、各ファイルのチェックサムが実行ごとに再計算されていると満足している場合

Answer 3

、あなたは簡単な解決策を使用することができます。

find/(-not -path '/tmp/*' -and -type f) -print0 | xargs -0 md5sum > /tmp/current-listing 
diff /tmp/old-listing /tmp/current-listing 
mv /tmp/current-listing /tmp/old-listing