inotify-tools 監聽資料夾裡檔案異動工具

2020-01-12 606 words 3 minutes

Contents

最近做到大檔案處理方式
由於資料太多，程式在掃整個檔案目錄就花費很多時間
在想有什麼工具可以監聽資料夾這個動作
後來有找到 inotify-tools 可以做到
這邊就小記

安裝

1

 sudo apt install inotify-tools

Linux 指令

監聽 /home 資料夾目錄(文件的訪問，寫入，修改，刪除)

inotifywait

1

inotifywait -rm /home

note:
-r 遞迴目錄都會接收到監聽
-m 收到監聽異動會持續監聽，不會停止

ls 資料夾也會收到訊息

inotifywatch

1

inotifywatch -v -e access -e modify -t 60 -r /home

Establishing watches…
Setting up watch(es) on /home
OK, /home is now being watched.
Total of 5 watches.
Finished establishing watches, now collecting statistics.
Will listen for events for 30 seconds.
total access modify filename
13 3 10 /home/vagrant/

監聽access（文件讀取)、modify(文件更改)檔案做統計個數

NOTE:
-v 顯示訊息
-e 要監聽的事件
-t 監聽幾秒鐘
-r 遞迴目錄都會接收到監聽

相關指令設定

inotifywait
語法：
inotifywait [-hcmrq] [-e ] [-t ] [–format ] [–timefmt ] [ … ]
參數：
-h,–help
輸出幫助信息
@
排除不需要監視的文件，可以是相對路徑，也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。
-m, –monitor
接收到一個事情而不退出，無限期地執行。默認的行為是接收到一個事情後立即退出。
-d, –daemon
跟–monitor一樣，除了是在後台運行，需要指定–outfile把事情輸出到一個文件。也意味著使用了–syslog。
-o, –outfile
輸出事情到一個文件而不是標準輸出。
-s, –syslog
輸出錯誤信息到系統日誌
-r, –recursive
監視一個目錄下的所有子目錄。
-q, –quiet
指定一次，不會輸出詳細信息，指定二次，除了致命錯誤，不會輸出任何信息。
–exclude
正則匹配需要排除的文件，大小寫敏感。
–excludei
正則匹配需要排除的文件，忽略大小寫。
-t , –timeout
設置超時時間，如果為0，則無限期地執行下去。
-e , –event
指定監視的事件。
-c, –csv
輸出csv格式。
–timefmt
指定時間格式，用於–format選項中的%T格式。
–format
指定輸出格式。
%w 表示發生事件的目錄
%f 表示發生事件的文件
%e 表示發生的事件
%Xe 事件以「X」分隔
%T 使用由–timefmt定義的時間格式
inotifywatch

語法：
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ … ]
參數：
-h, –help
輸出幫助信息
-v, –verbose
輸出詳細信息
@
排除不需要監視的文件，可以是相對路徑，也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。
-z, –zero
輸出表格的行和列，即使元素為空
–exclude
正則匹配需要排除的文件，大小寫敏感。
–excludei
正則匹配需要排除的文件，忽略大小寫。
-r, –recursive
監視一個目錄下的所有子目錄。
-t , –timeout
設置超時時間
-e , –event
只監聽指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。


access	文件讀取
modify	文件更改。
attrib	文件屬性更改，如權限，時間戳等。
close_write	以可寫模式打開的文件被關閉，不代表此文件一定已經寫入數據。
close_nowrite	以只讀模式打開的文件被關閉。
close	文件被關閉，不管它是如何打開的。
open	文件打開。
moved_to	一個文件或目錄移動到監聽的目錄，即使是在同一目錄內移動，此事件也觸發。
moved_from	一個文件或目錄移出監聽的目錄，即使是在同一目錄內移動，此事件也觸發。
move	包括moved_to和 moved_from
move_self	文件或目錄被移除，之後不再監聽此文件或目錄。
create	文件或目錄創建
delete	文件或目錄刪除
delete_self	文件或目錄移除，之後不再監聽此文件或目錄
unmount	文件系統取消掛載，之後不再監聽此文件系統。

資料來源: inotify-tools使用方法介紹-Linux運維日誌

小小實驗

cp 複製檔案可能沒注意的事情 | 程式狂想筆記
實驗一下複製大檔案當下狀況
是忽看到 CLOSE_WRITE 做複製動作會比較安全

看了一下
-e close_write,delete,create,attrib
-e close_write,delete,moved_to
我看其他篇文章有下這個
這樣真的用 close_write 比較安全

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


/home/vagrant/vv/ CREATE file.txt
/home/vagrant/vv/ OPEN file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
...
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ CLOSE_WRITE,CLOSE file.txt

總結

我本來想找找網路上有沒有搭配 inotify-tools 做 RabbitMQ 動作
是有找到 sof-object-listing/inotify at master · prashanthpai/sof-object-listing，但未確認是不是能真的用
大多是做 Web 監聽檔案 和 資料同步 居多
但是 inotify-tools 看起來也有接收大量打案也有極限
不知道是不是一個好的解決方式
也要看其況