程式狂想筆記

一個攻城師奮鬥史

0%

inotify-tools 監聽資料夾裡檔案異動工具

發表於 更新於 分類於 Disqus：

最近做到大檔案處理方式
由於資料太多，程式在掃整個檔案目錄就花費很多時間
在想有什麼工具可以監聽資料夾這個動作
後來有找到 inotify-tools 可以做到
這邊就小記

安裝

1
sudo apt install inotify-tools

Linux 指令

監聽 /home 資料夾目錄(文件的訪問，寫入，修改，刪除)

inotifywait

1
inotifywait -rm /home

note:
-r 遞迴目錄都會接收到監聽
-m 收到監聽異動會持續監聽，不會停止

ls 資料夾也會收到訊息

inotifywatch

1
inotifywatch -v -e access -e modify -t 60 -r /home

Establishing watches…
Setting up watch(es) on /home
OK, /home is now being watched.
Total of 5 watches.
Finished establishing watches, now collecting statistics.
Will listen for events for 30 seconds.
total access modify filename
13 3 10 /home/vagrant/

監聽access（文件讀取)、modify(文件更改)檔案做統計個數

NOTE:
-v 顯示訊息
-e 要監聽的事件
-t 監聽幾秒鐘
-r 遞迴目錄都會接收到監聽

相關指令設定

inotifywait
語法：
inotifywait [-hcmrq] [-e ] [-t ] [–format ] [–timefmt ] [ … ]
參數：
-h,–help
輸出幫助信息
@
排除不需要監視的文件，可以是相對路徑，也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。
-m, –monitor
接收到一個事情而不退出，無限期地執行。默認的行為是接收到一個事情後立即退出。
-d, –daemon
跟–monitor一樣，除了是在後台運行，需要指定–outfile把事情輸出到一個文件。也意味著使用了–syslog。
-o, –outfile
輸出事情到一個文件而不是標準輸出。
-s, –syslog
輸出錯誤信息到系統日誌
-r, –recursive
監視一個目錄下的所有子目錄。
-q, –quiet
指定一次，不會輸出詳細信息，指定二次，除了致命錯誤，不會輸出任何信息。
–exclude
正則匹配需要排除的文件，大小寫敏感。
–excludei
正則匹配需要排除的文件，忽略大小寫。
-t , –timeout
設置超時時間，如果為0，則無限期地執行下去。
-e , –event
指定監視的事件。
-c, –csv
輸出csv格式。
–timefmt
指定時間格式，用於–format選項中的%T格式。
–format
指定輸出格式。
%w 表示發生事件的目錄
%f 表示發生事件的文件
%e 表示發生的事件
%Xe 事件以「X」分隔
%T 使用由–timefmt定義的時間格式
inotifywatch

語法：
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ … ]
參數：
-h, –help
輸出幫助信息
-v, –verbose
輸出詳細信息
@
排除不需要監視的文件，可以是相對路徑，也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。
-z, –zero
輸出表格的行和列，即使元素為空
–exclude
正則匹配需要排除的文件，大小寫敏感。
–excludei
正則匹配需要排除的文件，忽略大小寫。
-r, –recursive
監視一個目錄下的所有子目錄。
-t , –timeout
設置超時時間
-e , –event
只監聽指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。
access 文件讀取
modify 文件更改。
attrib 文件屬性更改，如權限，時間戳等。
close_write 以可寫模式打開的文件被關閉，不代表此文件一定已經寫入數據。
close_nowrite 以只讀模式打開的文件被關閉。
close 文件被關閉，不管它是如何打開的。
open 文件打開。
moved_to 一個文件或目錄移動到監聽的目錄，即使是在同一目錄內移動，此事件也觸發。
moved_from 一個文件或目錄移出監聽的目錄，即使是在同一目錄內移動，此事件也觸發。
move 包括moved_to和 moved_from
move_self 文件或目錄被移除，之後不再監聽此文件或目錄。
create 文件或目錄創建
delete 文件或目錄刪除
delete_self 文件或目錄移除，之後不再監聽此文件或目錄
unmount 文件系統取消掛載，之後不再監聽此文件系統。

資料來源: inotify-tools使用方法介紹-Linux運維日誌

相關 inotify 設定

3、參數說明
max_user_instances：每個用戶創建inotify實例最大值
max_queued_events：inotify隊列最大長度，如果值太小，會出現錯誤，導致監控文件不準確
max_user_watches：要知道同步的文件包含的目錄數，可以用：
[root@localhost]# find /home/rain -type d|wc -l 統計，必須保證參數值大於統計結果（/home/tan/uploadFile/為同步文件目錄）。

查看設定

1
2
3
4
5
6
7
sysctl -a | grep max_queued_events  
#fs.inotify.max_queued_events = 16384  
sysctl -a | grep max_user_watches  
#fs.inotify.max_user_watches = 8192  
#fs.epoll.max_user_watches = 798863  
sysctl -a | grep max_user_instances  
#fs.inotify.max_user_instances = 128

五、修改inotify參數

1、命令修改
[root@localhost bin]# sysctl -w fs.inotify.max_user_instances=130
fs.inotify.max_user_instances = 130

2、文件修改
[root@localhost]# vi /etc/sysctl.conf

#添加如下代碼
fs.inotify.max_user_instances=130

資料來源: CentOS 6.9上inotify-tools 安裝及使用方法 - 1felse筆記

相關串接方法

小小實驗

cp 複製檔案可能沒注意的事情 | 程式狂想筆記
實驗一下複製大檔案當下狀況
是忽看到 CLOSE_WRITE 做複製動作會比較安全

看了一下
-e close_write,delete,create,attrib
-e close_write,delete,moved_to
我看其他篇文章有下這個
這樣真的用 close_write 比較安全

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
/home/vagrant/vv/ CREATE file.txt
/home/vagrant/vv/ OPEN file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
...
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ CLOSE_WRITE,CLOSE file.txt

總結

我本來想找找網路上有沒有搭配 inotify-tools 做 RabbitMQ 動作
是有找到 sof-object-listing/inotify at master · prashanthpai/sof-object-listing，但未確認是不是能真的用
大多是做 Web 監聽檔案 和 資料同步 居多
但是 inotify-tools 看起來也有接收大量打案也有極限
不知道是不是一個好的解決方式
也要看其況

相關連結

彩蛋
突然想到上次研究 Oauth API
發現有些token 能做到時效性
但一直沒有時間紀錄
看到有一篇說 token 時效性問題
突然想到這樣不就會買台時間不一樣的問題
但後來發現原來 oauth 傳的時間是 duration 時間
所以不會有這個問題