程式狂想筆記

一個攻城師奮鬥史

0%

inotify-tools 監聽資料夾裡檔案異動工具

最近做到大檔案處理方式
由於資料太多,程式在掃整個檔案目錄就花費很多時間
在想有什麼工具可以監聽資料夾這個動作
後來有找到 inotify-tools 可以做到
這邊就小記

安裝

1
sudo apt install inotify-tools

Linux 指令

監聽 /home 資料夾目錄(文件的訪問,寫入,修改,刪除)

inotifywait

1
inotifywait -rm /home

note:
-r 遞迴目錄都會接收到監聽
-m 收到監聽異動會持續監聽,不會停止

ls 資料夾也會收到訊息

inotifywatch

1
inotifywatch -v -e access -e modify -t 60 -r /home

Establishing watches…
Setting up watch(es) on /home
OK, /home is now being watched.
Total of 5 watches.
Finished establishing watches, now collecting statistics.
Will listen for events for 30 seconds.
total access modify filename
13 3 10 /home/vagrant/

監聽access(文件讀取)、modify(文件更改)檔案做統計個數

NOTE:
-v 顯示訊息
-e 要監聽的事件
-t 監聽幾秒鐘
-r 遞迴目錄都會接收到監聽

相關指令設定

inotifywait
語法:
inotifywait [-hcmrq] [-e ] [-t ] [–format ] [–timefmt ] [ … ]
參數:
-h,–help
輸出幫助信息
@
排除不需要監視的文件,可以是相對路徑,也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件,一個文件一行,排除的文件以@開頭。
-m, –monitor
接收到一個事情而不退出,無限期地執行。默認的行為是接收到一個事情後立即退出。
-d, –daemon
跟–monitor一樣,除了是在後台運行,需要指定–outfile把事情輸出到一個文件。也意味著使用了–syslog。
-o, –outfile
輸出事情到一個文件而不是標準輸出。
-s, –syslog
輸出錯誤信息到系統日誌
-r, –recursive
監視一個目錄下的所有子目錄。
-q, –quiet
指定一次,不會輸出詳細信息,指定二次,除了致命錯誤,不會輸出任何信息。
–exclude
正則匹配需要排除的文件,大小寫敏感。
–excludei
正則匹配需要排除的文件,忽略大小寫。
-t , –timeout
設置超時時間,如果為0,則無限期地執行下去。
-e , –event
指定監視的事件。
-c, –csv
輸出csv格式。
–timefmt
指定時間格式,用於–format選項中的%T格式。
–format
指定輸出格式。
%w 表示發生事件的目錄
%f 表示發生事件的文件
%e 表示發生的事件
%Xe 事件以「X」分隔
%T 使用由–timefmt定義的時間格式
inotifywatch

語法:
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ … ]
參數:
-h, –help
輸出幫助信息
-v, –verbose
輸出詳細信息
@
排除不需要監視的文件,可以是相對路徑,也可以是絕對路徑。
–fromfile
從文件讀取需要監視的文件或排除的文件,一個文件一行,排除的文件以@開頭。
-z, –zero
輸出表格的行和列,即使元素為空
–exclude
正則匹配需要排除的文件,大小寫敏感。
–excludei
正則匹配需要排除的文件,忽略大小寫。
-r, –recursive
監視一個目錄下的所有子目錄。
-t , –timeout
設置超時時間
-e , –event
只監聽指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。

access 文件讀取
modify 文件更改。
attrib 文件屬性更改,如權限,時間戳等。
close_write 以可寫模式打開的文件被關閉,不代表此文件一定已經寫入數據。
close_nowrite 以只讀模式打開的文件被關閉。
close 文件被關閉,不管它是如何打開的。
open 文件打開。
moved_to 一個文件或目錄移動到監聽的目錄,即使是在同一目錄內移動,此事件也觸發。
moved_from 一個文件或目錄移出監聽的目錄,即使是在同一目錄內移動,此事件也觸發。
move 包括moved_to和 moved_from
move_self 文件或目錄被移除,之後不再監聽此文件或目錄。
create 文件或目錄創建
delete 文件或目錄刪除
delete_self 文件或目錄移除,之後不再監聽此文件或目錄
unmount 文件系統取消掛載,之後不再監聽此文件系統。

資料來源: inotify-tools使用方法介紹-Linux運維日誌

相關 inotify 設定

3、參數說明
max_user_instances:每個用戶創建inotify實例最大值
max_queued_events:inotify隊列最大長度,如果值太小,會出現錯誤,導致監控文件不準確
max_user_watches:要知道同步的文件包含的目錄數,可以用:
[root@localhost]# find /home/rain -type d|wc -l 統計,必須保證參數值大於統計結果(/home/tan/uploadFile/為同步文件目錄)。

查看設定

1
2
3
4
5
6
7
sysctl -a | grep max_queued_events  
#fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
#fs.inotify.max_user_watches = 8192
#fs.epoll.max_user_watches = 798863
sysctl -a | grep max_user_instances
#fs.inotify.max_user_instances = 128

五、修改inotify參數

1、命令修改
[root@localhost bin]# sysctl -w fs.inotify.max_user_instances=130
fs.inotify.max_user_instances = 130

2、文件修改
[root@localhost]# vi /etc/sysctl.conf

#添加如下代碼
fs.inotify.max_user_instances=130

資料來源: CentOS 6.9上inotify-tools 安裝及使用方法 - 1felse筆記

相關串接方法

小小實驗

cp 複製檔案可能沒注意的事情 | 程式狂想筆記
實驗一下複製大檔案當下狀況
是忽看到 CLOSE_WRITE 做複製動作會比較安全

看了一下
-e close_write,delete,create,attrib
-e close_write,delete,moved_to
我看其他篇文章有下這個
這樣真的用 close_write 比較安全

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
/home/vagrant/vv/ CREATE file.txt
/home/vagrant/vv/ OPEN file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
...
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ MODIFY file.txt
/home/vagrant/vv/ CLOSE_WRITE,CLOSE file.txt

總結

我本來想找找網路上有沒有搭配 inotify-tools 做 RabbitMQ 動作
是有找到 sof-object-listing/inotify at master · prashanthpai/sof-object-listing,但未確認是不是能真的用
大多是做 Web 監聽檔案資料同步 居多
但是 inotify-tools 看起來也有接收大量打案也有極限
不知道是不是一個好的解決方式
也要看其況

相關連結

彩蛋
突然想到上次研究 Oauth API
發現有些token 能做到時效性
但一直沒有時間紀錄
看到有一篇說 token 時效性問題
突然想到這樣不就會買台時間不一樣的問題
但後來發現原來 oauth 傳的時間是 duration 時間
所以不會有這個問題