摘要:引言本期精讀的文章是,探討如何監聽文件的變化。概述使用使用內置函數似乎可以解決問題但你可能會發現這個回調執行有一定延遲,因為是通過輪詢檢測文件變化的,它并不能實時作出反饋,而且只能監聽一個文件,存在效率問題。
1 引言
本期精讀的文章是:How to Watch for Files Changes in Node.js,探討如何監聽文件的變化。
如果想使用現成的庫,推薦 chokidar 或 node-watch,如果想了解實現原理,請往下閱讀。
2 概述 使用 fs.watchfile使用 fs 內置函數 watchfile 似乎可以解決問題:
fs.watchFile(dir, (curr, prev) => {});
但你可能會發現這個回調執行有一定延遲,因為 watchfile 是通過輪詢檢測文件變化的,它并不能實時作出反饋,而且只能監聽一個文件,存在效率問題。
使用 fs.watch使用 fs 的另一個內置函數 watch 是更好的選擇:
fs.watch(dir, (event, filename) => {});
watch 通過操作系統提供的文件更改通知機制,在 Linux 操作系統使用 inotify,在 macOS 系統使用 FSEvents,在 windows 系統使用 ReadDirectoryChangesW,而且可以用來監聽目錄的變化,在監聽文件夾的場景中,比創建 N 個 fs.watchfile 效率高出很多。
$ node file-watcher.js [2018-05-21T00:55:52.588Z] Watching for file changes on ./button-presses.log [2018-05-21T00:56:00.773Z] button-presses.log file Changed [2018-05-21T00:56:00.793Z] button-presses.log file Changed [2018-05-21T00:56:00.802Z] button-presses.log file Changed [2018-05-21T00:56:00.813Z] button-presses.log file Changed
但當我們修改一個文件時,回調卻執行了 4 次!原因是文件被寫入時,可能觸發多次寫操作,即使只保存了一次。但我們不需要這么敏感的回調,因為通常認為一次保存就是一次修改,系統底層寫了幾次文件我們并不關心。
因而可以進一步判斷是否觸發狀態是 change:
fs.watch(dir, (event, filename) => { if (filename && event === "change") { console.log(`${filename} file Changed`); } });
這樣做可以一定程度解決問題,但作者發現 Raspbian 系統不支持 rename 事件,如果歸類為 change,會導致這樣的判斷毫無意義。
作者要表達的意思是,在不同平臺下,fs.watch 的規則可能會不同,原因是 fs.watch 分別使用了各平臺提供的 api,所以無法保證這些 api 實現規則的統一性。優化方案一:對比文件修改時間
基于 fs.watch,增加了對修改時間的判斷:
let previousMTime = new Date(0); fs.watch(dir, (event, filename) => { if (filename) { const stats = fs.statSync(filename); if (stats.mtime.valueOf() === previousMTime.valueOf()) { return; } previousMTime = stats.mtime; console.log(`${filename} file Changed`); } });
log 由 4 個變成了 3 個,但依然存在問題。我們認為文件內容變化才算有修改,但操作系統考慮的因素更多,所以我們再嘗試對比文件內容是否變化。
筆者補充:另外一些開源編輯器可能先清空文件再寫入,也會影響到觸發回調的次數。優化方案二:校驗文件 md5
只有文件內容變化了,才認為觸發了改動,這下總可以了吧:
let md5Previous = null; fs.watch(dir, (event, filename) => { if (filename) { const md5Current = md5(fs.readFileSync(buttonPressesLogFile)); if (md5Current === md5Previous) { return; } md5Previous = md5Current; console.log(`${filename} file Changed`); } });
log 終于由 3 個變成了 2 個,為什么多出一個?可能的原因是,在文件保存過程中,系統可能會觸發多個回調事件,也許存在中間態。
優化方案三:加入延遲機制我們嘗試延遲 100 毫秒進行判斷,也許能避開中間狀態:
let fsWait = false; fs.watch(dir, (event, filename) => { if (filename) { if (fsWait) return; fsWait = setTimeout(() => { fsWait = false; }, 100); console.log(`${filename} file Changed`); } });
這下 log 變成一個了。很多 npm 包在這里使用了 debounce 函數控制觸發頻率,才將觸發頻率修正。
而且我們需要結合 md5 與延遲機制共同作用,才能得到相對精準的結果:
let md5Previous = null; let fsWait = false; fs.watch(dir, (event, filename) => { if (filename) { if (fsWait) return; fsWait = setTimeout(() => { fsWait = false; }, 100); const md5Current = md5(fs.readFileSync(dir)); if (md5Current === md5Previous) { return; } md5Previous = md5Current; console.log(`${filename} file Changed`); } });3 精讀
作者討論了一些實現文件夾監聽的基本方式,可以看出,使用了各平臺原生 API 的 fs.watch 并不那么靠譜,但這也我們監聽文件的唯一手段,所以需要基于它進行一系列優化。
而實際場景中,還需要考慮區分文件夾與文件、軟連接、讀寫權限等情況。
另外用在生產環境的庫,也基本使用 50 到 100 毫秒解決重復觸發的問題。
所以無論 chokidar 或 node-watch,都大量使用了文中提及的技巧,再加上對邊界條件的處理,對軟連接、權限等情況處理,將所有可能情況都考慮到,才能提供較為準確的回調。
比如判斷文件寫入操作是否完畢,也需要通過輪詢的方式:
function awaitWriteFinish() { // ...省略 fs.stat( fullPath, function(err, curStat) { // ...省略 if (prevStat && curStat.size != prevStat.size) { this._pendingWrites[path].lastChange = now; } if (now - this._pendingWrites[path].lastChange >= threshold) { delete this._pendingWrites[path]; awfEmit(null, curStat); } else { timeoutHandler = setTimeout( awaitWriteFinish.bind(this, curStat), this.options.awaitWriteFinish.pollInterval ); } }.bind(this) ); // ...省略 }
可以看出,第三方 npm 庫都采取不信任操作系統回調的方式,根據文件信息完全重寫了判斷邏輯。
可見,信任操作系統的回調,就無法抹平所有操作系統間的差異,唯有統一重寫文件的 “寫入”、“刪除”、“修改” 等邏輯,才能保證在全平臺的兼容性。
4 總結利用 nodejs 監聽文件夾變化很容易,但提供準確的回調卻很難,主要難在兩點:
抹平操作系統間的差異,這需要在結合 fs.watch 的同時,增加一些額外校驗機制與延時機制。
分清楚操作系統預期與用戶預期,比如編輯器的額外操作、操作系統的多次讀寫都應該被忽略,用戶的預期不會那么頻繁,會忽略極小時間段內的連續觸發。
另外還有兼容性、權限、軟連接等其他因素要考慮,fs.watch 并不是一個開箱可用的工程級別 api。
5 更多討論討論地址是:精讀《如何利用 Nodejs 監聽文件夾》 · Issue #87 · dt-fe/weekly
如果你想參與討論,請點擊這里,每周都有新的主題,周末或周一發布。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/107952.html
摘要:引言本期精讀的文章是如何在使用環境變量。介紹了開發與生產環境如何管理環境變量。本地通過調試環境變量既方便又安全。更多討論討論地址是精讀如何在使用環境變量如果你想參與討論,請點擊這里,每周都有新的主題,周末或周一發布。 1 引言 本期精讀的文章是:如何在 nodejs 使用環境變量。 介紹了開發與生產環境如何管理環境變量。 這里環境變量指的是數據庫密碼等重要數據,而不是指普通變量傳參。 ...
摘要:今天我們就來解讀一下的源碼。比較有意思,將定時器以方式提供出來,并且提供了方法。實現方式是,在組件內部維護一個定時器,實現了組件更新銷毀時的計時器更新銷毀操作,可以認為這種定時器的生命周期綁定了組件的生命周期,不用擔心銷毀和更新的問題。 1. 引言 React PowerPlug 是利用 render props 進行更好狀態管理的工具庫。 React 項目中,一般一個文件就是一個類,...
摘要:可以看到,這樣不僅沒有占用組件自己的,也不需要手寫回調函數進行處理,這些處理都壓縮成了一行。效果通過拿到周期才執行的回調函數。實現等價于的回調僅執行一次時,因此直接把回調函數拋出來即可。 1 引言 上周的 精讀《React Hooks》 已經實現了對 React Hooks 的基本認知,也許你也看了 React Hooks 基本實現剖析(就是數組),但理解實現原理就可以用好了嗎?學的是...
摘要:前端框架總是帶入后端思維,而則是把前端思維帶入了后端運維。前端同學對應該尤為激動。而帶來了進一步優化的空間。當服務器面臨攻擊重啟磁盤故障時,打開復雜的工作臺或登陸后一通操作才能恢復。 1. 引言 Serverless 是一種 無服務器架構,讓用戶無需關心程序運行環境、資源及數量,只要將精力 Focus 到業務邏輯上的技術。 現在公司已經實現 DevOps 化,正在向 Serverles...
摘要:更好的安全性隨著的發布,從升級到了,更安全且更易配置。通過使用,程序可以減少握手所需時間來提升請求性能。提供診斷報告有一項實驗功能,根據用戶需求提供診斷報告,包括崩潰性能下降內存泄露使用高等等。前端精讀幫你篩選靠譜的內容。 1. 引言 Node12 發布有幾個月了,讓我們跟隨 Nodejs 12 一起看看 Node12 帶來了哪些改變。 2. 概述 Node12 與以往的版本不同,帶來...
閱讀 1193·2021-11-22 13:54
閱讀 2442·2021-09-22 15:36
閱讀 2745·2019-08-30 15:54
閱讀 816·2019-08-30 15:53
閱讀 3181·2019-08-30 15:53
閱讀 523·2019-08-29 15:21
閱讀 2878·2019-08-28 18:28
閱讀 3026·2019-08-26 13:37