資訊專欄INFORMATION COLUMN
摘要：的存儲策略為了支持大容量，存儲節點服務器采用了分卷或分組的組織方式。的文件下載客戶端成功后，會拿到一個生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。
FastDFS開源地址：https://github.com/happyfish100
個人封裝的FastDFS Java API：https://github.com/bojiangzhou/lyyzoo-fastdfs-java
FastDFS 是一個開源的高性能分布式文件系統（DFS）。 它的主要功能包括：文件存儲，文件同步和文件訪問，以及高容量和負載平衡。主要解決了海量數據存儲問題，特別適合以中小文件（建議范圍：4KB < file_size <500MB）為載體的在線服務。
FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。
Tracker Server：跟蹤服務器，主要做調度工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動后會連接 Tracker，告知自己所屬 group 等信息，并保持周期性心跳。
Storage Server：存儲服務器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多臺 storage server，數據互為備份。
Client：客戶端，上傳下載數據的服務器，也就是我們自己的項目所部署在的服務器。
為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。
在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一臺或多臺服務器，并將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。
FastDFS向使用者提供基本文件訪問接口，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。
Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關系是對等的，所以客戶端上傳時可以選擇任意一個Tracker。
當Tracker收到客戶端上傳文件的請求時，會為該文件分配一個可以存儲文件的group，當選定了group后就要決定給客戶端分配group中的哪一個storage server。當分配好storage server后，客戶端向storage發送寫文件請求，storage將會為文件分配一個數據存儲目錄。然后為文件分配一個fileid，最后根據以上的信息生成文件名存儲文件。
寫文件時，客戶端將文件寫至group內一個storage server即認為寫文件成功，storage server寫完文件后，會由后臺線程將文件同步至同group內其他的storage server。
每個storage寫文件后，同時會寫一份binlog，binlog里不包含文件數據，只包含文件名等元信息，這份binlog用于后臺同步，storage會記錄向group內其他storage同步的進度，以便重啟后能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集群內所有server的時鐘保持同步。
storage的同步進度會作為元數據的一部分匯報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考。
客戶端uploadfile成功后，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。
跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、創建時間等信息，然后為該請求選擇一個storage用來服務讀請求。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/119025.html
摘要：一概念簡述是由淘寶開發平臺部資深架構師余慶開發，是一個輕量級高性能的開源分布式文件系統，用純語言開發，包括文件存儲文件同步文件訪問上傳下載存取負載均衡在線擴容相同內容只存儲一份等功能，適合有大容量存儲需求的應用或系統。故障恢復后，再次奪回。 一、概念簡述 FastDFS 是由淘寶開發平臺部資深架構師余慶開發，是一個輕量級、高性能的開源分布式文件系統( Distributed File ...
閱讀 2083·2021-09-29 09:35
閱讀 688·2021-09-08 09:36
閱讀 3396·2021-09-03 10:30
閱讀 2112·2019-08-30 14:21
閱讀 2912·2019-08-30 11:18
閱讀 3315·2019-08-29 17:31
閱讀 3143·2019-08-29 17:29
閱讀 1310·2019-08-29 17:13
