摘要：的關鍵技術主要有內容存儲和分發技術。分發本身是和存儲密不可分的存儲和分發的實質都是數據的讀取和使用，兩者是不可能分割的。只是存儲場景和分發場景，設計有些不同，服務質量的要求也不一樣。根據區域和時段的不同，存儲的價格也會有不同。

PPIO 是為開發者打造的去中心化存儲與分發平臺，讓數據存儲更便宜、更高速、更隱私。官方網站是 https://pp.io 。PPIO 不僅僅是個存儲平臺，也是一個分發平臺。之前我們寫了許多文章介紹 PPIO 的存儲技術，這篇文章將重點介紹 PPIO 的分發技術。

分發指的是在保證傳遞體驗的同時將同一份數據快速傳遞給很多人。這些人分布在一定區域很多地方 (可能是一個國家)，而且要保證數據傳輸的體驗。常用的分發場景有：靜態網頁、大文件下載、大圖片查看、流媒體點播、流媒體直播等。還有一些商業場景，如多路視頻通話、視頻會議等，其本質也是一種雙向的分發。

#1. CDN & P2P

傳統意義上的分發叫做 CDN，Content Delivery Network (內容分發網絡)，是一種構建在網絡之上的內容分發網絡，他的技術基本原理是把數據從源站推送到離用戶最近的服務器上，然后用戶直接從離自己最近的服務器獲取數據，從而獲得最好的用戶體驗。依靠部署在各地的邊緣服務器，通過中心平臺的負載均衡、內容分發、調度等功能模塊，使用戶就近獲取所需內容，降低網絡擁塞，提高用戶訪問響應速度和命中率。CDN 的關鍵技術主要有內容存儲和分發技術。

分發是 P2P 技術的最古老的應用。P2P 網絡從最早的的Napster 到后來的 Edonkey，Bittorrent 等，其應用場景本身都是把同一個內容，傳遞給更多的人，因為越多的人使用同一個內容，就意味著上傳的節點越多，速度也就能越快，這本身就是分發的場景。

雖然同樣是分發技術，P2P 和 CDN 的實現方式卻不同。CDN 中每個分發的節點都是服務器，CDN 網絡最終形成的是樹狀結構，一級一級的分發數據。而 P2P 網絡則不同，P2P 中的每個客戶端都具有上傳能力，當客戶端在下載數據的同時其實也上傳數據給別的客戶端。如果每個客戶端都按照這個邏輯來，就形成了一個人人為我，我為人人的生態系統。

P2P 對比 CDN 具有的優勢有：

P2P 是多點下載，能更充分的使用自身網絡，下載速度更快。特別是對于服務器（也包括 CDN 節點）距離客戶端比較遠的時候，這里說的是網絡距離。

P2P 的多點下載模式下，單節點的下載讀取抖動不會引起整體下載速度的波動

節約資源發布者帶寬

P2P 對比 CDN 的缺點有：

P2P 實現比較復雜，CDN 簡單。P2P 的服務在面對業務變化的時候，沒有 CDN 快。

P2P 在啟動的時候，有冷啟動問題需要解決，要找到優質的其他節點需要些時間；所有在要求快速啟動的業務上，P2P 不如 CDN 便利。

對運營商來說，P2P 的可控性不如 CDN，運營商會研究如何限制 P2P，降低了 P2P 的用戶體驗。

P2P 和 CDN 并不矛盾，P2SP 技術就是 P2P 和 CDN 技術的結合，也就是對客戶端來說，既可以從 CDN 節點上下載，也可以從 P2P 網絡中下載數據。使用 P2SP 構建的服務，也被稱為 PCDN 服務。

#2. 視頻的應用在分發中很常見

分發應用是個重流媒體應用，視頻點播，如 Youtube, Netflix，還有視頻直播，如 Hulu 等，以及短視頻，如Tiktok 等，都是分發類的應用場景。據2018年10月的報告，視頻應用占互聯網流量下載量的58%左右。所以，PPIO 在做分發技術時候，會花大量的精力把視頻類的服務質量 QoS 做好。

#3. 分發本身是和存儲密不可分的

存儲和分發的實質都是數據的讀取和使用，兩者是不可能分割的。當一個數據存儲在 PPIO 網絡中，如果只有一個人會讀取并使用，就是存儲；如何有很多人讀取或者使用，就是分發。只是存儲場景和分發場景，設計有些不同，服務質量的要求也不一樣。

PPIO 的核心團隊在做過 PPTV，這是曾經最大的 P2SP 華語視頻平臺，用戶數做到了4.5億的規模。近十年的 P2P 視頻產品經驗讓我們團隊積累了豐富的 P2P 和分發類項目的技術、產品和運營實踐。我們非常了解分發場景對技術的多樣化甚至刁鉆的需求。這些經驗讓我們可以為分發類產品做出符合實際需要的技術架構。以下是 PPIO 為分發場景所做的技術設計。

#1. 重疊網絡

PPIO 支持重疊網絡 (Overlay 網絡)，每個存儲節點 (Storage Node/Miner) 都會將與自己物理連接較快的存儲節點作為自己的鄰居，在數據傳遞和信息交互過程，充分發揮臨近節點的優勢，使得網絡效率大大提高。

#2. 流媒體傳輸的優化

前面提到，流媒體是分發場景的最主要應用，對流媒體的支持以及做到足夠好的服務質量 (QoS) 非常重要。PPIO 實現了針對流媒體的由數據來驅動的特別下載算法，從而保證實時流媒體的流暢播放。

#3. P4P 技術的支持

P2P 會產生大量的網絡間的跨 ISP 流量。一般來說，網絡運營商 ISP 的網絡內的流量是沒有額外費用的，但是，運營商之間傳輸所產生的通訊會按照流量來計費。有沒有什么辦法能夠做到既保留 P2P 技術的優勢，又能做到降低跨 ISP 流量呢？這就是 P4P 技術。

P4P 全稱 Proactive Network Provider Participation for P2P，在加強相同服務供應商 (ISP) 內網絡流量的同時，降低了骨干網絡傳輸壓力和運營成本，從而也提高了 P2P 文件的傳輸性能。與 P2P 隨機挑選節點的方式不同，P4P 模式可以協調網絡拓撲數據，有效選擇節點，從而提高網絡路由效率。

PPIO 團隊之前在做 PPTV 的時候有豐富地和運營商打交道的經歷，在降低運營商的跨 ISP 流量有獨特的方法。而在 P4P 技術出現之前，運營商都在想辦法限制使用 P2P 的技術。

#4. 熱門內容的自適應調度

PPIO 支持 P2P-CDN。在 P2P-CDN 里面，熱門內容的自適應調度是非常重要的，也是提高服務質量 (QoS) 的重要手段。熱門內容的自適應調度就是當一個文件在網絡中變得受歡迎之后，系統會自動觸發調度機制，讓更多的存儲節點存儲這個文件。這樣的設計既能提高用戶體驗，也能提高更多存儲節點的收益。反之，當很受歡迎的文件失去熱度之后，系統則會自適應地減少存儲此文件的存儲節點的數量。這樣就形成一種動態的平衡。PPIO 在熱門內容調度算法上下了很大的功夫。

#5. 人為預熱機制

除了熱門內容的自適應調度之外，PPIO 還提供了一套人為預熱的機制，那么人為預熱機制適用于什么場景呢？

比如說大家在看一部電視劇，前面一集看的人已經很多了，那么大概率地預測，下一集看的人也會很多。所以發布方在更新新的一集的時候，就可以提前推送新的一集的資源到更多礦工那里。這樣當大家觀看下一級電視劇的時候，已經有足夠多的存儲節點在做種了。這樣在內容發布前就能充分利用 P2P 網絡的優勢，大大提升觀看體驗。類似的場景還有很多，只要人為可預知的熱門內容都可以預熱來提升冷啟動過程中的體驗。

內容發布者可以支付費用來指定需要預熱的內容，并且可以指定執行預熱的區域、ISP、時間段。根據區域、ISP 和時段的不同，存儲的價格也會有不同。PPIO 中預熱的實現是和去中心化存儲的原理基本一致的，因為礦工不知道這個內容是不是真的很熱，所以需要收取費用來對沖風險。但是預熱和存儲不同的是，預熱采用的是全副本，而存儲主要采用的糾刪碼，后面我會解釋為什么會有所不同。

#6. P2P 直播的考慮

PPIO 不僅僅考慮了流媒體點播的下載，而且還考慮實時流媒體直播。直播在本質上就是一堆連續的小文件的分發，只是這些小文件他們的生命周期比較短，一段時間過后就沒有用了，但同時也要求這些小文件的分發效率要非常高，要非常快速地分發到盡可能多的節點上。直播的整體架構和 PPIO 的流媒體體系是一致的，只是切分文件的方式，下載算法有所不同。

直播分為兩類，一類是高延時直播，主要用于賽事，新聞等，這類直播的特點是一個直播頻道，可能觀看的用戶數很多很多，但是大家對節目的時延不是那么敏感。還有一類是低延時直播，主要用于主播，秀場等模式，這種直播的特點是，由于涉及到和主播之間的互動，這類對延時的要求非常低，一般在 5s 之內，也就是當動作發生到看到畫面最多只有 5s 的時間，但是用戶規模一般不大。

PPIO 面對這兩種直播場景，使用一推二拉三補償的方案，做了一致性兼容，只是參數的不同，就能很好地支持兩種模式。PPIO 的創始團隊之前是做 P2P 直播起家的，做過全世界最大的 P2P 直播平臺，PPTV，在直播領域的積累也是非常豐富的。

#7. PPIO PCDN 的設計

PCDN 即 CDN acceleration with P2P，是利用 P2P 技術和大量租戶節點的帶寬和磁盤資源來做 CDN 分發加速。PPIO 的設計是支持 PCDN 的，并且提供了 DApp 開發接口，開發者將很容易使用 PCDN 接口為自己的內容服務提供加速。

應用中的存儲內容會首先在發布源節點進行發布，在源節點不下線的前提下，能夠持續提供下載服務。然而當從同一個源節點下載的用戶數增加后，該節點的帶寬將被消耗殆盡，而每個用戶的下載速度也會降低。通過 PCDN，網絡中的大量租戶節點開始保存和提供同樣內容的下載。用戶因此可以從多個節點下載內容，用戶體驗大幅提高。

PCDN 在 PPIO 網絡中有兩種實現方式：

充分利用3.2.4中熱門內容按照預測調度的機制。PPIO 本身有根據熱度來預測調度的功能。當發現一個熱度比較好的內容時候，有其他租戶也主動拉過來提供服務，從而增加了網絡的副本數，而副本數越多，最終用戶 P2P 下載的效果也就越好。

源節點發布內容的時候，可以指定 PCDN 定向緩存副本數。DApp 開發者可以根據自身需求，通過 PCDN API 接口，強制對一個內容設置緩存，可以在設定哪個網絡區域，及地理區域（國家，ISP，州，市 四元組）的緩存數量。PPIO 會在這些定向區域的范圍內尋找租戶節點，以存儲數據并提供下載服務。因為這是通過 API 指定的租戶，所以源節點在這種情況下要支付給這部分租戶相應的存儲時空費用，調度費和時空證明費。上圖中展示了這種情況下網絡中 PCDN 驅動的數據流動。

PPIO 的定位是做存儲與分發，那么存儲和做分發在技術上還有什么不同呢？主要有以下幾點。

#1 全副本和糾刪碼

分發和存儲的最終目的是不同的。分發講究的是如何快地獲取內容。一般的分發場景中，源節點是在的，在所以不用擔心數據會丟失，即使不小心被存儲節點搞丟了，也能從源節點找到。所以在分發場景中我們選擇采用全副本的算法。

而存儲則不同，存儲首先要保證不能丟數據,?提高內容不丟失率。如果采用全副本算法的方式，不知道要存多少副本才能做到11個9的不丟失率。而在適用糾刪碼技術候，做到11個9的不丟失率，需要的冗余空間將會少很多，這是提高內容不丟失率的最有用方案。

簡單地來說，分發追求高速，所以用全副本方案為主；而存儲追求極高的內容不丟失率，所以適用糾刪碼技術為主導。

#2 內存緩存

分發和存儲還有一個很大的區別。分發往往有很強的頭部效應而存儲沒有。

分發的頭部效應，也叫二八原則，就是20%的內容擁有80%的流量。而深入研究可能會發現，頭部的20%的內容里面，也適用二八原則。所以在分發中，我們通常把內容分為頭部內容，中部內容和尾部內容：頭部的流量很集中，中部的流量較少，尾部的流量非常零散。在分發的場景中，從成本的角度考慮。頭部和中頭部內容適合使用內存的緩存，中尾部內容適合使用 SSD 等高速存儲介質，而尾部內容處于成本角度考慮，則更適合機械硬盤。

存儲沒有頭部效應，都是尾部內容，因為很少有人擁有相同的內容。存儲也分為熱存儲、溫存儲和冷存儲，熱存儲指的是數據在寫入之后，經常會被讀取；溫存儲指得是數據在寫入之后，很少被讀取，也可能永遠不被去讀，如私人網盤的老數據；冷存儲指的是寫入后，大概率是不會使用，即使使用也不會要求那么及時，如監控數據。

在 PPIO 的網絡中，熱存儲主要使用全副本和糾刪碼并存方案，全副本保證適當地高速傳輸，糾刪碼能將數據的丟失率降到很低，同時推薦承載熱存儲的存儲節點使用 SSD 等高速硬盤。而溫存儲和冷存儲使用純糾刪碼方案，因為讀取的次數不多，推薦使用機械硬盤，這樣能將成本降到最低。

所以對于存儲節點來說，如果要獲得最大的收益，其機器配置的參數也要與其提供的服務相搭配。

PPIO 項目相當于其他去中心化存儲區塊鏈項目，如 Filecoin 和 Storj，是更重視分發場景的，其他項目都把重心放在了存儲場景上。這里有個簡易地對比表格分析三個存儲鏈，并給出對比信息。

綜上所訴，這些就是 PPIO 在數據分發領域的優勢。如果你想了解更多，歡迎加入我們的開發者社區共同討論！