摘要：目前，對象存儲是這些海量非結構化數據最好的存儲載體。宋體做式的對象存儲宋體是年推出的對象存儲產品。宋體二業務低成本宋體對象級別的分層存儲宋體采用專門的存儲機型，存儲密度更高，單位存儲的成本最低可降到計算機型的。
隨著 5G+IoT 時代來臨，產生數據的主角除了人類還有海量的物理設備，相比 4G 移動互聯網的短視頻、直播等，會有更大量的數據產生。據 IDC 發布的《數據時代 2025》的預測，全球每年產生的數據將從 2018 年的 33ZB 增長到 2025 年的 175ZB，每年新增約 20ZB，如果使用 8T 的磁盤，只保存一份副本，每年需要 25 億塊磁盤，數億臺主機。
這些數據大多以視頻、圖片、文本等非結構化形式存在，并需要妥善保存以做后續利用。為此，數據的存儲載體需要具備隨時隨地上傳、安全、可擴展以及低成本的特性。目前，對象存儲是這些海量非結構化數據最好的存儲載體。
UFile：做 Costco 式的對象存儲 UFile 是 UCloud 2015 年推出的對象存儲產品。過去一年間，UFile 從整體上做了一次較大升級，推出不少功能特性和優化，更好地滿足用戶對海量非結構化數據的需求。這一過程中，UFile 將其產品理念概括為 “成為 Costco 式的存儲”，為什么是 Costco 式的？
圖：UFile 控制臺界面
前段時間量販式倉儲會員店 Costco 在國內火爆開業，在一個既不缺線下商超、同時線上電商更是遍地開花，市場競爭異常激烈的中國市場，Costco 靠什么去切入用戶？雷軍是這么評價 Costco 的：“Costco 這么多年所向披靡的最重要原因就是抓住了其存在的本質，商品做到極好，價格做到極低，服務做到超預期。”
這個理念也同樣適用于對象存儲領域，UFile 把用戶最本質的需求概括為 3 點：極高的可靠性和性能、極低的成本以及極優的體驗。
對象存儲的三個典型案例 在介紹 UFile 之前，我們先來看看 AI、大數據和 IoT 場景下的 3 個案例：
1
某傳統金屬件加工企業原本有這樣一項業務：員工人力摘撿不合格產品。現在，該項業務轉變為拍照取證＋AI 智能檢測的方式，相較之前大大節省了企業的人力投入成本，并降低了人工檢測的誤差。同時也產生了一項新需求：所有圖片數據需保存 25 年以供后續質保檢驗。
用戶的需求：如何保證數據長時間存儲的高可靠需求？
2
某大數據分析企業積攢了數個 PB 的大數據，在完成分析后這些數據的訪問量降到較低，但在一段時間內仍需存儲保留原始數據或者分析后的中間數據。對企業來講，這數 PB 的數據存儲將會是一筆不小的開銷。
用戶的需求：如何實現海量數據的低成本存儲需求？
3
某城市地鐵每天停運后都需要人工沿地鐵進行檢修，效率較低且需要大量人力的投入。因此計劃引入 IoT 技術：在地鐵中部署一些傳感器，檢測地鐵的聲音、溫度、圖像、視頻等，數據使用 4G 網絡隨時隨地上傳到云端存儲 ，解決人力工作成本并提高檢修效率。
用戶的需求：這些分散在地下各處的傳感器如何方便、安全、低延時的進行數據的上傳？
我們總結了這三個案例的關鍵字：高可靠、低成本、使用體驗，下面我們來詳細介紹 UFile 在這三方面所做的工作。
一 、數據高可靠 1、多副本 + 同構的冗余機制
首先，UFile 采用 3 副本和糾刪碼技術，可以確保數據在兩塊磁盤損壞的時候數據不丟失。不同于類似 Ceph 異構的數據分布技術，UFile 3 副本技術采用同構的數據分布方式，這種同構的數據分布可以保證數據更高的可靠性。
圖：同構與異構數據分布對比
從上圖可知，同構情況下只有集群 a 或者 b 同時損壞 2 種丟失數據的可能情況，而在異構結構下有 6 種丟失數據的組合情況，同構的可靠性顯然更高。
2、跨地域的數據災備
UFile 是一個地域級別的存儲產品，為了更好的提供數據災備能力，UFile 今年推出了跨地域的災備功能：支持 3 個及以上的地域復制，復制方式包括鏈式結構（A->B->C）與技術實現更復雜的環式結構（A->B->C->A）。環狀結構的優點是能夠支持更多地域的讀寫，并滿足就近讀寫業務的需求。
圖：多地域復制及就近讀寫功能示意
3、故障處理機制的完善和創新
除此之外，UFile 還在故障的快速發現和恢復上做了不少創新。除應用常規的硬件和軟件層面的監控幫助用戶快速發現數據異常外，UFile 采用 Set 化的架構設計，當出現機器或磁盤故障時，可以將該 Set 集群設置為只讀，從而降低該 Set 集群的業務負載，幫助恢復程序以最快的速度恢復故障磁盤或機器，大大提高數據的可靠性。
二 、業務低成本 1、對象級別的分層存儲
UFile 采用專門的存儲機型，存儲密度更高，單位存儲的成本最低可降到計算機型的 15%。同時采用糾刪碼技術，在確保數據可靠性的前提下，存儲成本可降低到 3 副本冗余機制下的 40% 左右。
此外，UFile 還對數據分層和數據生命周期管理進行了優化，致力于從數據分層存儲的角度進一步降低用戶存儲的成本。
用戶業務往往同時存在高頻和低頻訪問的數據，而相同數據在不同生命周期也存在不同的訪問頻率。一個剛產生的高頻訪問的數據，隨著時間的推移訪問頻率往往會逐漸減低，數個月后便可能從高頻轉為低頻。不同訪問頻率的數據可采用不同成本的存儲方案。
業內早期的解決方案是通過支持熱、溫、冷 3 種存儲產品來滿足不同頻率訪問數據的要求，用戶分別在 3 種存儲產品上創建 Bucket，然后根據數據的訪問頻率放置到對應的 Bucket。按照用戶設置的時間規則，在不同時間點數據會在 3 種 Bucket 進行遷移。這種解決方案雖然解決了數據存儲的成本問題，但是缺點在于對業務不太友好，需要業務感知這種變化。
圖：傳統的分層存儲數據流轉示意
針對該問題，UFile 在今年推出了對象級別的分層存儲方案。和傳統解決方案不一樣的是，UFile 支持同個 Bucket 中同時存在熱、溫、冷 3 種數據，用戶可以將同個業務中的 3 種數據上傳到同個 Bucket，同時數據訪問頻率發生變化后還會保留在同個 Bucket 中。
這種方案對用戶的業務更加友好，而且也為后續即將推出的數據自動化分層管理奠定了良好的基礎。用戶很多時候無法區分數據的冷、熱程度，或者無法準確的預測數據什么時候開始變冷，而更好的做法是將這些工作交給后臺程序自動完成，這樣可以讓用戶享受到最低的存儲成本。
圖：UFile 分層存儲方案數據流轉示意
2、自建大數據存儲與 UFile 歸檔存儲的成本對比
我們回到開頭的大數據用戶的場景，該企業現有 5PB 的數據量，因為用戶的數據訪問頻率較低，所以推薦采用 UFile 的歸檔存儲方案，下表是使用自建大數據存儲和 UFile 歸檔存儲方案成本差異對比。
事實上，我們還沒有考慮數據逐漸增長的過程，對象存儲是按需付費的，實際使用多少資源才會支付多少費用，而自建大數據存儲往往會存在資源和成本的空閑浪費。因此，針對海量數據的冷存儲，UFile 歸檔存儲方案能夠提供更高的性價比。
三 、產品體驗優化 1、數據安全 + 高質量網絡保證
移動設備和 IoT 設備都有隨時隨地上傳的需求，而隨時隨地的上傳則對數據安全和網絡質量都提出了更高的要求。
針對該需求，首先 UFile 支持 Https 協議，支持用戶使用公私鑰或者 Token 的方式來隨時隨地的傳輸數據、確保數據的安全性。
其次，UFile 已在全球 10 多個國家和地區分布有節點，覆蓋國內主要城市和國外主要國家，按照規劃 UFile 后續還將覆蓋到更多地區和國家。國內外的數據節點均采用 BGP 機房或者運營商節點機房，能夠提供高質量的網絡保障，確保用戶數據上傳過程中的穩定和低延時。
圖：UFile 全球數據中心分布
2、用戶接入體驗優化
目前 UFile 的 SDK 覆蓋了主流的開發語言，并分別支持 iOS 和 Android 移動端。同時 UFile 還兼容了常用的 S3 協議，支持第三方用戶態網絡文件系統訪問 UFile，如 S3fs、Goofys，這樣用戶可以像使用本地文件系統一樣使用對象存儲。相比本地文件系統，以 UFile 為存儲池的用戶態網絡文件系統可以為用戶帶來更大的存儲空間和更低的存儲成本。
圖：通過 Goofys 把某個 Bucket 掛載成文件系統并操作
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/117604.html
