摘要：邢舟開源與開放標準工程院軟件工程師背景回顧月日，中國社區全新改版線上課堂，邀請邢舟老師以直播的方式進行了一場以存儲概覽為題的線上講解，反響熱烈。為更好地為學員整合問答，中國社區特別整理了本期模塊，感謝邢舟老師百忙之中進行校對。

邢舟 /IBM 開源與開放標準工程院軟件工程師

背景回顧：8 月 2 日 20:00，K8sMeetup 中國社區全新改版線上課堂，邀請邢舟老師以直播的方式進行了一場以《Kubernetes 存儲概覽 & Volume Provisioner》為題的線上講解，反響熱烈。為更好地為學員整合問答，K8sMeetup 中國社區特別整理了本期 Q & A 模塊，感謝邢舟老師百忙之中進行校對。

Kubernetes 存儲的主要應用場景

@青春$：本地掛載卷，比如一個 node上啟動倆個 nginx 怎么做？

A：兩個 nginx 實例么？如果是的話，貌似需要配置 scheduler 讓其分配到同一個節點上，比如設置 node affinity 等選項。

Kubernetes 存儲模塊

(￣^￣)ゞ: 創建 pod 的 yaml 文件有沒有統一管理的工具？

A：如果您是指編輯 yaml 的話，目前我都是 vim 編輯的，其他同事有好的編輯工具歡迎共享出來。如果是指保存的話，可以在數據庫或者對象存儲里統一保管，Kubernetes 有一定的版本保存功能（如deployment 等的 rolling update），但完全的版本管理需要自己設置版本管理環境多帶帶保存。

華: 存儲容量的配額管理怎么做？

A：目前 Kubernetes 的配額管理統一通過 resourceQuota 對象完成，不過存儲容量的配額管理，尤其是本地存儲配額的管理，目前 Kubernetes 還未實現。

Sa.#：本地只能實現臨時存儲嗎？

A：不是的，在 Kubernetes 1.7 后出現了 LocalStorage 這種類型，可以作為 PV source 出現，相關文檔在：
https://kubernetes.io/docs/co...

歡型悠悠too:

如何實現共享存儲？

如何實現共享存儲，將一塊盤給多個 pod 用？

A：只要后臺存儲支持掛載到多個節點，那么在 pod spec 中引用相應的存儲對象就可以實現將一個塊設備給多個 pod 使用。

Leon Shi: 存儲是怎樣實現多租戶隔離？

A：這個問題社區現在正在討論，對 LocalStorage 可能有一些 proposal, 不過目前基本沒什么實現，大家可以關注一下社區的進展。

逗號：pod scaling 的時候用的是同一個 volume 嗎？

A：如果是遠程網絡 volume 支持 RWX 的，是可以使用同一個 volume 的，如果是本地臨時存儲或者不支持多掛載的，是不支持的。

Michael: 我現在有個需求就是，同類型的共享一個目錄？這個有什么好的辦法嗎？

A：對映射目錄的問題，可以查看官方文檔，目前僅 project volume 類型支持一定程度的同一目錄映射，文檔：https://kubernetes.io/docs/co...

JackShan:

Kubernetes下面塊設備一般使用哪種?

保障 docker 的安全都有哪些措施？

A：Kubernetes 的塊設備是以插件形式提供的，目前已經提供了幾十種主流存儲平臺的插件。Kubernetes 官方插件列表請參考我上周分享中的PPT，里面有一頁專門介紹。
想要看具體的信息，您也可以參考文檔：https://kubernetes.io/docs/co...
在 Docker 安全這邊主要是權限方面的管理，可以參考以下社區 ticket:
https://github.com/kubernetes...

尼克: pod 的存儲會不會跟隨 pod 在 nodes 上的分布一樣分布到不同的 node?

A：是的，需要掛載到 pod 所在的節點（針對遠程網絡存儲，本地存儲無所謂）

Michael: 現在社區有什么好的辦法針對存儲這塊嗎？有什么比較成熟的?

A：您可以看一下社區的存儲插件列表，選擇一個存儲解決方案。但 Kubernetes 目前在存儲這一塊只實現了最基礎的功能。

馬詩潔：我們的 resize 的話，這個會影響到現有的邏輯卷不，是備份原有數據然后重新劃分內存，然后數據恢復嗎？還是說直接添加內存？

A：resize 問題請參考上面類似的問題，目前社區只有一個 proposal 計劃支持增加磁盤尺寸的。目前選擇的做法是直接動態擴大原來快設備的存儲，然后再改文件系統。

風云：attach detach manager 和 volume manager 怎么一起工作，都會掛載 volume 嗎，還是有分工？講師好像說過有個參數可以去分工？
A：是的，但 volume manager 也可以做 attach/detach 的工作。通過 kubelet 的參數 “--enable-controller-attach-detach=true” 區分。

H~Z~G：怎么改變 Kubernetes 默認存儲路徑？
A：存儲路徑是在Container Spec中指定的，然后 Kubernetes 會通過Volume Manager和Volume Plugin實現attach和mount。

Yongkui：volume plugin 是各個廠商自己寫的？

A：官方提供了一組插件列表，請參見 PPT 中的總結。也可自己擴展，主要通過兩個接口：
1.external-storage-provisioner(https://github.com/kubernetes...
2.FlexVolume(https://kubernetes.io/docs/co...

牛海朋： 應用的配置文件是存在 volume 還是 configmap 合適，有啥不一樣嗎？

A：一般推薦是使用 configmap, secret 或者 downward API 來完成 app 配置，這個過程可以有 Kubernetes 將配置文件注入到 pod 的文件系統設置是環境變量里面。如果走 volume，應該需要您將配置信息提前準備好放在 PV 上。

阿星:

卷的生命周期里面有個 using 狀態，可以從 api 里面找到這個狀態嗎？我看到過 bound 的狀態。

社區會考慮記錄 PV 被那些 pod 使用嗎？從 pod 里可以看到使用了那些卷，不知道能不能從 PV 看到該 PV 被那些 pod 使用了？

A：我沒看到過 using 這個狀態，PV 的狀態基本就是 pending, available, bound，released 以及failed。可以從 node 對象查看每個 node 有哪些 volume attach，從 pod 對象可以查看到需要使用的 pv 信息，反向的應該沒有（或者哪位同事熟悉這塊代碼可以指正一下，謝謝）

Kubernetes 存儲目前存在的一些問題

官官久久: Accessmodes 的 RWO RWX 模式和 pod 的調度有關嗎？

A：目前沒有，但如果要做 RWO 和 RWX 的檢查的話，需要從 scheduler 開始做。

keon: Accessmode 不是有單節點讀寫，多節點只讀，多節點讀寫嗎？

A：目前的 AccessMode 包括：ReadOnlyMany(ROX), ReadWriteMany(RWX)和RWO(ReadWriteOnly)。詳細的AccessMode 介紹，推薦您去參照鏈接中的文檔：https://kubernetes.io/docs/co...

阿星：AccessMode 是不是只用在 PV 和 PVC 的 bind 過程中，跟底層的存儲特性沒有關聯？

A：是的，目前 Kubernetes 沒有在實際 attach 和 mount 過程中執行 AccessMode檢查。

Infei：

RC 的 PV 掛載如何實現數據的一致性？

pod 重新掛載 PV，是檢查 PV 的狀態嗎？pod 故障時 PV 的狀態會改變嗎？

A：多 pod 之間的數據一致性主要通過同一磁盤掛載到多個不同 pod 以及依賴存儲平臺的解決方案實現，目前這部分內容實現的比較弱，但可以保證 pod 故障時數據不受影響，在 pod 重啟后，volume 會重新掛載到 pod。

PV、PVC & StorageClass

H~Z~G：PV、PVC 是什么？

A：PV 和 PVC 是 Kubernetes 中的兩種資源，PV(Persistent Volume)代表一塊實際的后臺塊存儲設備；PVC（Persistent Volume Claim）代表的是 Pod 用戶對塊存儲的實際需求，PV 和 PVC 的綁定完成了實際塊存儲設備和存儲需求的綁定。

董明心: PV 和 PVC 一定是成對出現的么？

A：不一定，但綁定時是 1-1 綁定的。可以通過kubectl 命令多帶帶創建 PV 和 PVC。

小清、劉沖：PVC 和 PV 是一對一還是一對多？

A：PV 和 PVC 是一對一的關系，但是 PV 和 PVC 都可以通過 Kubectl create 來多帶帶創建，未綁定的 PV 和 PVC 一般處于 available 和 Pending 狀態。

lota: 先創建 PVC?

A：沒有順序要求，都可以通過 kubectl create 命令分別創建。

Chao: PVC 找 PV 是隨機找的，還是有相應匹配規則？可以讓 PVC 綁定到指定 PV 嗎？

A：PVC 可以指定需要綁定的 volume, 通過在 PVC 的 Spec 里面定義實現。但是有一種情況是預定的 PV 可能會被其他 PVC 綁定。匹配規則主要是在 findBestMatch 方法中進行的，主要依據是兩方面： AccessMode 和磁盤容量，并滿足最小匹配原則。

it2911: PVC 和 PV 的 resize 問題上，就 StroageClass 的擴容請問是否目前也是無解？

A：對，這個問題目前確實無解。一般兩種方案，一種是創建大的 volume,然后 data migration, 另一種就是現在社區想采用的，直接 resize,然后更新 fs, 但第二種我覺得局限性有點大，很多插件都不支持。

阿仆來耶：為什么 PV 創建的 yaml 中需要指定 StroageClass？

A：我理解是 PVC 需要指定 StroageClass? PVC 并不一定需要指定 StroageClass。StroageClass 我的理解主要為了存儲的分類（如根據 io 等指標）以及 dynamic provisioning。PVC 可以直接指定 PV 的名稱，也可以通過三種其他方式使用 StroageClass:
(1). 不指定，使用默認 StroageClass；
(2).指定空的 StroageClass, 讓 Kubernetes 自動匹配合適的 PV；
(3).指定一個 StroageClass, 使用 in-tree 或者 out-of-tree provisioner 創建塊設備。

?歐帝?:請問老師 readwriteonce 和 readwritemany 的區別是什么？什么場景能用many？

A：就是同一塊塊設備是否能夠同時掛載到多個節點上，主要是為了應用程序之間共享數據或者協同編輯數據用的。

柯蓬：

請問 ReadWriteMany 什么場景下會用到？需要特定的 PV 來支持嗎？

有沒有可以推薦的分布式 volume？使用起來性能如何？

A：就是需要多個 pod 同時讀寫一個磁盤的場合，一般用于應用程序間的數據共享和協同操作。AccessMode 是需要后面存儲平臺支持的，即只有存儲平臺中的 volume 支持被掛載到多個節點時才支持，如 IBM SL Block, 目前就只能支持一個設備掛載到一個節點上。

Out of Tree Provisioner 的基本實現

張曉宇@serendipity： Cephfs 更改掛載方式 fuse 可以用 out of tree 方式嗎？

A：Cephfs 應該有個 out-of-tree provisioner, 鏈接在: https://github.com/kubernetes... 有用過的同事可以分享一下，謝謝。

Green： Kubernetes 與 Mesos 到底是不是一個最佳實踐呢？

A：目前 IBM 的實踐來看，Mesos on Kubernetes 或者 Kubernetes on mesos 都并不是好的選擇。 Kubernetes 社區也正在逐漸淡化兩者之間的集成關系，主要原因在于帶來的復雜性過高，用戶需要同時把握 Kubernetes、Mesos 以及兩者之間的集成關系，一旦出現問題，很難診斷和解決。

Zing：現在 Kubernetes 在生產環境的實踐情況怎么樣？

A：因為我沒有參與過 Kubernetes 的實際生產部署，所以目前不了解實際的生產實踐。但我可以邀請 IBM 或者其他有生產實踐的企業嘉賓給大家做實際部署的分享，在實際部署方面，相信 Kubernetes 的坑還是比較多的。如果大家感興趣，請把感興趣的話題發到群里以便我們安排下一步的課程。