Ceph v12.2 Luminous基于ubuntu16.04集群部署

MiracleWong 發布于2019-07-01 12:24 / 1214人閱讀

摘要：第一次接觸集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。應該為每個運行的機器添加一個，否則集群處于狀態。至此的集群搭建算是完成了，下一步會進行塊設備的搭建。參考分布式存儲部署手冊如何在中安裝存儲集群部署版

第一次接觸ceph集群，感謝官方的指導文檔和許多網友提供的教程，糊糊涂涂算是把集群部署起來了。由于Luminous12.2剛發布不久，部署起來跟舊版本還是有些許差別，所以以此做下筆記也給需要的人做下參考。
Ps. 剛開始接觸ceph的同學，十分建議先把官方文檔看一遍。

ceph官方文檔

1. Ceph介紹

Ceph 是一個高性能、可靠、可擴展的開源存儲平臺。它是一個自由的分布式存儲系統，提供了對象、塊和文件級存儲的接口，并可以不受單點故障的影響而運行。

Ceph集群結構：

（1）Ceph Admin-管理節點，用來安裝ceph-deploy 進行ceph部署使用，基本上大部分操作都在這臺機器上。

（2）Ceph OSD (ceph-osd) - 控制數據存儲，數據復制和恢復。Ceph 集群需要至少兩個 Ceph OSD 服務器。這次安裝中我們將使用三個 Ubuntu 服務器。

（3）Ceph Monitor (ceph-mon) - 監控集群狀態并運行 OSD 映射和 CRUSH 映射。這里我們使用一個服務器。

（4）Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作為文件系統使用，就需要這個。

2. OS系統

Ubuntu 16.04.3

3. Ceph 版本

Ceph v12.2 Luminous

4. 設置固定IP和修改主機名（所有節點）

（1）設置對應的固定IP（每個節點分別設置）

192.168.31.131 admin_server
192.168.31.132 mon_server
192.168.31.133 osd_server_1
192.168.31.134 osd_server_2

（2）修改/etc/hostname，修改為對應的主機名

（3）修改/etc/hosts
將以下添加到hosts

192.168.31.132 mon_server
192.168.31.133 osd_server_1
192.168.31.134 osd_server_2

5. 修改apt源（所有節點）

（1）修改/etc/apt/sources.list，增加網易下載源（xenial 是ununtu16.04的版本代號，不同版本不一樣）

deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
## 測試版源
deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
## 源碼
deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
##測試版源
deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse

（2）更新

sudo apt-get update
sudo apt-get install

6. OS環境配置（所有節點）

（1）安裝ntp:用于同步所有節點的日期和時間
sudo apt-get install ntp

（2）安裝SSH: 用于admin控制其它節點
sudo apt-get install openssh-server

7. 創建ceph用戶（所有節點）

sudo useradd -d /home/cephuser -m cephuser 
sudo passwd cephuser 
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser 
sudo chmod 0440 /etc/sudoers.d/cephuser

8. 安裝ceph apt key（admin節點）

（1）安裝key（使用163源）

wget -q -O- "http://mirrors.163.com/ceph/keys/release.asc" | sudo apt-key add -
echo deb http://mirrors.163.com/ceph/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

（2）安裝ceph-deploy
sudo apt-get update && sudo apt-get install -y ceph-deploy

9. 創建ssh信任（admin）

（1）生成公鑰
ssh-keygen

（全按回車鍵，默認）

Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.

（2）復制public key到其它節點需在普通用戶權限下執行，在對話窗口輸入yes，然后輸入對端用戶密碼

ssh-copy-id cephuser@mon_server
ssh-copy-id cephuser@osd_server_1
ssh-copy-id cephuser@osd_server_2

（3）修改 ~/.ssh/config
添加以下內容：

Host mon_server
  Hostname mon_server
  User cephuser
Host osd_server_1
  Hostname osd_server_1
  User cephuser
Host osd_server_2
  Hostname osd_server_2
  User cephuser

10. 開始創建集群（admin）

（1）使用ceph-deploy部署。首先需要創建工作環境，該環境會保存所有的配置文件：

mkdir ~/my-cluster
cd ~/my-cluster

（2）創建集群，其中mon_server是monitor節點，執行該命令會生成ceph配置文件、monitor密鑰文件以及日志文件。
ceph-deploy new mon_server

（3）修改默認冗余份數（此參數只有當OSD節點小于3的時候才需要修改，默認的冗余份數是3，如果是2節點需要設置為2，如果osd節點大于2，則此步驟省略），修改ceph.conf文件，第一個參數2是副本數量，第二個2000是日志大小約為2G，在[global]下增加以下內容：

osd pool default size = 2
osd journal size = 2000

（4）配置網卡和網絡（OSD節點單網卡請忽略）
OSD節點是雙網卡，因此需要設置使用的網卡和網絡地址

修改ceph.conf文件，在[global]下增加以下內容：

public network = 192.168.31.0/24
cluster network = 10.10.100.0/24

（5）開始安裝ceph
注：因為CFW的問題，管理節點ceph-Deploy前Ceph鏡像源修改非常重要，這里采用了網易鏡像

export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/
export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc

（6）在所有節點開始安裝ceph
ceph-deploy install admin_server mon_server osd_server_1 osd_server_2

（7）初始化mon節點和收集密鑰信息
ceph-deploy mon create-initial

執行完畢，目錄應該有以下文件：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

完成以上步驟，安裝完成，但還沒有配置osd節點。

（8）配置osd節點
lsblk命令查看磁盤結構，假設選擇的是/dev/sdb（使用虛擬機的話，可以添加磁盤）

格式化對應的磁盤：

ceph-deploy disk zap osd_server_1:sdb
ceph-deploy disk zap osd_server_2:sdb

以上步驟會清空磁盤的所有數據。接下來創建osd，注意由于我們只是測試，故沒有使用多帶帶的磁盤作為journal，實際在生產環境下，需要配備SSD分區作為journal，能夠最大化IO吞吐量。

ceph-deploy osd create osd_server_1:sdb
ceph-deploy osd create osd_server_2:sdb

（9）配置admin節點
admin節點同時也作為我們的client節點，需要拷貝其他節點的配置文件以及密鑰，使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群，執行以下命令即可：

ceph-deploy admin admin_server mon_server osd_server_1 osd_server_2
sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權限

（10）配置mgr
運行ceph health，打印：
HEALTH_WARN no active mgr
自從ceph 12開始，manager是必須的。應該為每個運行monitor的機器添加一個mgr，否則集群處于WARN狀態。（具體可以參考Luminous的release日志）
在mon_server上創建名稱為mon_mgr的mgr服務
ceph-deploy mgr create mon_server:mon_mgr
查看狀態：

hcy@admin_server:~/my-cluster$ ceph health
HEALTH_OK
hcy@admin_server:~/my-cluster$ ceph -s
 cluster:
 id: 7981a8fc-378d-4564-95cf-e464d46bdd38
 health: HEALTH_OK
 
 services:
 mon: 1 daemons, quorum mon_server
 mgr: mon_mgr(active)
 osd: 2 osds: 2 up, 2 in
 
 data:
 pools: 0 pools, 0 pgs
 objects: 0 objects, 0 bytes
 usage: 2108 MB used, 28409 MB / 30517 MB avail
 pgs:

（11）訪問dashboard
啟用dashboard（mon_server節點）

ceph mgr module enable dashboard
通過 http://192.168.31.132:7000 訪問dashboard

dashboard的port默認為7000，可以執行ceph config-key set mgr/dashboard/server_port $PORT修改port。
也可以執行ceph config-key set mgr/dashboard/server_addr $IP指定dashboard的訪問IP。

至此Ceph的集群搭建算是完成了，下一步會進行塊設備的搭建。

參考：

CEPH 分布式存儲部署手冊 (Ubuntu 14.04)
如何在 Ubuntu 16.04 中安裝 Ceph 存儲集群
CentOS7.2部署Luminous版Ceph-12.2.0

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/30668.html

Ceph v12.2 Luminous 塊存儲(RBD)搭建

摘要：還是上篇文章說的，搭建塊存儲之前，先把官方的文檔看一遍，保證獲益匪淺。傳送門官方文檔注意塊存儲最好不要安裝在節點，可以安裝在節點節點或其他節點。在版本，在創建集群時，不會自動創建默認的池。參考塊存儲之相關命令還是上篇文章說的，搭建塊存儲之前，先把官方的文檔看一遍，保證獲益匪淺。傳送門：Ceph官方文檔注意：(1) rbd塊存儲最好不要安裝在osd節點，可以安裝在mon節點、adm...

fancyLuo 2019-07-01 12:24 評論0 收藏0
跟我學 K8S--運維: helm 安裝 ceph 到 kubernetes 集群

摘要：參考官方文檔進行操作本文假設環境正常運行，并且已經安裝。只能以單副本運行部署運行命令來安裝等待一段時間執行完成后，通過如下命令確定集群是否成功運行檢查的狀態檢查集群狀態至此，集群部署完成。參考 ceph 官方文檔進行操作: http://docs.ceph.com/docs/mas... 本文假設kubernetes 環境正常運行，并且 host 已經安裝 helm client。 ...

marser 2019-07-01 16:44 評論0 收藏0
Rancher如何對接Ceph-RBD塊存儲

摘要：就目前而言，在支持的三種接口塊存儲和對象存儲接口中，塊存儲是目前最穩定且達到生產環境要求的接口。月日，北京海航萬豪酒店，容器技術大會即將舉行。概要演示環境說明整個測試環境由以下2臺本地虛擬機組成，相關信息說明如下： showImg(https://segmentfault.com/img/bVScmU?w=811&h=138); 引言 Librbd（RBD）是Ceph提供的塊存儲...

instein 2019-06-28 15:54 評論0 收藏0
使用Rook+Ceph在Kubernetes上作持久存儲

摘要：充當在的業務流程層，將和流程部署為副本集。來自的文件將存儲軟件轉變為自我管理自我擴展和自我修復的存儲服務。由于請求使用文件系統格式化的卷，因此我需要在所有節點上安裝工具。如果沒有指定特定的存儲類，我安裝的任何應用程序都將使用進行數據存儲。作者：Earl C. Ruby III showImg(https://segmentfault.com/img/bVbljHL?w=300&h=1...

kuangcaibao 2019-07-01 17:34 評論0 收藏0