在ubuntu上部署Kubernetes管理docker集群示例

codergarden 發布于2019-06-28 14:53 / 2263人閱讀

摘要：部署環境及架構操作系統版本版本版本服務器信息在詳細介紹部署集群前，先給大家展示下集群的邏輯架構。其他操作更新刪除查看刪除除此之外，你可以刪除，如刪除上的格式為服務名字，不必關心從哪個上刪除了。

本文通過實際操作來演示Kubernetes的使用，因為環境有限，集群部署在本地3個ubuntu上，主要包括如下內容：

部署環境介紹，以及Kubernetes集群邏輯架構

安裝部署Open vSwitch跨機器容器通信工具

安裝部署Etcd和Kubernetes的各大組件

演示Kubernetes管理容器和服務

關于 Kubernetes 系統架構及組件介紹見這里。

1. 部署環境及架構

vSphere: 5.1

操作系統: ubuntu 14.04 x86_64

Open vSwith版本: 2.0.2

Kubernetes: v0.7.2

Etcd版本: 2.0.0-rc.1

Docker版本: 1.4.1

服務器信息：

Role	Hostname	IP Address
APIServer	kubernetes	172.29.88.206
Minion	minion1	172.29.88.207
Minion	minion2	172.29.88.208

在詳細介紹部署Kubernetes集群前，先給大家展示下集群的邏輯架構。從下圖可知，整個系統分為兩部分，第一部分是Kubernetes APIServer，是整個系統的核心，承擔集群中所有容器的管理工作；第二部分是minion，運行Container Daemon，是所有容器棲息之地，同時在minion上運行Open vSwitch程序，通過GRE Tunnel負責minions之間Pod的網絡通信工作。

2. 安裝Open vSwitch及配置GRE

為了解決跨minion之間Pod的通信問題，我們在每個minion上安裝Open vSwtich，并使用GRE或者VxLAN使得跨機器之間P11od能相互通信，本文使用GRE，而VxLAN通常用在需要隔離的大規模網絡中。對于Open vSwitch的介紹請參考另一篇文章Open vSwitch。

sudo apt-get install openvswitch-switch bridge-utils

安裝完Open vSwitch和橋接工具后，接下來便建立minion0和minion1之間的隧道。首先在minion1和minion2上分別建立OVS Bridge：

# ovs-vsctl add-br obr0

接下來建立gre，并將新建的gre0添加到obr0，在minion1上執行如下命令：

# ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=172.29.88.208

上面的remoute_ip是另一臺服務minion2上的對外IP。

在minion2上執行：

# ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=172.29.88.207

至此，minion1和minion2之間的隧道已經建立。然后我們在minion1和minion2上創建Linux網橋kbr0替代Docker默認的docker0（我們假設minion1和minion2都已安裝Docker），設置minion1的kbr0的地址為172.17.1.1/24， minion2的kbr0的地址為172.17.2.1/24，并添加obr0為kbr0的接口，以下命令在minion1和minion2上執行：

# brctl addbr kbr0              //創建linux bridge代替docker0
# brctl addif kbr0 obr0         //添加obr0為kbr0的接口

# ip link set dev docker0 down  //設置docker0為down狀態
# ip link del dev docker0       //刪除docker0，可選

查看這些接口的狀態：

# service openvswitch-switch status
# ovs-vsctl show
9d248403-943c-41c0-b2d0-3f9b130cdd3f
    Bridge "obr0"
        Port "gre0"
            Interface "gre0"
                type: gre
                options: {remote_ip="172.29.88.207"}
        Port "obr0"
            Interface "obr0"
                type: internal
    ovs_version: "2.0.2"

# brctl show
bridge name bridge id       STP enabled interfaces
docker0     8000.56847afe9799   no      
kbr0        8000.620ff7ee9c49   no      obr0

為了使新建的kbr0在每次系統重啟后任然有效，我們在minion1的/etc/network/interfaces文件中追加內容如下：（在CentOS上會有些不一樣）

# vi /etc/network/interfaces
auto kbr0
iface kbr0 inet static
        address 172.17.1.1
        netmask 255.255.255.0
        gateway 172.17.1.0
        dns-nameservers 172.31.1.1

同樣在minion2上追加類似內容，只需修改address為172.17.2.1和gateway為172.17.2.0即可，然后執行ip link set dev kbr0 up，你能在minion1和minion2上發現kbr0都設置了相應的IP地址。為了驗證我們創建的隧道是否能通信，我們在minion1和minion2上相互ping對方kbr0的IP地址，從下面的結果發現是不通的，經查找這是因為在minion1和minion2上缺少訪問172.17.1.1和172.17.2.1的路由，因此我們需要添加路由保證彼此之間能通信：

minion1上執行:
# ip route add 172.17.2.0/24 via 172.29.88.208 dev eth0

minion2上執行:
# ip route add 172.17.1.0/24 via 172.29.88.207 dev eth0

現在可以ping通對方的虛擬網絡了：

$ ping 172.17.2.1
PING 172.17.2.1 (172.17.2.1) 56(84) bytes of data.
64 bytes from 172.17.2.1: icmp_seq=1 ttl=64 time=0.334 ms
64 bytes from 172.17.2.1: icmp_seq=2 ttl=64 time=0.253 ms
^C
--- 172.17.2.1 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.253/0.293/0.334/0.043 ms

下面安裝 Kubernetes APIServer 及kubelet、proxy等服務。

3. 安裝Kubernetes APIServer 3.1 下載安裝kubernetes各組件

可以自己從源碼編譯kubernetes（需要安裝golang環境），也可以從GitHub Kubernetes repo release page.選擇編譯好的二進制版本（v0.7.2）下載，為了方便后面啟動或關閉kubernetes組件，我們同時下載二進制包和源碼包：

# cd /usr/local/src
# wget https://github.com/coreos/etcd/releases/download/v2.0.0-rc.1/etcd-v2.0.0-rc.1-linux-amd64.tar.gz
# wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.7.2/kubernetes.tar.gz
# wget https://github.com/GoogleCloudPlatform/kubernetes/archive/v0.7.2.zip

然后解壓下載的kubernetes和etcd包，并在kubernetes(minion1)、minion2上創建目錄/opt/bin

# mkdir /opt/bin        //這一步APIserver和所有minions上都要創建

解壓kubernetes
src# tar xf kubernetes.tar.gz
# ll 
drwxr-xr-x  3  501 staff     4096 Dec 19 02:32 etcd-v2.0.0-rc.1-linux-amd64/
-rw-r--r--  1 root root   6223584 Jan  6 14:39 etcd-v2.0.0-rc.1-linux-amd64.tar.gz
drwxr-xr-x  7 root root      4096 Nov 20 06:35 kubernetes/
-rw-r--r--  1 root root  82300483 Jan  6 14:37 kubernetes.tar.gz
-rw-r--r--  1 root root  9170754 Jan  9 14:47 v0.7.2.zip

# cd kubernetes/server
# tar xf kubernetes-server-linux-amd64.tar.gz
# cd kubernetes/server/bin/

APIserver本身需要的是kube-apiserver kube-scheduler kube-controller-manager kubecfg四個
# cp -a kube* /opt/bin/

把proxy和kubelet復制到其他minions，確保這些文件都是可執行的
# scp kube-proxy kubelet root@172.29.88.207:/opt/bin
# scp kube-proxy kubelet root@172.29.88.208:/opt/bin

/opt/bin并沒有加入系統PATH，所以kube-apiserver -version是看不到結果，但在后面配置的服務中會自動加入（PATH=$PATH:/opt/bin）。

3.2 解壓安裝etcd

etcd在這里的作用是服務發現存儲倉庫，通俗的來講就是記錄kubernetes啟動了多少pods、services、replicationController以及它們的信息等，詳細介紹見這里。此外版本2.0與v0.4.6在啟動參數上的寫法有一定差別。

# tar xf etcd-v2.0.0-rc.1-linux-amd64.tar.gz && cd etcd-v2.0.0-rc.1-linux-amd64/
# cp -a etcd etcdctl /opt/bin

3.3 配置kube-apiserver等為upstart腳本啟動

這一步主要是為了管理kube-apiserver等進程的方便，避免每次都手動啟動各服務、添加冗長的啟動參數選項，而且在不同的系統平臺下kubernetes已經提供了相應的工具。

解壓kubernetes*源碼包*
src# unzip xf v0.7.2.zip && cd kubernetes-0.7.2

這里比較奇怪的是最新release版本源碼的cluster目錄下是有ubuntu子目錄的，但latest之前的下載后沒有ubuntu目錄
# cd cluster/ubuntu
# ll
.. 2 root root 4096 Jan  8 17:39 default_scripts/   各組件默認啟動參數
.. 2 root root 4096 Jan  8 17:39 init_conf/         upstart啟動方式
.. 2 root root 4096 Jan  8 17:39 initd_scripts/     service啟動方式，與upstart選其一
.. 1 root root 1213 Jan  8 08:53 util.sh*     

# ./util.sh

util.sh腳本就是把當前目錄下的service/upstart腳本、默認參數配置文件復制到/etc下，可以通過service etcd start的形式管理kubernetes。由于kubernetes更新速度極快，項目的文件和目錄結構經常變化，請找準文件。接下來我們需要修改那些只適合本機使用的默認參數。（請注意備份先，因為后面能否正常跨機器管理docker與這些選項有關，特別是IP）

etcd官方建議使用新的2379端口代替4001
# vi /etc/default/etcd
ETCD_OPTS="-listen-client-urls=http://0.0.0.0:4001"

# vi /etc/default/kube-apiserver
KUBE_APISERVER_OPTS="--address=0.0.0.0 
--port=8080 
--etcd_servers=http://127.0.0.1:4001 
--logtostderr=true 
--portal_net=11.1.1.0/24"

# vi /etc/default/kube-scheduler
KUBE_SCHEDULER_OPTS="--logtostderr=true 
--master=127.0.0.1:8080"

# vi /etc/default/kube-controller-manager
KUBE_CONTROLLER_MANAGER_OPTS="--master=127.0.0.1:8080 
--machines=172.29.88.207,172.29.88.208 
--logtostderr=true"


* 復制kubelet、kube-proxy等到minion1：
# scp /etc/default/{kubelet,kube-proxy} 172.29.88.207:/etc/default/
# scp /etc/init.d/{kubelet,kube-proxy} 172.29.88.207:/etc/init.d/
# scp /etc/init/{kubelet.conf,kube-proxy.conf} 172.29.88.207:/etc/init/

* 在minion1端進行
# vi /etc/default/kubelet
KUBELET_OPTS="--address=172.29.88.207 
--port=10250 
--hostname_override=172.29.88.207 
--etcd_servers=http://172.29.88.206:4001 
--logtostderr=true"

# vi /etc/default/kube-proxy
KUBE_PROXY_OPTS="--etcd_servers=http://172.29.88.207:4001 
--logtostderr=true"

(對minion2重復上面 * 兩個步驟，把上面.207改成.208)

上面的各配置文件就是對應命令的選項，具體含義使用-h。這里只簡單說明：

etcd服務APIserver和minions都要訪問，也就是其他組件的--etcd_servers值（帶http前綴）

kube-apiserver監聽在8080端口，也就是其他組件的--master值；--portal_net地址段不能與docker的橋接網卡kbr0重復，指定docker容器的IP段

etcd、kube-apiserver、kube-scheduler、kube-controller-manager運行在apiserver（服務）端，kubelet、kube-proxy運行在minion（客戶端）

kube-controller-manager使用預先定義pod模板創建pods，保證指定數量的replicas在運行，默認監聽在master的127.0.0.1:10252

kubelet默認監聽端口10250，也正是apiserver的--kubelet_port的值

3.4 啟動

重啟docker
接下來重啟minion1、minion2上的Docker daemon（注意使用的網橋）：

# docker -d -b kbr0

由于后面的測試可能需要在線下載images，所以如果你的服務器無法訪問docker hub，上面啟動時記得設置HTTP_PROXY代理。

啟動apiserver

# service etcd start
# service kube-apiserver start

kube-apiserver啟動后會自動運行kube-scheduler、kube-controller-manager，但修改配置后依然可以多帶帶重啟各個服務如service kube-contoller-manager restart。這些服務的日志可以從/var/log/upstart/kube*找到。

在minion1、minion2上啟動kubelet、kube-proxy：

# service kubelet start
# service kube-proxy start

4. 使用kubecfg部署測試應用

為了方便，我們使用Kubernetes提供的例子Guestbook（下載的源碼example目錄下可以找到）來演示Kubernetes管理跨機器運行的容器，下面我們根據Guestbook的步驟創建容器及服務。在下面的過程中如果是第一次操作，可能會有一定的等待時間，狀態處于pending，這是因為第一次下載images需要一段時間。

4.1 創建redis-master Pod和redis-master服務

配置管理操作都在apiserver上執行，并且都是基于實現編寫好的json格式。涉及到下載docker鏡像的部分，如果沒有外網，可能需要修改image的值或使用自己搭建的docker-registry：

# cd kubernetes-0.7.2/examples/guestbook/
# cat redis-master.json
{
  "id": "redis-master",
  "kind": "Pod",
  "apiVersion": "v1beta1",
  "desiredState": {
    "manifest": {
      "version": "v1beta1",
      "id": "redis-master",
      "containers": [{
        "name": "master",
        "image": "dockerfile/redis",
        "cpu": 100,
        "ports": [{
          "containerPort": 6379,
          "hostPort": 6379
        }]
      }]
    }
  },
  "labels": {
    "name": "redis-master"
  }
}

# kubecfg -h http://172.29.88.206:8080 -c redis-master.json create pods
# kubecfg -h http://172.29.88.206:8080 -c redis-master-service.json create services

完成上面的操作后，我們可以看到如下redis-master Pod被調度到172.29.88.207：
（下面直接list實際上是省略了-h http://127.0.0.1:8080）

# kubecfg list pods
Name             Image(s)            Host               Labels              Status
----------       ----------          ----------         ----------          ----------
redis-master     dockerfile/redis    172.29.88.207/     name=redis-master   Running

查看services：
# kubecfg list services
Name            Labels                                    Selector            IP            Port
----------      ----------                                ----------          ----------    ------
kubernetes      component=apiserver,provider=kubernetes                       11.1.1.233    443
kubernetes-ro   component=apiserver,provider=kubernetes                       11.1.1.204    80
redis-master    name=redis-master                         name=redis-master   11.1.1.175    6379

發現除了redis-master的服務之外，還有兩個Kubernetes系統默認的服務kubernetes-ro和kubernetes。而且我們可以看到每個服務都有一個服務IP及相應的端口，對于服務IP，是一個虛擬地址，根據apiserver的portal_net選項設置的CIDR表示的IP地址段來選取，在我們的集群中設置為11.1.1.0/24。為此每新創建一個服務，apiserver都會在這個地址段中隨機選擇一個IP作為該服務的IP地址，而端口是事先確定的。對redis-master服務，其服務地址為11.1.1.175，端口為6379，與minion主機映射的端口也是6379。

4.2 創建redis-slave Pod和redis-slave服務

# kubecfg -h http://172.29.88.206:8080 -c redis-slave-controller.json create replicationControllers
# kubecfg -h http://172.29.88.206:8080 -c redis-slave-service.json create services

注意上面的redis-slave-controller.json有個"replicas": 2、"hostPort": 6380，因為我們的集群中只有2個minions，如果為3的話，就會導致有2個Pod會調度到同一臺minion上，產生端口沖突，有一個Pod會一直處于pending狀態，不能被調度（可以通過日志看到原因）。

# kubecfg list pods
Name                 Image(s)                     Host             Labels                                       Status
----------           ----------                   ----------       ----------                                   --------
2c2a06...c2971614d   brendanburns/redis-slave     172.29.88.208/   name=redisslave,uses=redis-master            Running
2c2ad5...c2971614d   brendanburns/redis-slave     172.29.88.207/   name=redisslave,uses=redis-master            Running
redis-master         dockerfile/redis             172.29.88.207/   name=redis-master                            Running

# kubecfg list services
Name              Labels                                    Selector            IP                  Port
----------        ----------                                ----------          ----------          --------
kubernetes        component=apiserver,provider=kubernetes                       11.1.1.233          443
kubernetes-ro     component=apiserver,provider=kubernetes                       11.1.1.204          80
redis-master      name=redis-master                         name=redis-master   11.1.1.175          6379
redisslave        name=redisslave                           name=redisslave     11.1.1.131          6379

4.3 創建Frontend Pod和Frontend服務

前面2步都是guestbook的redis數據存儲，現在部署應用：(修改frontend-controller.json的replicas為2)

# kubecfg -h http://172.29.88.206:8080 -c frontend-controller.json create replicationControllers
# kubecfg -h http://172.29.88.206:8080 -c frontend-service.json create services

# kubecfg -h http://172.29.88.206:8080 list pods
Name                 Image(s)                                 Host              Labels                                       Status
----------           ----------                               ----------        ----------                                   ----------
2c2a06...c2971614d   brendanburns/redis-slave                 172.29.88.208/    name=redisslave,uses=redis-master            Running
2c2ad5...c2971614d   brendanburns/redis-slave                 172.29.88.207/    name=redisslave,uses=redis-master            Running
d87744...c2971614d   kubernetes/example-guestbook-php-redis   172.29.88.207/    name=frontend,uses=redisslave,redis-master   Running
redis-master         dockerfile/redis                         172.29.88.207/    name=redis-master                            Running
1370b9...c2971614d   kubernetes/example-guestbook-php-redis   172.29.88.208/    name=frontend,uses=redisslave,redis-master   Running

# kubecfg -h http://172.29.88.206:8080 list services
Name             Labels                                    Selector            IP            Port
----------       ----------                                ----------          ----------    ------
redis-master     name=redis-master                         name=redis-master   11.1.1.175    6379
redisslave       name=redisslave                           name=redisslave     11.1.1.131    6379
frontend         name=frontend                             name=frontend       11.1.1.124    80
kubernetes       component=apiserver,provider=kubernetes                       11.1.1.233    443
kubernetes-ro    component=apiserver,provider=kubernetes                       11.1.1.204    80

通過查看可知 Frontend Pod 也被調度到兩臺minion，服務IP為11.1.1.124，端口是80，映射到外面minions的端口為8000（可以通過`ps -ef|grep docker-proxy`發現）。

### 4.4 其他操作（更新、刪除、查看） ##
**刪除**
除此之外，你可以刪除Pod、Service，如刪除minion1上的redis-slave Pod：

    kubecfg -h http://172.29.88.206:8080 delete pods/2c2ad505-96fd-11e4-9c0b-000c2971614d
    Status
    ----------
    Success

格式為`services/服務Name`、`pods/pods名字`，不必關心從哪個minion上刪除了。需要提醒的是，這里pods的replcas為2，所以即使刪除了這個pods，kubernetes為自動為你重新啟動一個。

**更新**
更新ReplicationController的Replicas數量：


# kubecfg list replicationControllers
Name                   Image(s)                                 Selector            Replicas
----------             ----------                               ----------          ----------
frontendController     kubernetes/example-guestbook-php-redis   name=frontend       2
redisSlaveController   brendanburns/redis-slave                 name=redisslave     2

把frontendController的Replicas更新為1，則這行如下命令，然后再通過上面的命令查看frontendController信息，發現Replicas已變為1：

    kubecfg -h http://172.29.88.206:8080 resize frontendController 1

**查看**
Kubernetes內置提供了一個簡單的UI來查看pods、services、replicationControllers，但極其簡陋，暫時可以忽略，訪問`http://172.29.88.206:8080/static/#/groups//selector/`：
![kubernetes-simpleui][5]

在瀏覽器訪問api：`http://172.29.88.206:8080/api/v1beta1/replicationControllers` 。
![kubernetes-api][2]

etcd做服務發現，可以通過api訪問其內容，訪問`http://172.29.88.206:4001/v2/keys/registry/services/endpoints/default` ，得到json格式數據。

### 4.5 演示guestbook ##
通過上面的結果可知當前提供前端服務的PHP和提供數據存儲的后端服務Redis master的Pod分別運行在172.29.88.208和172.29.88.207上，即容器運行在不同主機上，還有Redis slave也運行在兩臺不同的主機上，它會從Redis master同步前端寫入Redis master的數據。下面我們從兩方面驗證Kubernetes能提供跨機器間容器的通信：

**瀏覽器訪問留言簿**
在瀏覽器打開`http://${IPAddress}:8000`，IPAddress為PHP容器運行的minion的IP地址，其暴漏的端口為8000，這里IP_Address為172.29.88.208。打開瀏覽器會顯示如下信息：
![kubernetes-guestbook1][3]

你可以輸入信息并提交，然后Submit按鈕下方會顯示你輸入的信息：
![kubernetes-guestbook2][4]
由于前端PHP容器和后端Redis master容器分別在兩臺minion上，因此PHP在訪問Redis master服務時一定得跨機器通信，可見Kubernetes的實現方式避免了用link只能在同一主機上實現容器間通信的缺陷。

**從redis后端驗證**
我們從后端數據層驗證不同機器容器間的通信。根據上面的輸出結果發現Redis slave和Redis master分別調度到兩臺不同的minion上，在172.29.88.207主機上執行`docker exec -ti e5941db7e424 /bin/sh`，e5941db7e424 master的容器ID（`docker ps`），進入容器后通過redis-cli命令查看從瀏覽器輸入的信息如下：


# docker exec -ti e5941db7e424 /bin/sh
# redis-cli
127.0.0.1:6379> keys *
1) "messages"
127.0.0.1:6379> get messages
",Hi, Sean,Kubernetes,,llll,abc,xefxbfxbdxefxbfxbdxefxbfxbdxd4xb0xefxbfxbd,sync info,"

類似可以在172.29.88.208的redis-slave上看到同樣的內容。由此可見Redis master和Redis slave之間數據同步正常，OVS GRE隧道技術使得跨機器間容器正常通信。

4.6 排錯提示

所有的kubelet必須起來，否則報錯F0319 16:56:08.058335 9960 kubecfg.go:438] Got request error: The requested resource does not exist.

必須使用-b啟動docker，否則無法訪問8000端口，redis-slave也沒同步

注意pods一直處于Pending或Failed狀態時去apiserver或其他組件日志里查看錯誤，是否是由于端口綁定沖突導致。

參考

CentOS 7實戰Kubernetes部署

kubernetes-examples-guestbook

getting_started_guides-ubuntu_single_node

基于kubernetes構建Docker集群管理詳解

原文鏈接地址：http://seanlook.com/2015/02/07/docker-kubernetes-deploy2/

云服務器 GPU云服務器管理Kubernetes集群部署docker容器集群 Kubernetes集群在云服務器上部署網站

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/26376.html

在ubuntu上部署Kubernetes管理docker集群示例

摘要：部署環境及架構操作系統版本版本版本服務器信息在詳細介紹部署集群前，先給大家展示下集群的邏輯架構。其他操作更新刪除查看刪除除此之外，你可以刪除，如刪除上的格式為服務名字，不必關心從哪個上刪除了。本文通過實際操作來演示Kubernetes的使用，因為環境有限，集群部署在本地3個ubuntu上，主要包括如下內容：部署環境介紹，以及Kubernetes集群邏輯架構安裝部署Open v...

BingqiChen 2019-07-01 16:18 評論0 收藏0
容器技術開源項目綜述

摘要：年容器大火，圍繞著容器技術的發展也涌現了許多新項目。項目類本節綜述了目前開源社區和互聯網公司圍繞容器技術開發的相關項目。是公司開源項目，旨在為提供守護進程。 2015年容器大火，圍繞著容器技術的發展也涌現了許多新項目。同時，許多老項目也開始支持容器作為運行環境。下面介紹這些項目：規范標準類容器使用了Linux內核的特性，Docker的成功也主要在于其充分挖掘了此類特性。但Docke...

JeOam 2019-06-28 15:06 評論0 收藏0