kubernetes 1.13.2部署(kubeadm)

一、主机环境预设

1、测试环境说明


本测试环境将由master、node01和node02三个独立的主机组成,它们分别拥有4核心的CPU及4G的内存资源,操作系统环境均为CentOS 7.5 1804,域名为leiyan.com此外,需要预设的系统环境如下:

  • (1)借助于NTP服务设定各节点时间精确同步;

  • (2)通过DNS完成各节点的主机名称解析,测试环境主机数量较少时也可以使用hosts文件进行;

  • (3)关闭各节点的iptables或firewalld服务,并确保它们被禁止随系统引导过程启动;

  • (4)各节点禁用SELinux;

  • (5)各节点禁用所有的Swap设备;

  • (6)若要使用ipvs模型的proxy,各节点还需要载入ipvs相关的各模块;

192.168.1.90 master.leiiyan.com  master
192.168.1.91 node01.leiiyan.com  node01
192.168.1.92 node02.leiiyan.com  node02

2、设定时钟同步

若节点可直接访问互联网,直接启动chronyd系统服务,并设定其随系统引导而启动。

systemctl start chronyd.service
systemctl enable chronyd.service

3、主机名称解析

出于简化配置步骤的目的,本测试环境使用hosts文件进行各节点名称解析,文件内容如下所示:

192.168.1.90 master.leiiyan.com  master
192.168.1.91 node01.leiiyan.com  node01
192.168.1.92 node02.leiiyan.com  node02

4、关闭iptables或firewalld服务

在CentOS7上,iptables或firewalld服务通常只会安装并启动一种,在不确认具体启动状态的前提下,这里通过同时关闭并禁用二者即可简单达到设定目标。

systemctl stop firewalld.service 
systemctl stop iptables.service
systemctl disable firewalld.service
systemctl disable iptables.service

5、关闭并禁用SELinux

若当前启用了SELinux,则需要编辑/etc/sysconfig/selinux文件,禁用SELinux,并临时设置其当前状态为permissive:

sed -i 's@^\(SELINUX=\).*@\1disabled@' /etc/sysconfig/selinux
setenforce 0

6、禁用Swap设备

部署集群时,kubeadm默认会预先检查当前主机是否禁用了Swap设备,并在未禁用时强制终止部署过程。因此,在主机内存资源充裕的条件下,需要禁用所有的Swap设备,否则,就需要在后文的kubeadm init及kubeadm join命令执行时额外使用相关的选项忽略检查错误。

关闭Swap设备,需要分两步完成。首先是关闭当前已启用的所有Swap设备:

swapoff -a

而后编辑/etc/fstab配置文件,注释用于挂载Swap设备的所有行。

7、启用ipvs内核模块

创建内核模块载入相关的脚本文件/etc/sysconfig/modules/ipvs.modules,设定自动载入的内核模块。文件内容如下:

#!/bin/bash
ipvs_modules_dir="/usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs"
for i in $(ls $ipvs_modules_dir | sed  -r 's@(.*).ko.xz@\1@'); do
    /sbin/modinfo -F filename $i  &> /dev/null
    if [ $? -eq 0 ]; then
        /sbin/modprobe $i
    fi
done

修改文件权限,并手动为当前系统加载内核模块:

chmod +x /etc/sysconfig/modules/ipvs.modules 
bash /etc/sysconfig/modules/ipvs.modules


二、安装程序包(在各主机上完成如下设定)

1、生成yum仓库配置

首先获取docker-ce的配置仓库配置文件:

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker.repo

而后手动生成kubernetes的yum仓库配置文件/etc/yum.repos.d/kubernetes.repo,内容如下:

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
enabled=1

2、安装相关的程序包

Kubernetes会对经过充分验正的Docker程序版本进行认证,目前认证完成的最高版本是18.06,但docker-ce的最新版本已经高出了几个版本号。管理员可忽略此认证而直接使用最新版本的docker-ce程序,不过,建议根据后面的说明,将安装命令替换为安装18.06版。

yum install docker-ce 
yum install kubelet kubeadm kubectl

如果要安装目前经过Kubernetes认证的docker-18版本,可以将上面第一条安装命令替换为如下命令:

yum install -y --setopt=obsoletes=0 docker-ce-18.06.2.ce docker-ce-selinux-18.06.2.ce


三、配置并启动docker服务(在各节点执行)

若要通过默认的k8s.gcr.io镜像仓库获取Kubernetes系统组件的相关镜像,需要配置docker Unit File(/usr/lib/systemd/system/docker.service文件)中的Environment变量,为其定义合用的HTTPS_PROXY,格式如下:

Environment="HTTPS_PROXY=PROTOCOL://HOST:PORT"
Environment="NO_PROXY=172.20.0.0/16,127.0.0.0/8"

我修改如下:

Environment="HTTPS_PROXY=http://192.168.1.100:1080"
Environment="NO_PROXY=localhost,172.20.0.0/16,127.0.0.0/8,docker.leiyan.com"

http://192.168.1.100:1080此为我使用SS小飞机开放的翻墙代理,不设置,Master初始化的时候会报错。
docker.leiyan.com    为内网自创建的Docker仓库

另外,docker自1.13版起会自动设置iptables的FORWARD默认策略为DROP,这可能会影响Kubernetes集群依赖的报文转发功能,因此,需要在docker服务启动后,重新将FORWARD链的默认策略设备为ACCEPT,方式是修改/usr/lib/systemd/system/docker.service文件,在ExecStart=/usr/bin/dockerd一行之后新增一行如下内容:

ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT

重载完成后即可启动docker服务:

systemctl daemon-reload        
systemctl start docker.service

而后设定docker和kubelet随系统引导自动启动:

systemctl enable docker kubelet


四、初始化主节点(在master上完成如下操作)

1、初始化master节点

若未禁用Swap设备,则需要编辑kubelet的配置文件/etc/sysconfig/kubelet,设置其忽略Swap启用的状态错误,内容如下:

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

(可选步骤)而后,在运行初始化命令之前先运行如下命令单独获取相关的镜像文件,而后再运行后面的kubeadm init命令,以便于观察到镜像文件的下载过程。

~kubeadm config images pull

而后即可进行master节点初始化。kubeadm init命令支持两种初始化方式,一是通过命令行选项传递关键的部署设定,另一个是基于yaml格式的专用配置文件,后一种允许用户自定义各个部署参数。下面分别给出了两种实现方式的配置步骤,建议读者采用第二种方式进行。

初始化方式一:

运行如下命令完成master01节点的初始化:

echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

kubeadm init --kubernetes-version=v1.13.2 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=Swap

命令中的各选项简单说明如下:

(1) --kubernetes-version选项的版本号用于指定要部署的Kubenretes程序版本,它需要与当前的kubeadm支持的版本保持一致;
(2) --pod-network-cidr选项用于指定分Pod分配使用的网络地址,它通常应该与要部署使用的网络插件(例如flannel、calico等)的默认设定保持一致,10.244.0.0/16是flannel默认使用的网络;
(3) --service-cidr用于指定为Service分配使用的网络地址,它由kubernetes管理,默认即为10.96.0.0/12;
(4) 最后一个选项“--ignore-preflight-errors=Swap”仅应该在未禁用Swap设备的状态下使用。

初始化方式二:

kubeadm也可通过配置文件加载配置,以定制更丰富的部署选项。以下是个符合前述命令设定方式的使用示例,不过,它明确定义了kubeProxy的模式为ipvs,并支持通过修改imageRepository的值修改获取系统镜像时使用的镜像仓库。

apiVersion: kubeadm.k8s.io/v1alpha2
kind: MasterConfiguration
kubernetesVersion: v1.12.1
api:
  advertiseAddress: 172.20.0.71
  bindPort: 6443
  controlPlaneEndpoint: ""
imageRepository: k8s.gcr.io
kubeProxy:
  config:
    mode: "ipvs"
    ipvs:
      ExcludeCIDRs: null
      minSyncPeriod: 0s
      scheduler: ""
      syncPeriod: 30s    
kubeletConfiguration:
  baseConfig:
    cgroupDriver: cgroupfs
    clusterDNS:
    - 10.96.0.10
    clusterDomain: cluster.local
    failSwapOn: false
    resolvConf: /etc/resolv.conf
    staticPodPath: /etc/kubernetes/manifests
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12

将上面的内容保存于配置文件中,例如kubeadm-config.yaml,而后执行相应的命令:

~]# kubeadm init --config kubeadm-config.yaml --ignore-preflight-errors=Swap

注意:对于Kubernetes系统的新用户来说,无论使用上述哪种方法,命令运行结束后,请记录最后的kubeadm join命令输出的最后提示的操作步骤。下图的内容是需要用户记录的一个命令输出示例,它提示了后续需要的操作步骤:

另外,kubeadm init命令完整参考指南请移步官方文档。https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/。

2、初始化kubectl

kubectl是kube-apiserver的命令行客户端程序,实现了除系统部署之外的几乎全部的管理操作,是kubernetes管理员使用最多的命令之一。kubectl需经由API server认证及授权后方能执行相应的管理操作,kubeadm部署的集群为其生成了一个具有管理员权限的认证配置文件/etc/kubernetes/admin.conf,它可由kubectl通过默认的“$HOME/.kube/config”的路径进行加载。当然,用户也可在kubectl命令上使用--kubeconfig选项指定一个别的位置。

下面复制认证为Kubernetes系统管理员的配置文件至目标用户(例如当前用户root)的家目录下:

mkdir ~/.kube 
cp /etc/kubernetes/admin.conf ~/.kube/config

而后,即可通过kubectl进行客户端命令测试,并借此了解集群组件的当前状态:

kubectl get componentstatus

一个正常的输出应该类似如下输出结果所示:

NAME                 STATUS    MESSAGE              ERROR
controller-manager   Healthy   ok                   
scheduler            Healthy   ok                   
etcd-0               Healthy   {"health": "true"}

3、添加flannel网络附件

Kubernetes系统上Pod网络的实现依赖于第三方插件进行,这类插件有近数十种之多,较为著名的有flannel、calico、canal和kube-router等,简单易用的实现是为CoreOS提供的flannel项目。下面的命令用于在线部署flannel至Kubernetes系统之上:

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

而后使用如下命令确认其输出结果中Pod的状态为“Running”,类似如下所示:

~]# kubectl get pods -n kube-system -l app=flannel
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-wscnz   1/1     Running   0          14m

4、验正master节点已经就绪

kubectl get nodes

上述命令应该会得到类似如下输出:

NAME                STATUS   ROLES    AGE     VERSION
master.leiyan.com   Ready    master   8m20s   v1.13.2

五、添加节点到集群中(在node01和node02上分别完成如下操作)

1、忽略Swap相关的预检错误

若未禁用Swap设备,编辑kubelet的配置文件/etc/sysconfig/kubelet,设置其忽略Swap启用的状态错误,内容如下:

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

提示:若节点禁用了所有的Swap设备,并无须执行此步骤。

2、添加节点

将节点加入第二步中创建的master的集群中,要使用主节点初始化过程中记录的kubeadm join命令,并且在未禁用Swap设备的情况下,额外附加“--ignore-preflight-errors=Swap”选项;下面的命令来自于前面初始master时运行的kubeadm init命令的输出结果。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubeadm join 192.168.1.90:6443 --token jn5px4.vvduhcenxdseps44 --discovery-token-ca-cert-hash sha256:a8d6c2f4762f3933883e92006b19c745f9abeb006baadfa82ceb498231fa6fb3

在每个节点添加完成后,即可通过kubectl验正添加结果。下面的命令及其输出是在node01和node02均添加完成后运行的,其输出结果表明两个Node已经准备就绪。

[root@master ~]#  kubectl get nodes
NAME                STATUS     ROLES    AGE    VERSION
master.leiyan.com   Ready      master   15m    v1.13.2
node1.leiyan.com    Ready   <none>   3m1s   v1.13.2
node2.leiyan.com    Ready   <none>   92s    v1.13.2

到此为止,一个master,并附带有两个node的kubernetes集群基础设施已经部署完成,用户随后即可测试其核心功能。例如,下面的命令可将myapp以Pod的形式编排运行于集群之上,并通过在集群外部进行访问:

~]# kubectl create deployment myapp --image=ikubernetes/myapp:v1
~]# kubectl create service nodeport myapp --tcp=80:80

而后,使用如下命令了解Service对象myapp使用的NodePort,以便于在集群外部进行访问:

~]# kubectl get svc -l app=myapp
NAME    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
myapp   NodePort   10.102.254.75   <none>        80:31257/TCP   2m32s

myapp是一个web应用,因此,用户可以于集群外部通过“http://NodeIP:31257”这个URL访问myapp上的应用,例如于集群外通过浏览器访问“http://192.168.1.90:31257”


来源:马哥kubernetes 进阶实战 书籍。

  • blogger
版权声明:若无特殊注明,本文为《橙子柠檬》原创,转载请保留文章出处。
本文链接:https://qinzc.me/post-207.html
正文到此结束

热门推荐

发表吐槽

你肿么看?

你还可以输入 250 / 250 个字

嘻嘻 大笑 可怜 吃惊 害羞 调皮 鄙视 示爱 大哭 开心 偷笑 嘘 奸笑 委屈 抱抱 愤怒 思考 日了狗 胜利 不高兴 阴险 乖 酷 滑稽

评论信息框
可使用QQ号实时获取昵称+头像

私密评论

吃奶的力气提交吐槽中...


既然没有吐槽,那就赶紧抢沙发吧!