一、基本环境配置

1.参考文档：

K8S官网：https://kubernetes.io/docs/setup
最新版高可用安装：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability

2.高可用Kubernetes集群规划

主机名	地址	备注
k8s-master01	192.168.10.11	master节点
k8s-node01 ~ 02	192.168.10.12	worker节点 * 2

请统一替换这些网段，pod网段和和宿主机网段不要重复！！！

配置信息	备注
系统版本	CentOS7.9 Linux
Docker (containerd版本）	20.10.x
Pod 网段	192.16.0.0/16
Service 网段	10.96.0.0/16

二、开始部署

服务器优化

1.所有节点更改主机名：

hostnamectl set-hostname master
hostnamectl set-hostname node1

所有节点配置hosts，修改/etc/hosts如下：
cat /etc/hosts

192.168.10.11	master
192.168.10.12	node1

2.所有节点配置yum源：

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

3.所有节点必备工具安装

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 git -y

4.所有节点关闭防火墙、selinux、dnsmasq、swap。

服务器配置如下：

systemctl disable --now firewalld 
systemctl disable --now dnsmasq
systemctl disable --now NetworkManager
setenforce 0
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

5.所有节点关闭swap分区

swapoff -a && sysctl -w vm.swappiness=0
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

6.所有节点安装ntpdate

rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install ntpdate -y

7.所有节点同步时间。时间同步配置如下：

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com

8.加入到定时任务

crontab -e
*/5 * * * * /usr/sbin/ntpdate time2.aliyun.com

9.所有节点配置limit：

ulimit -SHn 65535
vim /etc/security/limits.conf

末尾添加如下内容

* soft nofile 65536
* hard nofile 131072
* soft nproc 65535
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited

10.所有节点升级系统并重启

此处升级没有升级内核，下节会单独升级内核：

yum update -y --exclude=kernel* && reboot   #CentOS7需要升级，CentOS8可以按需升级系统

11.Master01节点免密钥登录其他节点

安装过程中生成配置文件和证书均在Master01上操作，密钥配置如下：

ssh-keygen -t rsa
for i in master node1;do ssh-copy-id -i .ssh/id_rsa.pub $i;done

Master01节点下载安装所有的源码文件

cd /root/ ; git clone https://gitee.com/dukuan/k8s-ha-install.git

内核配置

CentOS7 需要升级内核至4.18+，本次升级的版本为4.19

1.下载内核kernel(所有节点操作）

cd /root
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-4.19.12-1.el7.elrepo.x86_64.rpm

2.所有节点安装内核

cd /root && yum localinstall -y kernel-ml*

3.所有节点更改内核启动顺序：

grub2-set-default  0 && grub2-mkconfig -o /etc/grub2.cfg
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"

检查默认内核是不是4.19

grubby --default-kernel

4.所有节点安装ipvsadm：

yum install ipvsadm ipset sysstat conntrack libseccomp -y

5.所有节点配置ipvs模块在内核4.19+版本

nf_conntrack_ipv4已经改为nf_conntrack， 4.18以下使用nf_conntrack_ipv4即可：

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack

vim /etc/modules-load.d/ipvs.conf
加入以下内容

ip_vs
ip_vs_lc
ip_vs_wlc
ip_vs_rr
ip_vs_wrr
ip_vs_lblc
ip_vs_lblcr
ip_vs_dh
ip_vs_sh
ip_vs_fo
ip_vs_nq
ip_vs_sed
ip_vs_ftp
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip

systemctl enable --now systemd-modules-load.service  #报错不用管）

6.配置k8s内核：

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
net.ipv4.conf.all.route_localnet = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
sysctl --system

所有节点配置完内核后，重启服务器，保证重启后内核依旧加载

reboot
lsmod | grep --color=auto -e ip_vs -e nf_conntrack

然后检查内核是不是4.19

uname -a

K8s组件和Runtime安装

如果安装的版本低于1.24，选择Docker和Containerd均可，高于1.24选择Containerd作为Runtime。

1.安装Containerd

所有节点安装docker-ce-20.10（如果在以前已经安装过，需要重新安装一下）：

yum install docker-ce-20.10.* docker-ce-cli-20.10.* -y

可以无需启动Docker，只需要配置和启动Containerd即可。

2.首先配置Containerd所需的模块（所有节点）：

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

3.所有节点加载模块：

modprobe -- overlay
modprobe -- br_netfilter

4.所有节点，配置Containerd所需的内核：

cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

5.所有节点加载内核：

sysctl --system

6.所有节点配置Containerd的配置文件：

mkdir -p /etc/containerd
containerd config default | tee /etc/containerd/config.toml

7.所有节点将Containerd的Cgroup改为Systemd：

vim /etc/containerd/config.toml

找到containerd.runtimes.runc.options，添加或修改SystemdCgroup = true（如果已存在直接修改，否则会报错

8.所有节点将sandbox_image的Pause镜像改成符合自己版本的地址

registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6

9.所有节点启动Containerd，并配置开机自启动：

systemctl daemon-reload
systemctl enable --now containerd

10.所有节点配置crictl客户端连接的运行时位置：

cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

安装Kubernetes组件

1.查看最新的Kubernetes版本

yum list kubeadm.x86_64 --showduplicates | sort -r

2.所有节点安装kubeadm、kubelet和kubectl：

yum install kubeadm-1.27* kubelet-1.27* kubectl-1.27* -y

3.所有节点设置Kubelet开机自启动

由于还未初始化，没有kubelet的配置文件，此时kubelet无法启动，无需管理

systemctl daemon-reload
systemctl enable --now kubelet

此时kubelet是起不来的，日志会有报错不影响！

集群初始化

注意:

以下文件内容，宿主机网段、网段，service，Subnet 网段不能重复。

以下操作在master01

vim kubeadm-config.yaml

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: 7t2weq.bjbawausm0jaxury
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.10.11
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  name: k8s-master01
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/control-plane
---
apiServer:
  certSANs:
  - 192.168.10.11
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: 192.168.10.11:6443
controllerManager: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.27.1 # 更改此处的版本号和kubeadm version一致
networking:
  dnsDomain: cluster.local
  podSubnet: 172.16.0.0/16
  serviceSubnet: 10.96.0.0/16
scheduler: {}

1.更新kubeadm文件

kubeadm config migrate --old-config kubeadm-config.yaml --new-config new.yaml

2.提前下载镜像

kubeadm config images pull --config /root/new.yaml

3.Master01节点初始化

kubeadm init --config /root/new.yaml  --upload-certs

初始化失败排查
如果初始化失败，重置后再次初始化，命令如下（没有失败不要执行）

kubeadm reset -f ; ipvsadm --clear  ; rm -rf ~/.kube

如果多次尝试都是初始化失败，需要看系统日志，CentOS日志路径:/var/log/messages，Ubuntu日志路径:/var/log/syslog：

tail -f /var/log/messages | grep -v "not found"

报错1:ipv4.ip_forward

解决方法：
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
sysctl -p

报错2: 镜像地址错误

#查看报错信息
tail -f /var/log/messages | grep -v "not found"

#修改镜像地址 
vim /etc/containerd/config.toml
sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"

报错3：master 节点地址错误

解决方法：

vim kubeadm-config.yaml  #修改配置文件

#修改后重新生成配置文件，初始化
kubeadm config migrate --old-config kubeadm-config.yaml --new-config new.yaml
kubeadm config images pull --config /root/new.yaml 
kubeadm reset -f ; ipvsadm --clear  ; rm -rf ~/.kube
kubeadm init --config /root/new.yaml  --upload-certs

报错4：配置错误

报错 "Error syncing pod, skipping" err="failed to "CreatePodSandbox" for "kube-controller-manager-master_kube-system(b84ad10645254c1e7146d957a5d77867)" with CreatePodSandboxError: "Failed to create sandbox for pod \"kube-controller-manager-master_kube-system(b84ad10645254c1e7146d957a5d77867)\": rpc error: code = Unknown desc = failed to generate runtime options: (0, 0): Can't convert true(bool) to string"" pod="kube-system/kube-controller-manager-master" podUID=b84ad10645254c1e7146d957a5d77867

这个错误信息表明在尝试为 `kube-controller-manager` 创建容器沙箱时遇到了错误。具体错误消息 `failed to generate runtime options: (0, 0): Can't convert true(bool) to string` 提示无法将布尔值 `true` 转换为字符串。在这种情况下，对于使用 `containerd` 作为容器运行时的配置，一些设置可能不正确。

### 排查和解决方法

#### 1. 检查 containerd 配置
查看 containerd 的配置文件 `config.toml`，特别是相关的 `SystemdCgroup` 配置。
vim /etc/containerd/config.toml
确保 `SystemdCgroup` 设置正确：
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
  SystemdCgroup = true

### 2. 确认 kubelet 配置
确认 kubelet 配置文件中 `config.yaml` 中设置了正确的 CGroup 驱动。
vim  /var/lib/kubelet/config.yaml

确保包含以下设置：
```yaml
cgroupDriver: systemd

3. 重新加载配置并重启服务

重载 containerd 和 kubelet 服务以应用新的配置：

sudo systemctl daemon-reload
sudo systemctl restart containerd
sudo systemctl restart kubelet

6. 创建 Kubernetes 管控组件容器

尝试重新初始化 Kubernetes 控制组件：

kubeadm init --config /root/new.yaml --upload-certs

经常出错的原因：

Containerd的配置文件修改的不对，仔细核对

new.yaml配置问题，比如非高可用集群忘记修改16443端口为6443

new.yaml配置问题，三个网段有交叉，出现IP地址冲突

初始化成功以后，会产生Token值，用于其他节点加入时使用，
记录下初始化成功生成的token值（令牌值）：

kubeadm join 192.168.10.11:6443 --token 7t2weq.bjbawausm0jaxury \
	--discovery-token-ca-cert-hash sha256:7149f10335fa2997b93e164faa75f03f7fcfc45961e3244cbe164e67d8e69349

Master01节点配置环境变量，用于访问Kubernetes集群：

cat <<EOF >> /root/.bashrc
export KUBECONFIG=/etc/kubernetes/admin.conf
EOF
source /root/.bashrc

Master01节点查看节点状态：（显示NotReady不影响）

kubectl get node

采用初始化安装方式，所有的系统组件均以容器的方式运行并且在kube-system命名空间内，此时可以查看Pod状态

kubectl get pod -A

Token过期处理

注意：以下步骤是上述init命令产生的Token过期了才需要执行以下步骤，如果没有过期不需要执行，直接join即可。

Token过期后生成新的token：

kubeadm token create --print-join-command
#Master需要生成--certificate-key
kubeadm init phase upload-certs  --upload-certs

Node节点的配置

Node节点上主要部署公司的一些业务应用，生产环境中不建议Master节点部署系统组件之外的其他Pod，测试环境可以允许Master节点部署Pod以节省系统资源。

kubeadm join 192.168.10.11:6443 --token 7t2weq.bjbawausm0jaxury \
	--discovery-token-ca-cert-hash sha256:7149f10335fa2997b93e164faa75f03f7fcfc45961e3244cbe164e67d8e69349

所有节点初始化完成后，查看集群状态NotReady不影响）

kubectl get node

Calico组件的安装

以下步骤只在master01 执行（.x不需要更改）

cd /root/k8s-ha-install && git checkout manual-installation-v1.27.x && cd calico/
#修改Pod网段：
POD_SUBNET=`cat /etc/kubernetes/manifests/kube-controller-manager.yaml | grep cluster-cidr= | awk -F= '{print $NF}'`
sed -i "s#POD_CIDR#${POD_SUBNET}#g" calico.yaml
kubectl apply -f calico.yaml

查看容器和节点状态：（Pending是正常的）

kubectl get po -n kube-system

此时节点全部变为Ready状态：

kubectl get node

kubectl get po -A

Metrics部署

在新版的Kubernetes中系统资源的采集均使用Metrics-server，可以通过Metrics采集节点和Pod的内存、磁盘、CPU和网络的使用率。

将Master01节点的front-proxy-ca.crt复制到所有Node节点

scp -P 8822 /etc/kubernetes/pki/front-proxy-ca.crt node1:/etc/kubernetes/pki/front-proxy-ca.crt

以下操作均在master01节点执行

安装metrics server

cd /root/k8s-ha-install/kubeadm-metrics-server
kubectl  create -f comp.yaml

查看状态

kubectl get po -n kube-system -l k8s-app=metrics-server

变成1/1 Running后

kubectl top node

kubectl top po -A

10 Dashboard部署

Dashboard用于展示集群中的各类资源，同时也可以通过Dashboard实时查看Pod的日志和在容器中执行一些命令等。

安装指定版本dashboard

cd /root/k8s-ha-install/dashboard/
kubectl  create -f .

安装最新版

官方GitHub地址：https://github.com/kubernetes/dashboard

可以在官方dashboard查看到最新版dashboard

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

vim admin.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding 
metadata: 
  name: admin-user
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kube-system

kubectl apply -f admin.yaml -n kube-system

登录 dashboard

更改dashboard的svc为NodePort：

kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard

将ClusterIP更改为NodePort（如果已经为NodePort忽略此步骤）：

查看端口号：

kubectl get svc kubernetes-dashboard -n kubernetes-dashboard

根据自己的实例端口号，通过任意安装了kube-proxy的宿主机的IP+端口即可访问到dashboard：
访问Dashboard：https://192.168.1.104:18282（请更改18282为自己的端口）
创建登录Token：

kubectl create token admin-user -n kube-system

将token值输入到令牌后，单击登录即可访问Dashboard

第三章【必看】注意事项

注意：kubeadm安装的集群，证书有效期默认是一年。master节点的kube-apiserver、kube-scheduler、kube-controller-manager、etcd都是以容器运行的。可以通过kubectl get po -n kube-system查看。

Kubeadm安装后，master节点默认不允许部署pod，可以通过以下方式删除Taint，即可部署Pod

kubectl  taint node  -l node-role.kubernetes.io/control-

第四章【必看】一些必须的配置更改

将Kube-proxy改为ipvs模式，因为在初始化集群的时候注释了ipvs配置，所以需要自行修改一下：

在master01节点执行

kubectl edit cm kube-proxy -n kube-system

更新Kube-Proxy的Pod：

kubectl patch daemonset kube-proxy -p "{\"spec\":{\"template\":{\"metadata\":{\"annotations\":{\"date\":\"`date +'%s'`\"}}}}}" -n kube-system

验证Kube-Proxy模式

curl 127.0.0.1:10249/proxyMode

Kubeadm部署k8s 1.27 版本