• 【云原生】Kubeadmin部署Kubernetes集群

    目录

    ​编辑

    一、环境准备

    1.2调整内核参数

    二、所有节点部署docker

    三、所有节点安装kubeadm，kubelet和kubectl

    3.1定义kubernetes源

    3.2开机自启kubelet

    四、部署K8S集群

    4.1查看初始化需要的镜像

    4.2在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录

    4.3复制镜像和脚本到 node 节点，并在 node 节点上执行脚本加载镜像文件

    4.4初始化kubeadm

    方法一：

    方法二

    4.5设定kubectl

    4.6所有节点部署网络插件flannel

    方法一：

    方法二：

    4.7在master节点查看节点状态

    4.8测试 pod 资源创建

    4.9暴露端口提供服务

    4.10测试访问

    4.11扩展3个副本

    五、部署 Dashboard

    六、安装Harbor私有仓库

    6.1修改主机名

    6.2所有节点加上主机名映射

    6.3安装 docker

    6.4安装 Harbor

    6.5生成证书

    6.6在一个node节点上登录harbo

    6.7上传镜像

    6.8在master节点上删除之前创建的nginx资源 

    七、内核参数优化方案

    一、环境准备

    1. master（2C/4G，cpu核心数要求大于2）  	192.168.10.19		docker、kubeadm、kubelet、kubectl、flannel
    2. node01（2C/2G）						 	192.168.10.20		docker、kubeadm、kubelet、kubectl、flannel
    3. node02（2C/2G）						 	192.168.10.21		docker、kubeadm、kubelet、kubectl、flannel
    4. Harbor节点（hub.kgc.com）			    192.168.10.13		docker、docker-compose、harbor-offline-v1.2.2

    1、在所有节点上安装Docker和kubeadm

    2、部署Kubernetes Master

    3、部署容器网络插件

    4、部署 Kubernetes Node，将节点加入Kubernetes集群中

    5、部署 Dashboard Web 页面，可视化查看Kubernetes资源

    6、部署 Harbor 私有仓库，存放镜像资源

    1. systemctl stop firewalld
    2. systemctl disable firewalld
    3. setenforce 0
    4. sed -i 's/enforcing/disabled/' /etc/selinux/config
    5. iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
    6. swapoff -a						#交换分区必须要关闭
    7. sed -ri 's/.*swap.*/#&/' /etc/fstab		#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果
    8. #加载 ip_vs 模块
    9. for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
    10.  
    11. //修改主机名
    12. hostnamectl set-hostname master01      
    13. hostnamectl set-hostname node01
    14. hostnamectl set-hostname node02
    15.  
    16. //所有节点修改hosts文件
    17. vim /etc/hosts
    18. 192.168.10.19 master01
    19. 192.168.10.20 node01
    20. 192.168.10.21 node02

    1.2调整内核参数

    1. cat > /etc/sysctl.d/kubernetes.conf << EOF
    2. #开启网桥模式，可将网桥的流量传递给iptables链
    3. net.bridge.bridge-nf-call-ip6tables=1
    4. net.bridge.bridge-nf-call-iptables=1
    5. #关闭ipv6协议
    6. net.ipv6.conf.all.disable_ipv6=1
    7. net.ipv4.ip_forward=1
    8. EOF
    9.  
    10. //生效参数
    11. sysctl --system

    二、所有节点部署docker

    1. yum install -y yum-utils device-mapper-persistent-data lvm2 
    2. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
    3. yum install -y docker-ce docker-ce-cli containerd.io
    4.  
    5. mkdir /etc/docker
    6. cat > /etc/docker/daemon.json <<EOF
    7. {
    8.   "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
    9.   "exec-opts": ["native.cgroupdriver=systemd"],
    10.   "log-driver": "json-file",
    11.   "log-opts": {
    12.     "max-size": "100m"
    13.   }
    14. }
    15. EOF
    16. #使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
    17. #日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。
    18.  
    19. systemctl daemon-reload
    20. systemctl restart docker.service
    21. systemctl enable docker.service 
    22.  
    23. docker info | grep "Cgroup Driver"
    24. Cgroup Driver: systemd

    三、所有节点安装kubeadm，kubelet和kubectl

    3.1定义kubernetes源

    1. cat > /etc/yum.repos.d/kubernetes.repo << EOF
    2. [kubernetes]
    3. name=Kubernetes
    4. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    5. enabled=1
    6. gpgcheck=0
    7. repo_gpgcheck=0
    8. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    9. EOF
    10.  
    11. yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

    3.2开机自启kubelet

    1. systemctl enable kubelet.service
    2. #K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

    四、部署K8S集群

    4.1查看初始化需要的镜像

    kubeadm config images list

    4.2在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录

    1. unzip v1.20.11.zip -d /opt/k8s
    2. cd /opt/k8s/v1.20.11
    3. for i in $(ls *.tar); do docker load -i $i; done

    4.3复制镜像和脚本到 node 节点，并在 node 节点上执行脚本加载镜像文件

    1. scp -r /opt/k8s root@node01:/opt
    2. scp -r /opt/k8s root@node02:/opt

    4.4初始化kubeadm

    方法一：

    1. kubeadm config print init-defaults > /opt/kubeadm-config.yaml
    2.  
    3. cd /opt/
    4. vim kubeadm-config.yaml
    5. ......
    6. 11 localAPIEndpoint:
    7. 12   advertiseAddress: 192.168.10.19		#指定master节点的IP地址
    8. 13   bindPort: 6443
    9. ......
    10. 34 kubernetesVersion: v1.20.11				#指定kubernetes版本号
    11. 35 networking:
    12. 36   dnsDomain: cluster.local
    13. 37   podSubnet: "10.244.0.0/16"				#指定pod网段，10.244.0.0/16用于匹配flannel默认网段
    14. 38   serviceSubnet: 10.96.0.0/16			#指定service网段
    15. 39 scheduler: {}
    16.  
    17. #末尾再添加以下内容
    18. --- 
    19.  
    20. apiVersion: kubeproxy.config.k8s.io/v1alpha1
    21. kind: KubeProxyConfiguration
    22. mode: ipvs									#把默认的kube-proxy调度方式改为ipvs模式
    23.  
    24. kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
    25. #--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
    26. #tee kubeadm-init.log 用以输出日志
    27.  
    28. #查看 kubeadm-init 日志
    29. less kubeadm-init.log
    30.  
    31. #kubernetes配置文件目录
    32. ls /etc/kubernetes/
    33.  
    34. #存放ca等证书和密码的目录
    35. ls /etc/kubernetes/pki

    方法二

    1. kubeadm init \
    2. --apiserver-advertise-address=192.168.10.19 \
    3. --image-repository registry.aliyuncs.com/google_containers \
    4. --kubernetes-version=v1.20.11 \
    5. --service-cidr=10.96.0.0/16 \
    6. --pod-network-cidr=10.244.0.0/16 \
    7.  
    8. --token-ttl=0

    初始化集群需使用kubeadm init命令，可以指定具体参数初始化，也可以指定配置文件初始化。 可选参数：

    --apiserver-advertise-address：apiserver通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址

    --apiserver-bind-port：apiserver的监听端口，默认是6443

    --cert-dir：通讯的ssl证书文件，默认/etc/kubernetes/pki

    --control-plane-endpoint：控制台平面的共享终端，可以是负载均衡的ip地址或者dns域名，高可用集群时需要添加

    --image-repository：拉取镜像的镜像仓库，默认是k8s.gcr.io

    --kubernetes-version：指定kubernetes版本

    --pod-network-cidr：pod资源的网段，需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico插件的默认值为192.168.0.0/16；

    --service-cidr：service资源的网段

    --service-dns-domain：service全域名的后缀，默认是cluster.local

    --token-ttl：默认token的有效期为24小时，如果不想过期，可以加上 --token-ttl=0 这个参数

    方法二初始化后需要修改 kube-proxy 的 configmap，开启 ipvs kubectl edit cm kube-proxy -n=kube-system 修改mode: ipvs

    提示：

    1. ......
    2. Your Kubernetes control-plane has initialized successfully!
    3.  
    4. To start using your cluster, you need to run the following as a regular user:
    5.  
    6.   mkdir -p $HOME/.kube
    7.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    8.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
    9.  
    10. Alternatively, if you are the root user, you can run:
    11.  
    12.   export KUBECONFIG=/etc/kubernetes/admin.conf
    13.  
    14. You should now deploy a pod network to the cluster.
    15. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    16.   https://kubernetes.io/docs/concepts/cluster-administration/addons/
    17.  
    18. Then you can join any number of worker nodes by running the following on each as root:
    19.  
    20. kubeadm join 192.168.10.19:6443 --token wfjo7j.baa0aheyw39w3m7h \
    21.     --discovery-token-ca-cert-hash sha256:77100ff66b20100cbd9f1c289788e43aee69c5b4e24cc2c74c2e5d634a074fdc

    4.5设定kubectl

    kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。

    1. mkdir -p $HOME/.kube
    2. cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    3. chown $(id -u):$(id -g) $HOME/.kube/config
    4.  
    5.  
    6. //如果 kubectl get cs 发现集群不健康，更改以下两个文件
    7. vim /etc/kubernetes/manifests/kube-scheduler.yaml 
    8. vim /etc/kubernetes/manifests/kube-controller-manager.yaml
    9.  
    10. #修改如下内容
    11.  
    12. 把--bind-address=127.0.0.1变成--bind-address=192.168.10.19		#修改成k8s的控制节点master01的ip
    13. 把httpGet:字段下的hosts由127.0.0.1变成192.168.10.19（有两处）
    14. #- --port=0					# 搜索port=0，把这一行注释掉
    15.  
    16. systemctl restart kubelet

    4.6所有节点部署网络插件flannel

    方法一：

    /所有节点上传flannel镜像 flannel.tar 到 /opt 目录，master节点上传 kube-flannel.yml 文件

    1. cd /opt
    2. docker load < flannel.tar

    在 master 节点创建 flannel 资源

    kubectl apply -f kube-flannel.yml

    方法二：

    1. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    2.  
    3. kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
    4.  
    5.  
    6. #在 node 节点上执行 kubeadm join 命令加入群集
    7. kubeadm join 192.168.10.19:6443 --token rc0kfs.a1sfe3gl4dvopck5 \
    8.     --discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2

    4.7在master节点查看节点状态

    1. kubectl get nodes
    2.  
    3. kubectl get pods -n kube-system
    4.  
    5. NAME                             READY   STATUS    RESTARTS   AGE
    6. coredns-bccdc95cf-c9w6l          1/1     Running   0          71m
    7. coredns-bccdc95cf-nql5j          1/1     Running   0          71m
    8. etcd-master                      1/1     Running   0          71m
    9. kube-apiserver-master            1/1     Running   0          70m
    10. kube-controller-manager-master   1/1     Running   0          70m
    11. kube-flannel-ds-amd64-kfhwf      1/1     Running   0          2m53s
    12. kube-flannel-ds-amd64-qkdfh      1/1     Running   0          46m
    13. kube-flannel-ds-amd64-vffxv      1/1     Running   0          2m56s
    14. kube-proxy-558p8                 1/1     Running   0          2m53s
    15. kube-proxy-nwd7g                 1/1     Running   0          2m56s
    16. kube-proxy-qpz8t                 1/1     Running   0          71m
    17. kube-scheduler-master            1/1     Running   0          70m

    4.8测试 pod 资源创建

    1. kubectl create deployment nginx --image=nginx
    2.  
    3. kubectl get pods -o wide
    4. NAME                     READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES
    5. nginx-554b9c67f9-zr2xs   1/1     Running   0          14m   10.244.1.2   node01

    4.9暴露端口提供服务

    1. kubectl expose deployment nginx --port=80 --type=NodePort
    2.  
    3. kubectl get svc
    4. NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
    5. kubernetes   ClusterIP   10.96.0.1              443/TCP        3h57m
    6. myapp-ky20   NodePort    10.96.56.120           80:32404/TCP   3s

    4.10测试访问

    ​curl http://node01:32404

    4.11扩展3个副本

    1. kubectl scale deployment nginx --replicas=3
    2. kubectl get pods -o wide
    3. NAME                     READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES
    4. nginx-554b9c67f9-9kh4s   1/1     Running   0          66s   10.244.1.3   node01              
    5. nginx-554b9c67f9-rv77q   1/1     Running   0          66s   10.244.2.2   node02              
    6. nginx-554b9c67f9-zr2xs   1/1     Running   0          17m   10.244.1.2   node01

    五、部署 Dashboard

    在 master01 节点上操作

    1. #上传 recommended.yaml 文件到 /opt/k8s 目录中
    2. cd /opt/k8s
    3. vim recommended.yaml
    4. #默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
    5. kind: Service
    6. apiVersion: v1
    7. metadata:
    8.   labels:
    9.     k8s-app: kubernetes-dashboard
    10.   name: kubernetes-dashboard
    11.   namespace: kubernetes-dashboard
    12. spec:
    13.   ports:
    14.  
    15.    - port: 443
    16.      targetPort: 8443
    17.      nodePort: 30001     #添加
    18.        type: NodePort          #添加
    19.        selector:
    20.          k8s-app: kubernetes-dashboard
    21.  
    22. kubectl apply -f recommended.yaml
    23.  
    24. #创建service account并绑定默认cluster-admin管理员集群角色
    25. kubectl create serviceaccount dashboard-admin -n kube-system
    26. kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
    27. kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
    28.  
    29.  
    30. #使用输出的token登录Dashboard
    31. https://NodeIP:30001

    六、安装Harbor私有仓库

    6.1修改主机名

    hostnamectl set-hostname hub.kgc.com

    6.2所有节点加上主机名映射

    echo '192.168.10.23 hub.kgc.com' >> /etc/hosts

    6.3安装 docker

    1. yum install -y yum-utils device-mapper-persistent-data lvm2 
    2. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
    3. yum install -y docker-ce docker-ce-cli containerd.io
    4.  
    5. #所有 node 节点都修改 docker 配置文件，加上私有仓库配置
    6.  
    7. mkdir /etc/docker
    8. cat > /etc/docker/daemon.json <<EOF
    9. {
    10.   "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
    11.   "exec-opts": ["native.cgroupdriver=systemd"],
    12.   "log-driver": "json-file",
    13.   "log-opts": {
    14.     "max-size": "100m"
    15.   },
    16.   "insecure-registries": ["https://hub.kgc.com"]
    17. }
    18. EOF
    19.  
    20. systemctl start docker
    21. systemctl enable docker

    6.4安装 Harbor

    上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录

    1. cd /opt
    2. cp docker-compose /usr/local/bin/
    3. chmod +x /usr/local/bin/docker-compose
    4.  
    5. tar zxvf harbor-offline-installer-v1.2.2.tgz
    6. cd harbor/
    7. vim harbor.cfg
    8. 5  hostname = hub.kgc.com
    9. 9  ui_url_protocol = https
    10. 24 ssl_cert = /data/cert/server.crt
    11. 25 ssl_cert_key = /data/cert/server.key
    12. 59 harbor_admin_password = Harbor12345

    6.5生成证书

    1. mkdir -p /data/cert
    2. cd /data/cert
    3. #生成私钥
    4. openssl genrsa -des3 -out server.key 2048
    5. 输入两遍密码：123456
    6.  
    7. #生成证书签名请求文件
    8. openssl req -new -key server.key -out server.csr
    9. 输入私钥密码：123456
    10. 输入国家名：CN
    11. 输入省名：BJ
    12. 输入市名：BJ
    13. 输入组织名：KGC
    14. 输入机构名：KGC
    15. 输入域名：hub.kgc.com
    16. 输入管理员邮箱：admin@kgc.com
    17. 其它全部直接回车
    18.  
    19. #备份私钥
    20. cp server.key server.key.org
    21.  
    22. #清除私钥密码
    23. openssl rsa -in server.key.org -out server.key
    24. 输入私钥密码：123456
    25.  
    26. #签名证书
    27. openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt
    28.  
    29. chmod +x /data/cert/*
    30.  
    31. cd /opt/harbor/
    32. ./install.sh
    ​在本地使用火狐浏览器访问：https://hub.kgc.com​

    添加例外 -> 确认安全例外

    用户名：admin

    密码：Harbor12345

    6.6在一个node节点上登录harbo

    docker login -u admin -p Harbor12345 https://hub.kgc.com

    6.7上传镜像

    1. docker tag nginx:latest hub.kgc.com/library/nginx:v1
    2. docker push hub.kgc.com/library/nginx:v1

    6.8在master节点上删除之前创建的nginx资源 

    1. kubectl delete deployment nginx
    2.  
    3. kubectl create deployment nginx-deployment --image=hub.kgc.com/library/nginx:v1 --port=80 --replicas=3
    4.  
    5. kubectl expose deployment nginx-deployment --port=30000 --target-port=80
    6.  
    7. kubectl get svc,pods
    8. NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
    9. service/kubernetes         ClusterIP   10.96.0.1               443/TCP     10m
    10. service/nginx-deployment   ClusterIP   10.96.222.161           30000/TCP   3m15s
    11.  
    12. NAME                                    READY   STATUS    RESTARTS   AGE
    13. pod/nginx-deployment-77bcbfbfdc-bv5bz   1/1     Running   0          16s
    14. pod/nginx-deployment-77bcbfbfdc-fq8wr   1/1     Running   0          16s
    15. pod/nginx-deployment-77bcbfbfdc-xrg45   1/1     Running   0          3m39s
    16.  
    17.  
    18. yum install ipvsadm -y
    19. ipvsadm -Ln
    20.  
    21. curl 10.96.222.161:30000
    22.  
    23.  
    24. kubectl edit svc nginx-deployment
    25. 25   type: NodePort						#把调度策略改成NodePort
    26.  
    27. kubectl get svc
    28. NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)           AGE
    29. service/kubernetes         ClusterIP   10.96.0.1               443/TCP           29m
    30. service/nginx-deployment   NodePort    10.96.222.161           30000:32340/TCP   22m

    浏览器访问：

    192.168.10.19:32340

    192.168.10.20:32340

    192.168.10.21:32340

    #将cluster-admin角色权限授予用户system:anonymous 

    kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

    七、内核参数优化方案

    1. cat > /etc/sysctl.d/kubernetes.conf <<EOF
    2. net.bridge.bridge-nf-call-iptables=1
    3. net.bridge.bridge-nf-call-ip6tables=1
    4. net.ipv4.ip_forward=1
    5. net.ipv4.tcp_tw_recycle=0
    6. vm.swappiness=0									#禁止使用 swap 空间，只有当系统内存不足（OOM）时才允许使用它
    7. vm.overcommit_memory=1							#不检查物理内存是否够用
    8. vm.panic_on_oom=0								#开启 OOM
    9. fs.inotify.max_user_instances=8192
    10. fs.inotify.max_user_watches=1048576
    11. fs.file-max=52706963							#指定最大文件句柄数
    12. fs.nr_open=52706963								#仅4.4以上版本支持
    13. net.ipv6.conf.all.disable_ipv6=1
    14. net.netfilter.nf_conntrack_max=2310720
    15. EOF

  • 相关阅读:
    Java JVM相关
    【小程序项目开发-- 京东商城】uni-app开发之配置tabBar & 窗口样式
    如何ES源码中添加一个自己的API 流程梳理
    USB转串口芯片沁恒微CH9340
    这 10 种架构师，不合格！
    算法学习——LeetCode力扣补充篇8（146. LRU 缓存、 215. 数组中的第K个最大元素、25. K 个一组翻转链表）
    机器视觉常见的问题及解决
    数据结构与算法分析之并查集
    财务管理数字化： 销售收入分析
    数据可视化之智能推荐，智能分析数据，自动推荐可视化图表
  • 原文地址：https://blog.csdn.net/m0_71888825/article/details/132743700