Kubernetes(k8s)包管理工具Helm：Helm包管理

一.系统环境
二.前言
三.包管理工具Helm简介
四.安装部署helm
五.配置helm以及helm常用命令
六.使用helm安装应用
七.搭建helm私有仓库
八.总结

一.系统环境

本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。

服务器版本	docker软件版本	Kubernetes(k8s)集群版本	CPU架构
CentOS Linux release 7.4.1708 (Core)	Docker version 20.10.12	v1.21.9	x86_64

Kubernetes集群架构：k8scloude1作为master节点，k8scloude2，k8scloude3作为worker节点。

服务器	操作系统版本	CPU架构	进程	功能描述
k8scloude1/192.168.110.130	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kube-apiserver，etcd，kube-scheduler，kube-controller-manager，kubelet，kube-proxy，coredns，calico	k8s master节点
k8scloude2/192.168.110.129	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kubelet，kube-proxy，calico	k8s worker节点
k8scloude3/192.168.110.128	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kubelet，kube-proxy，calico	k8s worker节点

二.前言

在Kubernetes中，部署一个应用程序需要进行多个步骤，其中包括创建ConfigMap、Secret和Deployment等对象。但是，使用Helm这样的基于Kubernetes的包管理器，可以将所有这些操作打包成一个Chart，从而简化了应用程序的部署流程和管理。

使用Helm进行包管理的前提是已经有一套可以正常运行的Kubernetes集群，关于Kubernetes(k8s)集群的安装部署，可以查看博客《Centos7 安装部署Kubernetes(k8s)集群》https://www.cnblogs.com/renshengdezheli/p/16686769.html。

三.包管理工具Helm简介

Helm是一个基于Kubernetes的包管理器，它由两部分组成：Helm客户端和Tiller服务器。Helm客户端从称为Chart Repositories的位置获取预配置的Charts，然后使用Tiller将它们安装到Kubernetes集群中。

Helm是一个开源项目，旨在简化Kubernetes应用程序的安装和部署。它允许您将应用程序打包为一个称为Chart的可重复的包，并在Kubernetes集群中部署和管理这些应用程序。

具体来说，Helm解决了以下问题：

将Kubernetes应用程序打包到chart中，使其易于分享和重用。
管理应用程序依赖关系，因此不需要手动下载或配置库。
轻松升级应用程序，通过使用helm upgrade命令，在没有任何停机时间的情况下更新已部署的应用程序。
通过使用helm rollback命令，回滚到以前的版本，以防出现故障。
在不同的Kubernetes集群之间轻松移植应用程序。

Kubernetes的Helm Chart是一种用于部署应用程序的包管理器，允许用户描述、安装和升级复杂的应用程序。它是一个预定义模板的集合，这些模板描述了在Kubernetes中运行应用程序所需的所有资源，如Pod、Service、Ingress、ConfigMap等。

每个Chart都描述了一个Kubernetes资源的集合，例如一个应用程序或数据库。Chart中包含最终用户所需的所有信息，如Docker镜像名称、端口号和环境变量等。通过使用Helm，我们可以更轻松地部署和管理Kubernetes应用程序。

Helm Chart由多个文件组成，其中包括：

Chart.yaml：定义了当前Chart的版本、名称、描述和依赖项。
values.yaml：包含了指定Chart的默认值或者用户自定义的值。
templates目录：包含了要在Kubernetes中部署的所有资源定义文件。

使用Helm Chart可以帮助用户避免手动创建资源的复杂性和重复性，使得应用程序的部署更加容易和快速，并且支持在不同的环境中轻松地重现相同的配置。此外，还可以通过命令行修改values.yaml中的值来定制化每个Chart实例的特定配置。

四.安装部署helm

创建放helm文件的目录。

[root@k8scloude1 ~]# mkdir helm

[root@k8scloude1 ~]# cd helm/

创建helm命名空间。

[root@k8scloude1 helm]# kubectl create ns helm
namespace/helm created

切换命名空间。

[root@k8scloude1 helm]# kubens helm
Context "kubernetes-admin@kubernetes" modified.
Active namespace is "helm".

下载最新版的 helm，下载地址为： https://github.com/helm/helm/releases，提前下载所需要的文件 helm-v3.8.0-linux-amd64.tar.gz 及对应的 checksum 文件。

[root@k8scloude1 helm]# ls
helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256sum

下载安装 helm 的脚本。

[root@k8scloude1 helm]# curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 > get
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 11156  100 11156    0     0  10041      0  0:00:01  0:00:01 --:--:-- 10041

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256sum

因为此脚本会自动到互联网去下载最新版的 helm，所以我们需要修改此脚本以实现使用本地已经下载好的 helm 文件。主要修改如下三个地方，因为我们已经下载的 helm 版本是 v3.8.0 版本，所以先修改 get 文件直接指定 helm 的版本为v3.8.0：在 get 103~105 行里 checkDesiredVersion 函数，改为下面内容：

[root@k8scloude1 helm]# vim get 

103	checkDesiredVersion() {
104	    TAG=v3.8.0
 105	}

126	downloadFile() {
   127	  HELM_DIST="helm-$TAG-$OS-$ARCH.tar.gz"
   128	  DOWNLOAD_URL="https://get.helm.sh/$HELM_DIST"
   129	  CHECKSUM_URL="$DOWNLOAD_URL.sha256"
   130	  HELM_TMP_ROOT="$(mktemp -dt helm-installer-XXXXXX)"
   131	  HELM_TMP_FILE="$HELM_TMP_ROOT/$HELM_DIST"
   132	  HELM_SUM_FILE="$HELM_TMP_ROOT/$HELM_DIST.sha256"
   133	  echo "Downloading $DOWNLOAD_URL"
   134	  cp helm-v3.8.0* $HELM_TMP_ROOT
   135	}

161	verifyChecksum() {
   162	  printf "Verifying checksum... "
   163	  local sum=$(openssl sha1 -sha256 ${HELM_TMP_FILE} | awk '{print $2}')
   164	  local expected_sum=$(cat ${HELM_SUM_FILE})
   165	  echo "Done."
   166	}

赋予可执行权限。

[root@k8scloude1 helm]# chmod +x get 

[root@k8scloude1 helm]# ll 
总用量 13324
-rwxr-xr-x 1 root root    10177 2月  19 16:09 get
-rw-r--r-- 1 root root 13626774 2月  19 15:55 helm-v3.8.0-linux-amd64.tar.gz
-rw-r--r-- 1 root root       97 2月  19 15:56 helm-v3.8.0-linux-amd64.tar.gz.sha256sum

重命名checksum文件。

[root@k8scloude1 helm]# cp helm-v3.8.0-linux-amd64.tar.gz.sha256sum helm-v3.8.0-linux-amd64.tar.gz.sha256

[root@k8scloude1 helm]# ll -h
总用量 14M
-rwxr-xr-x 1 root root 10K 2月  19 16:09 get
-rw-r--r-- 1 root root 13M 2月  19 15:55 helm-v3.8.0-linux-amd64.tar.gz
-rw-r--r-- 1 root root  97 2月  19 16:11 helm-v3.8.0-linux-amd64.tar.gz.sha256
-rw-r--r-- 1 root root  97 2月  19 15:56 helm-v3.8.0-linux-amd64.tar.gz.sha256sum

运行 get。

[root@k8scloude1 helm]# ./get 
Downloading https://get.helm.sh/helm-v3.8.0-linux-amd64.tar.gz
Verifying checksum... Done.
Preparing to install helm into /usr/local/bin
helm installed into /usr/local/bin/helm
[root@k8scloude1 helm]# helm version
version.BuildInfo{Version:"v3.8.0", GitCommit:"d14138609b01886f544b2025f5000351c9eb092e", GitTreeState:"clean", GoVersion:"go1.17.5"}

helm安装成功。

[root@k8scloude1 helm]# ls /usr/local/bin/helm 
/usr/local/bin/helm

五.配置helm以及helm常用命令

helm默认不支持tab键自动补全命令，配置helm自动补全。

[root@k8scloude1 helm]# vim /etc/profile

#在/etc/profile里添加source <(helm completion bash)
[root@k8scloude1 helm]# grep helm /etc/profile
source <(helm completion bash)

[root@k8scloude1 helm]# source /etc/profile

查看helm版本，现在就可以自动补全命令了。

[root@k8scloude1 helm]# helm version 
version.BuildInfo{Version:"v3.8.0", GitCommit:"d14138609b01886f544b2025f5000351c9eb092e", GitTreeState:"clean", 
GoVersion:"go1.17.5"}

查看helm现在的仓库源。

[root@k8scloude1 helm]# helm repo list
Error: no repositories to show

添加微软的源。

[root@k8scloude1 helm]# helm repo add azure http://mirror.azure.cn/kubernetes/charts/
"azure" has been added to your repositories

添加阿里的源。

[root@k8scloude1 helm]# helm repo add ali https://apphub.aliyuncs.com
"ali" has been added to your repositories

查看helm现在的仓库源。

[root@k8scloude1 helm]# helm repo list
NAME 	URL                                      
azure	http://mirror.azure.cn/kubernetes/charts/
ali  	https://apphub.aliyuncs.com

删除仓库源并重新添加。

[root@k8scloude1 helm]# helm repo rm ali
"ali" has been removed from your repositories

[root@k8scloude1 helm]# helm repo list
NAME 	URL                                      
azure	http://mirror.azure.cn/kubernetes/charts/

[root@k8scloude1 helm]# helm repo add ali https://apphub.aliyuncs.com
"ali" has been added to your repositories

[root@k8scloude1 helm]# helm repo list
NAME 	URL                                      
azure	http://mirror.azure.cn/kubernetes/charts/
ali  	https://apphub.aliyuncs.com

在仓库里搜索可用的mysql。

[root@k8scloude1 helm]# helm search repo mysql
NAME                           	CHART VERSION	APP VERSION	DESCRIPTION                                       
ali/mysql                      	6.8.0        	8.0.19     	Chart to create a Highly available MySQL cluster  
ali/mysqldump                  	2.6.0        	2.4.1      	A Helm chart to help backup MySQL databases usi...
ali/mysqlha                    	1.0.0        	5.7.13     	MySQL cluster with a single master and zero or ...
ali/prometheus-mysql-exporter  	0.5.2        	v0.11.0    	A Helm chart for prometheus mysql exporter with...
azure/mysql                    	1.6.9        	5.7.30     	DEPRECATED - Fast, reliable, scalable, and easy...
......              
azure/mariadb                  	7.3.14       	10.3.22    	DEPRECATED Fast, reliable, scalable, and easy t...

下载一个mariadb。

[root@k8scloude1 helm]# helm pull ali/mariadb

六.使用helm安装应用

先下载一个nginx。

[root@k8scloude1 helm]# helm pull ali/nginx

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum    nginx-5.1.5.tgz

解压nginx。

[root@k8scloude1 helm]# tar xf nginx-5.1.5.tgz

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum    nginx  nginx-5.1.5.tgz

查看nginx目录。

[root@k8scloude1 helm]# cd nginx/

[root@k8scloude1 nginx]# ls
Chart.yaml  ci  README.md  templates  values.schema.json  values.yaml

安装nginx。

[root@k8scloude1 nginx]# helm install nginx .
NAME: nginx
LAST DEPLOYED: Sat Feb 19 17:26:36 2022
NAMESPACE: helm
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Get the NGINX URL:

  NOTE: It may take a few minutes for the LoadBalancer IP to be available.
        Watch the status with: 'kubectl get svc --namespace helm -w nginx'

  export SERVICE_IP=$(kubectl get svc --namespace helm nginx --template "{{ range (index .status.loadBalancer.ingress 0) }}{{.}}{{ end }}")
  echo "NGINX URL: http://$SERVICE_IP/"

可以看到Nginx安装成功，pod和svc都自动创建好了。

[root@k8scloude1 nginx]# kubectl get pod -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
nginx-847f49b454-7bjdt   1/1     Running   0          38s   10.244.112.145   k8scloude2   <none>           <none>

[root@k8scloude1 nginx]# kubectl get svc --namespace helm -w nginx
NAME    TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                      AGE
nginx   LoadBalancer   10.109.104.128   192.168.110.190   80:30683/TCP,443:30462/TCP   53s

^C[root@k8scloude1 nginx]# kubectl get svc -o wide
NAME    TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                      AGE   SELECTOR
nginx   LoadBalancer   10.109.104.128   192.168.110.190   80:30683/TCP,443:30462/TCP   67s   app.kubernetes.io/instance=nginx,app.kubernetes.io/name=nginx

nginx可以正常访问。

[root@k8scloude1 nginx]# curl 192.168.110.190
<!DOCTYPE html>
<html>
......
<h1>Welcome to nginx!</h1>
......
<p><em>Thank you for using nginx.</em></p>
</body>
</html>

查看已经安装了的应用。

[root@k8scloude1 nginx]# helm ls
NAME 	NAMESPACE	REVISION	UPDATED                               	STATUS  	CHART      	APP VERSION
nginx	helm     	1       	2022-02-19 17:26:36.31742504 +0800 CST	deployed	nginx-5.1.5	1.16.1

删除nginx，对应的pod和svc都被删除了。

[root@k8scloude1 nginx]# helm delete nginx
release "nginx" uninstalled

[root@k8scloude1 nginx]# helm ls
NAME	NAMESPACE	REVISION	UPDATED	STATUS	CHART	APP VERSION

[root@k8scloude1 nginx]# kubectl get svc -o wide
No resources found in helm namespace.

[root@k8scloude1 nginx]# kubectl get pod -o wide
No resources found in helm namespace.

返回目录。

[root@k8scloude1 nginx]# pwd
/root/helm/nginx

[root@k8scloude1 nginx]# cd ../

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum   nginx  nginx-5.1.5.tgz

如果是在nginx目录外面，则这样安装nginx。

[root@k8scloude1 helm]# helm install nginx nginx
NAME: nginx
LAST DEPLOYED: Sat Feb 19 17:33:13 2022
NAMESPACE: helm
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Get the NGINX URL:

  NOTE: It may take a few minutes for the LoadBalancer IP to be available.
        Watch the status with: 'kubectl get svc --namespace helm -w nginx'

  export SERVICE_IP=$(kubectl get svc --namespace helm nginx --template "{{ range (index .status.loadBalancer.ingress 0) }}{{.}}{{ end }}")
  echo "NGINX URL: http://$SERVICE_IP/"

成功安装Nginx，pod和svc都自动创建好了。

[root@k8scloude1 helm]# helm ls
NAME 	NAMESPACE	REVISION	UPDATED                                	STATUS  	CHART      	APP VERSION
nginx	helm     	1       	2022-02-19 17:33:13.542578135 +0800 CST	deployed	nginx-5.1.5	1.16.1     

[root@k8scloude1 helm]# kubectl get pod -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
nginx-847f49b454-fb9kn   1/1     Running   0          19s   10.244.112.146   k8scloude2   <none>           <none>

[root@k8scloude1 helm]# kubectl get svc -o wide
NAME    TYPE           CLUSTER-IP      EXTERNAL-IP       PORT(S)                      AGE   SELECTOR
nginx   LoadBalancer   10.97.175.212   192.168.110.190   80:30373/TCP,443:32731/TCP   25s   app.kubernetes.io/instance=nginx,app.kubernetes.io/name=nginx

删除nginx，对应的pod和svc都被删除了。

[root@k8scloude1 helm]# helm delete nginx
release "nginx" uninstalled

[root@k8scloude1 helm]# kubectl get svc -o wide
No resources found in helm namespace.

[root@k8scloude1 helm]# kubectl get pod -o wide
No resources found in helm namespace.

七.搭建helm私有仓库

删除压缩包nginx-5.1.5.tgz 。

[root@k8scloude1 helm]# pwd
/root/helm

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum    nginx  nginx-5.1.5.tgz

[root@k8scloude1 helm]# rm -rf nginx-5.1.5.tgz

打包nginx。

[root@k8scloude1 helm]# helm package nginx/
Successfully packaged chart and saved it to: /root/helm/nginx-5.1.5.tgz

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum  mariadb  mariadb-7.3.9.tgz  mysql  mysql-6.8.0.tgz  nginx  nginx-5.1.5.tgz

建立一个索引文件，索引文件记录了这个chart应该放在哪里？--url指定仓库。

[root@k8scloude1 helm]# helm repo index . --url http://192.168.110.129/mycharts

[root@k8scloude1 helm]# ls
get  helm-v3.8.0-linux-amd64.tar.gz  helm-v3.8.0-linux-amd64.tar.gz.sha256  helm-v3.8.0-linux-amd64.tar.gz.sha256sum  index.yaml  mariadb  mariadb-7.3.9.tgz  mysql  mysql-6.8.0.tgz  nginx  nginx-5.1.5.tgz

[root@k8scloude1 helm]# cat index.yaml 
apiVersion: v1
entries:
  mariadb:
  - apiVersion: v1
    appVersion: 10.3.22
    created: "2022-02-19T19:22:41.80690689+08:00"
    description: Fast, reliable, scalable, and easy to use open-source relational
      database system. MariaDB Server is intended for mission-critical, heavy-load
  ......
    - email: containers@bitnami.com
      name: Bitnami
    name: nginx
    sources:
    - https://github.com/bitnami/bitnami-docker-nginx
    urls:
    - http://192.168.110.129/mycharts/nginx-5.1.5.tgz
    version: 5.1.5
generated: "2022-02-19T19:22:41.805118188+08:00"

使用Nginx镜像在192.168.110.129上创建一个容器，用来作为helm仓库，-p进行端口映射，-v进行目录映射，关于docker容器的详细操作可以查看博客《一文搞懂docker容器基础：docker镜像管理，docker容器管理》。

[root@k8scloude2 ~]# docker run -dit --name=nginx --restart=always -p 80:80 -v /mycharts:/usr/share/nginx/html/mycharts nginx
ea7cd28f6dd8477f9666e13523076106f210bb10c0d754e2fcaa3c230bdb7180

查询80端口，可以看到80端口已经被监听。

[root@k8scloude2 ~]# netstat -antup | grep 80
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2926/docker-proxy   
tcp6       0      0 :::80                   :::*                    LISTEN      2932/docker-proxy

把打包好的nginx和索引文件传过去。

[root@k8scloude1 helm]# scp nginx-5.1.5.tgz index.yaml 192.168.110.129:/mycharts
root@192.168.110.129's password: 
nginx-5.1.5.tgz                                                                                                                                                                 100% 9548     2.9MB/s   00:00    
index.yaml                                                                                                                                                                      100% 2355     2.1MB/s   00:00

文件被传了过来，因为做了目录映射，文件已经在docker容器里了。

[root@k8scloude2 ~]# ls /mycharts/
index.yaml  nginx-5.1.5.tgz

[root@k8scloude2 ~]# docker exec -it nginx ls /usr/share/nginx/html/mycharts
index.yaml  nginx-5.1.5.tgz

添加我们自定义的helm 源，http://192.168.110.129/mycharts 就是我们的仓库地址。

[root@k8scloude1 helm]# helm repo add myhelmrepo http://192.168.110.129/mycharts
"myhelmrepo" has been added to your repositories

查看现有的仓库源。

[root@k8scloude1 helm]# helm repo list
NAME      	URL                                      
azure     	http://mirror.azure.cn/kubernetes/charts/
ali       	https://apphub.aliyuncs.com              
myhelmrepo	http://192.168.110.129/mycharts

在仓库里搜索可用的nginx，myhelmrepo/nginx这个我们私有仓库里的包也被搜索出来了。

[root@k8scloude1 helm]# helm search repo nginx
NAME                        	CHART VERSION	APP VERSION         	DESCRIPTION                                       
ali/nginx                   	5.1.5        	1.16.1              	Chart for the nginx server                        
ali/nginx-ingress           	1.30.3       	0.28.0              	An nginx Ingress controller that uses ConfigMap...
......
azure/nginx-lego            	0.3.1        	                    	Chart for nginx-ingress-controller and kube-lego  
myhelmrepo/nginx            	5.1.5        	1.16.1              	Chart for the nginx server                        
azure/gcloud-endpoints      	0.1.2        	1                   	DEPRECATED Develop, deploy, protect and monitor...

直接安装我们自定义仓库里的nginx。

[root@k8scloude1 helm]# helm install nginx myhelmrepo/nginx
NAME: nginx
LAST DEPLOYED: Sat Feb 19 19:29:46 2022
NAMESPACE: helm
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Get the NGINX URL:

  NOTE: It may take a few minutes for the LoadBalancer IP to be available.
        Watch the status with: 'kubectl get svc --namespace helm -w nginx'

  export SERVICE_IP=$(kubectl get svc --namespace helm nginx --template "{{ range (index .status.loadBalancer.ingress 0) }}{{.}}{{ end }}")
  echo "NGINX URL: http://$SERVICE_IP/"

成功安装Nginx，pod和svc都自动创建好了。

[root@k8scloude1 helm]# kubectl get pod -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
nginx-847f49b454-bthlz   0/1     Running   0          10s   10.244.112.148   k8scloude2   <none>           <none>

[root@k8scloude1 helm]# kubectl get svc -o wide
NAME    TYPE           CLUSTER-IP      EXTERNAL-IP       PORT(S)                      AGE   SELECTOR
nginx   LoadBalancer   10.108.203.94   192.168.110.190   80:31653/TCP,443:30585/TCP   14s   app.kubernetes.io/instance=nginx,app.kubernetes.io/name=nginx

删除nginx，对应的pod和svc都被删除了。

[root@k8scloude1 helm]# helm delete nginx
release "nginx" uninstalled

[root@k8scloude1 helm]# kubectl get svc -o wide
No resources found in helm namespace.

[root@k8scloude1 helm]# kubectl get pod -o wide
No resources found in helm namespace.

[root@k8scloude1 helm]# helm ls
NAME	NAMESPACE	REVISION	UPDATED	STATUS	CHART	APP VERSION

八.总结

本文介绍了Helm的基本使用方法，以及如何使用它来管理Kubernetes应用程序。通过Helm，我们可以更轻松地部署和管理Kubernetes应用程序。

相关阅读:
docker之数据卷(Data Volumes)&dockerfile
打造属于自己的vue图标库
 渲染器——双端Diff算法
 B3623枚举排列
 暂定名「码道功成：Coder启示录」
vue项目生产环境隐藏暴露的代码_源码
 【尚硅谷React】——React全家桶笔记
 Go的安装
 mysql基于Spring boot开发电子宿舍管理系统毕业设计源码132056
swig教程-指令文件《一》
原文地址：https://www.cnblogs.com/renshengdezheli/p/17480603.html