k8s的Helm

---

引言

● kubernetes上的应用对象，都是由特定的资源描述组成，包括Deployment、Service等，都保存在各自文件中或者集中写在一个配置文件，然后通过kubectl apply -f 部署。如果应用只由一个或几个这样的服务组成，上面的部署方式就足够了。但是对于一个复杂的应用，会有很多类似上面的资源描述文件，例如微服务架构应用，组成应用的服务可能多达几十、上百个，如果有更新或回滚应用的需求，可能要修改和维护所涉及到大量的资源文件，而这种组织和管理应用的方式就显得力不从心了。并且由于缺少对发布过的应用进行版本管理和控制，使得kubernetes上的应用维护和更新面临诸多的挑战，主要面临以下的问题：

○ ①如何将这些服务作为一个整体管理？

○ ②这些资源文件如何高效复用？

○ ③应用级别的版本如何管理？

---

概述

● Helm是一个kubernetes的包管理工具，就像Linux下的包管理器，如yum、apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。

● Helm有3个重要概念：

○ helm：一个命令行客户端工具，主要用于kubernetes应用chart的创建、打包、发布和管理。

○ chart：应用描述，一系列用于描述kubernetes资源相关文件的集合。

○ release：基于chart的部署实体，一个chart被Helm运行后将会生成对应的一个release，将在kubernetes中创建出真实运行的资源对象。

核心是基于模板引擎技术，将配置文件模板化，配置变量全部抽取到一个yml文件中设置，便于管理，这里不懂没关系，看下面实际例子演示就明白了。

---

Helm v3变化

● 2019年11月13日，Helm团队发布Helm v3的第一个稳定版本。

● 该版本主要变化如下：

○ ①最明显的变化是Tiller删除。

○ ②release名称可以在不同的命名空间重用。

○ ③支持将chart推动到Docker镜像仓库中。

○ ④使用JSONSchema验证chart values。

○ ⑤其他。

---

Helm客户端

部署Helm客户端

• 下载Helm

wget https://get.helm.sh/helm-v3.2.1-linux-amd64.tar.gz
1

• 解压Helm到/usr/bin目录：

tar -zxvf helm-v3.2.1-linux-amd64.tar.gz
1

cd linux-amd64/
1

cp helm /usr/bin/
1

---

配置国内的chart仓库

仓库概述

● 微软仓库：http://mirror.azure.cn/kubernetes/charts，推荐，基本上官网上的chart这里都有。

● 阿里云仓库：https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts。

● 官方仓库：https://hub.kubeapps.com/charts/incubator，强烈不推荐。

---

添加仓库

添加仓库命令：

helm repo add 仓库名 仓库地址。
1

更新仓库命令：

helm repo update
1

示例：添加微软仓库，并更新仓库

helm repo add stable http://mirror.azure.cn/kubernetes/charts
1

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
1

helm repo update
1

---

删除存储库

helm repo remove 仓库名
1

---

查看配置的存储库

helm repo list
1

---

helm的常用命令

---

Helm基本使用

使用chart部署一个应用

根据关键字搜索chart

• 语法：

helm search repo|hub chart名称
1

• 示例：查询名为weave的chart

helm search repo weave
1

---

查看chart信息

• 语法：

helm show chart 仓库名/chart名称
1

• 示例：查看名为stable的仓库中的名为mysql的chart

helm show chart stable/mysql
1

---

安装chart，形成release

• 语法：

helm install 安装之后的名称 仓库名/chart的名称(即搜索之后的应用名称)
1

• 示例：安装stable/weave-scope，并将其命名为ui

helm install ui stable/weave-scope
1

---

查看release列表

语法：

helm list
1

示例：查看当前的release列表

helm list
1

---

查看已命名release的状态

语法：

helm status 安装之后的名称
1

示例：查看安装chart的release为ui的状态

helm status ui
1

---

查看Service，并将其改为NodePort

语法：

kubectl edit svc xxx
1

示例：查看Service，并将其改为NodePort

kubectl edit svc ui-weave-scope
1

---

安装前自定义chart配置选项

● 自定义选项是因为并不是所有的chart都能按照默认配置运行成功，可能会需要一些环境依赖，例如PV。

● 所以我们需要自定义chart配置选项，安装过程中有两种方法可以传递配置数据：

○ ①–values（或-f）：指定带有覆盖的YAML文件。这里可以多次指定，最右边的文件优先。

○ ②–set：在命令行上指定替代。如果两种都用，那么–set的优先级高。

---

–values的使用（不推荐，太麻烦）

安装可能报错，需要自己手动安装PV。

● 先将修改的变量写到一个文件中，并修改此文件。

helm show values stable/mysql > config.yaml
1

查看这个文件：

cat config.yaml
1

-- 修改部分
persistence:
  enabled: true
  accessMode: ReadWriteOnce
  size: 8Gi

mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
1
2
3
4
5
6
7
8
9

使用–values来替换默认的配置：

helm install -f config.yaml self-mysql stable/mysql
1

---

命令行替代变量（推荐）

helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql
1

---

构建一个Helm Chart

开发步骤

①使用helm create创建chart：

helm create chart名称
1

②进入自定义chart目录的templates目录中，修改其中的deployment.yaml和service.yaml等文件。

cd chart名称/templates
1

③通过刚才创建的chart目录，将其部署：

helm install xxx chart名称
1

④打包chart，让别人共享：

helm package chart名称
1

---

应用示例

● 示例：本人是在root目录下操作的

● 创建chart：

helm create nginx
1

进入chart目录，修改values.yaml文件，内容如下：

cd nginx
1

vim values.yaml
1

replicas: 3
image: nginx 
tag: 1.17 
serviceport: 80 
targetport: 80 
label: nginx
1
2
3
4
5
6

进入templates目录：

cd templates/
1

删除templates目录中的所有文件和文件夹：

rm -rf *
1

修改deployment.yaml文件，内容如下：

vim deployment.yaml
1

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }} 
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }} 
  selector:
    matchLabels:
      app: {{ .Values.label }} 
  strategy: {}
  template:
    metadata:
      labels:
        app: {{ .Values.label }} 
    spec:
      containers:
      - image: {{ .Values.image }}:{{ .Values.tag }} 
        name: {{ .Values.image }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

如果大家学过go语言的话，基本就可以一眼看出来，这里是使用go标准库提供的模板引擎技术实现的模板内容填充

修改service.yaml文件，内容如下：

vim service.yaml
1

apiVersion:   v1
kind: Service
metadata:
  labels:
    app: {{ .Values.label }} 
  name:  {{ .Release.Name }}
spec: 
  ports:
    -  port: {{ .Values.serviceport }} 
       protocol: TCP
       targetPort: {{ .Values.targetport }} 
  selector:
    app: {{ .Values.label }} 
  type: NodePort
1
2
3
4
5
6
7
8
9
10
11
12
13
14

切换到chart目录的上一层目录：

cd ~
1

安装应用：

helm install nginx nginx/
1

---

调试

• Helm也提供了–dry-run和–debug调试参数，帮助你验证模板的正确性。在执行helm install的时候带上这两个参数就可以把对应的values值和渲染的资源清单打印出来，而不是真正的做部署一个release。

示例：

helm install nginx nginx/ --dry-run --debug
1

---

内置对象

上面我们使用的{{ .Release.Name }}将release的名称插入到模板中，这里的Release就是Helm的内置对象，下面是一些常用的内置对象：

---

Values

● Values对象是为Chart模板提供值，这个对象的值有4个来源：

○ chart包中的values.yaml文件。

○ 父chart包的values.yaml文件。

○ 通过helm install或者helm upgrade的-f或者–values参数传入的自定义的yaml文件。

○ 通过–set参数传入的值。

● Chart的values.yaml提供的值可以被用户提供的values文件覆盖，而该文件同样可以被–set参数所覆盖，换言之，–set参数的优先级高。

---

升级、回滚和删除

升级

• 发布新版本的chart时，或者当我们需要更改发布的配置，可以使用helm upgrade命令：

helm upgrade --set imageTag=1.18 nginx nginx
1

helm upgrade -f values.yaml nginx nginx
1

---

回滚

如果在发布后没有达到预期的效果，则可以使用helm rollback回滚到之前的版本：

helm rollback nginx 1
1

---

卸载发行版本

卸载发行版本，可以使用helm uninstall命令：

helm uninstall nginx
1

---

查看历史版本配置信息

查看历史版本配置信息：

helm get all --revision 1 nginx
1

---

管道和函数

管道

在上面的案例中，其实是将值传递给模板引擎进行渲染，模板引擎还支持对拿到的数据进行二次处理。

示例：从.Values中读取的值变成字符串，可以使用quote函数实现。

vi templates/deployment.yaml
1

# 略
app: {{ quote  .Values.label.app    }}
# 略
1
2
3

这里涉及到go语言模板引擎技术提供的自定义模板函数支持，如果学过的小伙伴想必一下子就可以看出来

helm install --dry-run nginx ../nginx/ app:"nginx"
1

quote .Values.label.app将后面的值作为参数传递过quote函数。

模板函数调用语法为：functionName arg1 arg2…

---

default函数

● default函数运行在模板中指定默认值，以防止该值会忽略掉。如果忘记定义，执行helm install的时候会因为缺少字段而无法创建资源，这时就可以定义一个默认值了。

● 示例：

vim templates/deployment.yaml
1

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: {{ .Values.label }}
  strategy: {}
  template:
    metadata:
      labels:
        app: {{ .Values.label }}
    spec:
      containers:
      - image: {{ .Values.image| default "nginx" }}:{{ .Values.tag }}
        name: {{ .Values.image }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

---

其他函数

缩进函数：

{{ .Values.resources | indent 12 }}
1

大写：

{{ upper .Values.resources }}
1

首字母大写：

{{ title .Values.resources }}
1

---

流程控制

● 流程控制是为模板提供了一种能力，满足更复杂的数据逻辑处理。

● Helm模板语言提供以下流程控制语句：

○ if/else条件块。

○ with指定范围。

○ range循环块。

if/else

● if/else块是用于在模板有条件的包含文本块的方法，条件块的基本结构如下：

{{ if 条件表达式}}
# xxx
{{ else if 条件表达式}}
# xxx
{{ else }}
# xxx
{{ end }}
1
2
3
4
5
6
7

● 条件判断：就是判断条件是否为真，如果值为以下几种情况则为false，否则为true：

○ 一个布尔类型的false。

○ 一个数字0。

○ 一个空的字符串。

○ 一个空的集合（map、slice、tuple、dict、array）。

● 示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: {{ .Values.label }}
  strategy: {}
  template:
    metadata:
      labels:
        app: {{ .Values.label }}
    spec:
      containers:
        - image: {{ .Values.image| default "nginx" }}:{{ .Values.tag }}
          name: {{ .Values.image }}
          env:
            {{ if eq .Values.devops "k8s" }}
          - name : hello
            value: "123"
            {{ else }}
          - name : hello
            value: "456"
            {{ end }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

还可以使用ne、lt、gt、and、or等运算符。

建议可以去了解一下go标准库提供的模板引擎技术支持

通过模板引擎渲染一下，会得到如下的结果：

helm install --dry-run nginx nginx
1

可以看到渲染出来会有多余的空行，这是因为当模板引擎运行的时候，会将控制指令删除，所以之前占的位置也就空白了，需要使用{{- if …}}的方式消除此空行

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: {{ .Values.label }}
  strategy: {}
  template:
    metadata:
      labels:
        app: {{ .Values.label }}
    spec:
      containers:
        - image: {{ .Values.image| default "nginx" }}:{{ .Values.tag }}
          name: {{ .Values.image }}
          env:
            {{- if eq .Values.devops "k8s" }}
          - name : hello
            value: "123"
            {{- else }}
          - name : hello
            value: "456"
            {{- end }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

通过模板引擎渲染一下，会得到如下的结果：

helm install --dry-run nginx nginx
1

---

如果使用了{{- if … -}}那么就需要谨慎了，比如：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: {{ .Values.label }}
  strategy: {}
  template:
    metadata:
      labels:
        app: {{ .Values.label }}
    spec:
      containers:
        - image: {{ .Values.image| default "nginx" }}:{{ .Values.tag }}
          name: {{ .Values.image }}
          env:
            {{- if eq .Values.devops "k8s" -}}
          - name : hello
            value: "123"
            {{- else }}
          - name : hello
            value: "456"
            {{- end }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

通过模板引擎渲染一下，会得到如下的结果：

helm install --dry-run nginx nginx
1

---

相当于下面这种格式：

NAME: nginx
LAST DEPLOYED: Mon Jan 11 20:46:10 2021
NAMESPACE: default
STATUS: pending-install
REVISION: 1
TEST SUITE: None
HOOKS:
MANIFEST:
---
# Source: nginx/templates/service.yaml
apiVersion:   v1
kind: Service
metadata:
  labels:
    app: nginx 
  name:  nginx
spec: 
  ports:
    -  port: 80 
       protocol: TCP
       targetPort: 80 
  selector:
    app: nginx 
  type: NodePort
---
# Source: nginx/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  strategy: {}
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - image: nginx:1.17
          name: nginx
          env: - name: hello value: 123
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

当然不对，因为{{- if … -}}删除了双方的换行符。

---

range

● 在Helm模板语言中，使用range关键字来进行循环操作。

● 示例：

● 在values.yaml中添加一个变量列表

test:
  - 1 
  - 2 
  - 3
1
2
3
4

循环打印该列表：

apiVersion: v1 
kind: ConfigMap 
metadata:
  name:    {{   .Release.Name    }} 
data:
  test:    
    {{- range . Values.test }}
      {{   .    }}
    {{-   end   }}
1
2
3
4
5
6
7
8
9

---

with

● with可以用来控制变量作用域。

● 在前面我们使用{{ .Release.xxx }}或者{{ .Values.xxx }}，其中.就是表示对当前范围的引用，.values就是告诉模板在当前范围中查找Values对象的值。

● with语句就可以用来控制变量的作用域范围，其语法和一个简单的if语句类似：

{{ with 条件表达式 }}
# xxx
{{ end }}
1
2
3

● with语句可以允许将当前范围的.设置为特定的对象，比如我们前面一直使用的.Values.label，我们可以使用with来将.范围指向.Values.label。

● 示例：

● values.yaml

nodeSelector: 
  team: a 
  gpu:   yes
1
2
3

deployment.yaml

apiVersion:   apps/v1
kind:   Deployment 
metadata:
  name: {{ .Release.Name }}-deployment 
spec:
  replicas: 1 
  selector:
    matchLabels: 
      app: nginx
  template: 
    metadata:
      labels: 
        app: nginx
    spec:
      {{- with .Values.nodeSelector }}
      nodeSelector:
        team: {{  .team }}
        gpu: {{  .gpu  }}
      {{- end }}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

---

命名模板

● 需要复用代码的地方可以使用命名模板。

● 命名模板：使用define定义，template引入，在templates目录中默认下划线开头的文件为公共模板（比如_helpers.tpl）。

● 示例：

● _helpers.tpl：

{{-   define   "demo.fullname"   -}}
{{- .Chart.Name -}}-{{ .Release.Name }}
{{-   end   -}}
1
2
3

deployment.yaml

apiVersion:   apps/v1 
kind:   Deployment 
metadata:
  name:  {{   template"demo.fullname"   .    }}
# 其他略
1
2
3
4
5

template指令是将一个模板包含在另一个模板中的方法。但是，template函数不能用于Go模板管道，为了解决该问题，增加了include功能。

_helpers.tpl：

{{-   define   "demo.labels"    -}}
app:   {{   template"demo.fullname"   .   }}
chart:   "{{   .Chart.Name   }}-{{    .Chart.Version   }}" 
release:   "{{   .Release.Name   }}"
{{-   end   -}}
1
2
3
4
5

deployment.yaml

apiVersion:   apps/v1
kind:   Deployment 
metadata:
  name:    {{   include"demo.fullname"   .    }} 
  labels:
    {{-   include   "demo.labels"   .    |   nindent   4    }}
...
1
2
3
4
5
6
7

上面包含一个名为demo.labels的模板，然后将值 . 传递给模板，最后将该模板的 输出传递给nindent函数。

---

开发自己的chart

● 创建模板。
● 修改Chart.yaml，Values.yaml，添加常用的变量。
● 在templates目录下创建部署镜像所需要的yaml文件，并使用变量引用yaml文件里面经常变动的字段