• 总结：Prometheus存储

    一、介绍

    prometheus 提供了本地存储（TSDB）时序型数据库的存储方式，在2.0版本之后，压缩数据的能力得到了大大的提升（每个采样数据仅仅占用3.5byte左右空间），单节点情况下可以满足大部分用户的需求，但本地存储阻碍了prometheus集群化的实现，因此在集群中应当采用 其他时序性数据来替代，比如influxdb。

    prometheus 分为三个部分，分别是：抓取数据、存储数据和查询数据。

    在早期有一个单独的项目叫做 TSDB，但是，在2.1.x的某个版本，已经不单独维护这个项目了，直接将这个项目合并到了prometheus的主干上了。

    二、案例

    我们的prometheus目前申请了三个文件系统NFS，托管集群存在一个文件系统，QKE集群存在另一个文件系统，单都是存储到云端（StorageClass）。

    存储的方式：每个prometheus实例对应一个目录，如果有多个prometheus实例，则对应多个目录。

    另外，注意，每个文件系统对应一个StorageClass自由对象。

    以prometheus托管集群为例，如下是创建StorageClass

     关键的两个文件：

    创建StorageClass资源对象：

    1. kind: StorageClass
    2. apiVersion: storage.k8s.io/v1
    3. metadata:
    4.   name: prometheus-data-03
    5. provisioner: prometheus-data-03/nfs
    6. reclaimPolicy: Retain

    创建StorageClass后，还需要K8S存储插件进行真正的存储工作：

    nfs-client-provisioner 可动态为kubernetes提供pv卷，是Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储。持久卷目录的命名规则为:${namespace}-${pvcName}-${pvName}。

    树莓派k8s集群安装nfs-client-provisioner_崔一凡的技术博客_51CTO博客

    1. kind: Deployment
    2. apiVersion: apps/v1
    3. metadata:
    4.   name: nfs-provisioner-03
    5. spec:
    6.   selector:
    7.     matchLabels:
    8.       app: nfs-provisioner-03
    9.   replicas: 1
    10.   strategy:
    11.     type: Recreate
    12.   template:
    13.     metadata:
    14.       labels:
    15.         app: nfs-provisioner-03
    16.     spec:
    17.       serviceAccount: nfs-provisioner
    18.       containers:
    19.         - name: nfs-provisioner
    20.           image: docker-registry.xxx.virtual/hubble/nfs-client-provisioner:v3.1.0-k8s1.11
    21.           volumeMounts:
    22.             - name: nfs-client-root
    23.               mountPath: /persistentvolumes
    24.           env:
    25.             - name: PROVISIONER_NAME
    26.               value: prometheus-data-03/nfs
    27.             - name: NFS_SERVER
    28.               value: hubble-587ceb02-5e85e802.cnhz1.qfs.xxx.storage
    29.             - name: NFS_PATH
    30.               value: /hubble-wuhan-lkg
    31.       volumes:
    32.         - name: nfs-client-root
    33.           nfs:
    34.             server: hubble-587ceb02-5e85e802.cnhz1.qfs.xxx.storage
    35.             path: /hubble-wuhan-lkg

    上面的server地址其实就是云存储那边提供的地址：

    部署prometheus：

    1. kind: Service
    2. apiVersion: v1
    3. metadata:
    4.   name: prometheus-headless
    5.   namespace: example-nfs
    6.   labels:
    7.     app.kubernetes.io/name: prometheus
    8. spec:
    9.   type: ClusterIP
    10.   clusterIP: None
    11.   selector:
    12.     app.kubernetes.io/name: prometheus
    13.   ports:
    14.   - name: web
    15.     protocol: TCP
    16.     port: 9090
    17.     targetPort: web
    18.   - name: grpc
    19.     port: 10901
    20.     targetPort: grpc
    21. ---
    22.  
    23. apiVersion: v1
    24. kind: ServiceAccount
    25. metadata:
    26.   name: prometheus
    27.   namespace: example-nfs
    28.  
    29. ---
    30.  
    31. apiVersion: rbac.authorization.k8s.io/v1beta1
    32. kind: ClusterRoleBinding
    33. metadata:
    34.   name: prometheus-example-nfs
    35. subjects:
    36.   - kind: ServiceAccount
    37.     name: prometheus
    38.     namespace: example-nfs
    39. roleRef:
    40.   kind: ClusterRole
    41.   name: prometheus
    42.   apiGroup: rbac.authorization.k8s.io
    43. ---
    44.  
    45. apiVersion: apps/v1
    46. kind: StatefulSet
    47. metadata:
    48.   name: prometheus
    49.   namespace: example-nfs
    50.   labels:
    51.     app.kubernetes.io/name: prometheus
    52. spec:
    53.   serviceName: prometheus-headless
    54.   podManagementPolicy: Parallel
    55.   replicas: 2
    56.   selector:
    57.     matchLabels:
    58.       app.kubernetes.io/name: prometheus
    59.   template:
    60.     metadata:
    61.       labels:
    62.         app.kubernetes.io/name: prometheus
    63.     spec:
    64.       serviceAccountName: prometheus
    65.       securityContext:
    66.         fsGroup: 1000
    67.         runAsUser: 0
    68.       affinity:
    69.         podAntiAffinity:
    70.           requiredDuringSchedulingIgnoredDuringExecution:
    71.           - labelSelector:
    72.               matchExpressions:
    73.               - key: app.kubernetes.io/name
    74.                 operator: In
    75.                 values:
    76.                 - prometheus
    77.             topologyKey: kubernetes.io/hostname
    78.       containers:
    79.       - name: prometheus
    80.         image: docker-registry.xxx.virtual/hubble/prometheus:v2.34.0
    81.         args:
    82.         - --config.file=/etc/prometheus/config_out/prometheus.yaml
    83.         - --storage.tsdb.path=/prometheus
    84.         - --storage.tsdb.retention.time=30d
    85.         - --web.external-url=/example-nfs/prometheus
    86.         - --web.enable-lifecycle
    87.         - --storage.tsdb.no-lockfile
    88.         - --storage.tsdb.min-block-duration=2h
    89.         - --storage.tsdb.max-block-duration=1d
    90.         ports:
    91.         - containerPort: 9090
    92.           name: web
    93.           protocol: TCP
    94.         livenessProbe:
    95.           failureThreshold: 6
    96.           httpGet:
    97.             path: /example-nfs/prometheus/-/healthy
    98.             port: web
    99.             scheme: HTTP
    100.           periodSeconds: 5
    101.           successThreshold: 1
    102.           timeoutSeconds: 3
    103.         readinessProbe:
    104.           failureThreshold: 120
    105.           httpGet:
    106.             path: /example-nfs/prometheus/-/ready
    107.             port: web
    108.             scheme: HTTP
    109.           periodSeconds: 5
    110.           successThreshold: 1
    111.           timeoutSeconds: 3
    112.         resources:
    113.           requests:
    114.             memory: 1Gi
    115.           limits:
    116.             memory: 30Gi
    117.         volumeMounts:
    118.         - mountPath: /etc/prometheus/config_out
    119.           name: prometheus-config-out
    120.           readOnly: true
    121.         - mountPath: /prometheus
    122.           name: prometheus-storage
    123.         - mountPath: /etc/prometheus/rules
    124.           name: prometheus-rules
    125.       - name: thanos
    126.         image: docker-registry.xxx.virtual/hubble/thanos:v0.25.1
    127.         args:
    128.         - sidecar
    129.         - --tsdb.path=/prometheus
    130.         - --prometheus.url=http://127.0.0.1:9090/example-nfs/prometheus
    131.         - --reloader.config-file=/etc/prometheus/config/prometheus.yaml.tmpl
    132.         - --reloader.config-envsubst-file=/etc/prometheus/config_out/prometheus.yaml
    133.         - --reloader.rule-dir=/etc/prometheus/rules/
    134.         env:
    135.         - name: POD_NAME
    136.           valueFrom:
    137.             fieldRef:
    138.               fieldPath: metadata.name
    139.         ports:
    140.         - name: http-sidecar
    141.           containerPort: 10902
    142.         - name: grpc
    143.           containerPort: 10901
    144.         livenessProbe:
    145.             httpGet:
    146.               port: 10902
    147.               path: /-/healthy
    148.         readinessProbe:
    149.           httpGet:
    150.             port: 10902
    151.             path: /-/ready
    152.         volumeMounts:
    153.         - name: prometheus-config-tmpl
    154.           mountPath: /etc/prometheus/config
    155.         - name: prometheus-config-out
    156.           mountPath: /etc/prometheus/config_out
    157.         - name: prometheus-rules
    158.           mountPath: /etc/prometheus/rules
    159.         - name: prometheus-storage
    160.           mountPath: /prometheus
    161.       volumes:
    162.       - name: prometheus-config-tmpl
    163.         configMap:
    164.           defaultMode: 420
    165.           name: prometheus-config-tmpl
    166.       - name: prometheus-config-out
    167.         emptyDir: {}
    168.       - name: prometheus-rules
    169.         configMap:
    170.           name: prometheus-rules
    171.   volumeClaimTemplates:
    172.   - metadata:
    173.       name: prometheus-storage
    174.       labels:
    175.         app.kubernetes.io/name: prometheus
    176.     spec:
    177.       storageClassName: prometheus-data-03
    178.       accessModes:
    179.       - ReadWriteOnce
    180.       volumeMode: Filesystem
    181.       resources:
    182.         requests:
    183.           storage: 100Gi
    184.         limits:
    185.           storage: 300Gi

    --storage.tsdb.min-block-duration：控制数据落盘的时间，即最小落盘时间是2小时

    --storage.tsdb.min-block-duration：控制数据落盘的时间，即最大落盘时间是1天

    --storage.tsdb.retention.time配置本地保留30天数据，减少空间占用；
     

    如上，volumeClaimTemplates即是定义一个PVC，如何创建PV呢？使用StorageClass定义的模板去创建PV。

    那么prometheus查询数据的时候是怎么查的呢？

    其实对于prometheus来说，就是从prometheus这个实例提供的接口查询数据而已，和普通的容器一样，不管是云存储还是node存储或是其他存储，对于容器来说是透明的，都是从挂载到的目录去查询，所以远端对于prometheus来说就是查本地的目录文件。

    三、存储原理

    prometheus将采集到的样本以时间序列的方式保存在内存（TSDB 时序数据库）中，并定时保存到硬盘中。

    与zabbix不同，zabbix会保存所有的数据，而prometheus本地存储会保存15天，超过15天以上的数据将会被删除，若要永久存储数据，有两种方式：

    • 方式一：修改prometheus的配置参数“storage.tsdb.retention.time=10000d”；
    • 方式二：将数据引入存储到Influcdb中。

    prometheus按照block块的方式来存储数据，每2小时为一个时间单位，首先会存储到内存中，当到达2小时后，会自动写入磁盘中。

    为防止程序异常而导致数据丢失，采用了WAL机制，即2小时内记录的数据存储在内存中的同时，还会记录一份日志，存储在block下的wal目录中。当程序再次启动时，会将wal目录中的数据写入对应的block中，从而达到恢复数据的效果。

    当删除数据时，删除条目会记录在tombstones 中，而不是立刻删除。

    prometheus采用的存储方式称为“时间分片”，每个block都是一个独立的数据库。优势是可以提高查询效率，查哪个时间段的数据，只需要打开对应的block即可，无需打开多余数据。

    四、数据备份

    1、完全备份

    　　备份prometheus的data目录可以达到完全备份的目的，但效率较低。

    2、快照备份

    prometheus提供了一个功能，是通过API的方式，快速备份数据。实现方式：

    • 首先，修改prometheus的启动参数，新增以下两个参数：
    1. --storage.tsdb.path=/usr/local/share/prometheus/data \
    2. --web.enable-admin-api
    • 然后，重启prometheus
    • 最后，调用接口备份：
    1. # 不跳过内存中的数据，即同时备份内存中的数据
    2. curl -XPOST http://127.0.0.1:9090/api/v2/admin/tsdb/snapshot?skip_head=false
    3. # 跳过内存中的数据
    4. curl -XPOST http://127.0.0.1:9090/api/v2/admin/tsdb/snapshot?skip_head=true

     skip_head作用：是否跳过存留在内存中还未写入磁盘中的数据，仍在block块中的数据， 默认是false

    五、数据还原

    利用api方式制作成snapshot后，还原时将snapshot中的文件覆盖到data目录下，重启prometheus即可！

    添加定时备份任务（每周日3点备份）

    1. crontable -e                              #注意时区，修改完时区后，需要重启 crontab    systemctl  restart cron
    2.  
    3. 0 3 * * 7 sudo /usr/bin/curl -XPOST -I http://127.0.0.1:9090/api/v1/admin/tsdb/snapshot >> /home/bill/prometheusbackup.log

  • 相关阅读:
    MySQL基础学习总结（三）
    软件定义汽车，通信连接世界 | 2024汽车软件与通信大会开幕
    OKHttp
    java计算机毕业设计ssm智慧农贸信息化管理平台(源码+系统+mysql数据库+Lw文档）
    【附源码】计算机毕业设计SSM图书销售系统设计
    【异常检测】数据挖掘领域常用异常检测算法总结以及原理解析（一）
    Spring Security整合企业微信的扫码登录，企微的API震惊到我了
    [附源码]计算机毕业设计JAVAjsp宾馆客房管理系统
    vue3 - 开发和生产环境通过Mock模拟真实接口请求
    SPA（单页应用）首屏加载速度慢怎么解决？
  • 原文地址：https://blog.csdn.net/w2009211777/article/details/126014725