Java之SpringCloud Alibaba【九】【Spring Cloud微服务Skywalking】

一、简介

1、skywalking是什么

skywalking是一个国产开源框架, 2015年由吴晟开源，2017年加入Apache孵化器。

skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器(Docker、 K8s、 Mesos) 架构而设计。

它是一款优秀的APM (Application Performance Management)工具,包括了分布式追踪、性能.
指标分析、应用和服务依赖分析等。

官网: http://skywalking.apache.org

下载: http://skywalking.apache.org/downloads/
Github: https://github.com/apache/skywalking
文档: https://skywalking.apache.org/docs/main/v8.4.0/readme/
中文文档: https://skyapm.github io/document-cn-translation-of-skywalking/

2、链路追踪框架对比

1. Zipkin是Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量,使用部署简单。

2. Pinpoint是韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件, UI功能强大,接入端无代码侵入。

3. SkyWalking是本士开源的基于字节码注入的调用链分析,以及应用监控分析工具。特点是支持多种插件, UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。

4. CAT是大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等-系列的监控平台工具。

3、性能对比

模拟了三种并发用户: 500, 750, 1000。使用jmeter测试, 每个线程发送30个请求，设置思考时间为10ms。使用的采样率为1,即100% ,这边与生产可能有差别。pinpoint默认的采样率为20，即50%,通过设置agent的配置文件改为100%。zipkin默认也是1。组合起来, -共有12种。

下面看下汇总表:

从上表可以看出，在三种链路监控组件中，skywalking的探针对吞吐量的影响最小，zipkin的吞吐量居中。pinpoint的探针对吞吐量的影响较为明显，在500并发用户时，测试服务的吞吐量从1385降低到774，影响很大。然后再看下CPU和memory的影响，在内部服务器进行的压测，对CPU和memory的影响都差不多在10%之内。

4、skywalking主要功能特性

1、多种监控手段,可以通过语言探针和service mesh获得监控的数据;
2、支持多种语言自动探针,包括Java, .NET Core和Node.JS;
3、轻量高效，无需大数据平台和大量的服务器资源;
4、模块化，UI、存储、集群管理都有多种机制可选;
5、支持告警;
6、优秀的可视化解决方案;

二、Skywalking环境搭建部署

• skywalking agent和业务系统绑定在一起， 负责收集各种监控数据
• Skywalking oapservice是 负责处理监控数据的,比如接受skywalking agent的监控数据，并存储在数据库中;接受skywalking webapp的前端请求,从数据库查询数据,并返回数据给前端。Skywalking oapservice通常以集群的形式存在。
• skywalking webapp,前端界面，用于展示数据。
• 用于存储监控数据的数据库，比如mysql、elasticsearch等。

1、下载skywalking

下载：http://skywalking.apache.org/downloads/

这里只能下载最新版本
我们在在这里下载旧版本：https://archive.apache.org/dist/skywalking/

解压


修改端口号

2、搭建skywalking OAP服务

启动
双击

启动成功后会启动两个服务，一个是skywalking-oap-server, 一个是skywalking-web-ui : 8868

skywalking-oap-server服务启动后会暴露11800和12800两个端口，分别为收集监控数据的端口11800和接受前端请求的端口12800,修改端口可以修改config/applicaiton.yml

访问：http://localhost:8868/

三、skywalking跨多个微服务跟踪（Windows环境在IDEA中使用skywalking）

# skywalking-agent.jar 的本地磁盘路径
-javaagent:D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
# 在skywalking上显示的服务名
-DSW_AGENT_NAME=api-gateway
# 在skywalking的controller的服务的IP以及端口
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
1
2
3
4
5
6

DSW_AGENT_COLLECTOR_BACKEND_SERVICES可以指定远程地址，但是-javaagent必须绑定你本机物理路径的skywalking-agent.jar
Skywalking跨多个微服务跟踪，只需要每个微服务启动时添加javaagent参数即可。
上述当中的jar路径

测试:
启动微服务mall-gateway, mall-order, mall-user ，配置skywalking的jvm参数

http://localhost:8888/user/findOrderByUserld/1

四、skywalking设置集成gateway（第三方内容）

        - id: order_route #路由的唯一标识，路由到order
          uri: lb://alibaba-order-seata # 需要转发的地址  lb指的是从nacos中按照名称获取微服务，并遵循负载均衡策略 order-service服务名
1
2

修改一下OrderController

配置项目启动参数

-javaagent:D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
-DSW_AGENT_NAME=api-gateway
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
1
2
3

-javaagent:D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
-DSW_AGENT_NAME=order-service
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
1
2
3

-javaagent:D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
-DSW_AGENT_NAME=stock-service
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
1
2
3

分别启动上述设置的内容

访问：http://localhost:8088/order/add

访问：http://localhost:8868/




修改OrderController


http://localhost:8088/order/add

可以监控到那个节点抛出异常

集成gateway
在D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\optional-plugins当中的有gateway的jar

需要进入到复制到D:\ProgramTool\apache-skywalking-apm-es7-8.5.0\apache-skywalking-apm-bin-es7\agent\plugins当中

重新启动运行Skywalking
重新启动项目并访问

http://localhost:8088/order/add

访问：http://localhost:8868/topology
出现了gateway的节点

五、Linux环境通过jar的方式接入

准备一个springboot程序,打成可执行jar包,写一个shelI脚本,在启动项目的Shel脚本上,通过-javaagent参数进行配置SkyWalking Agent来跟踪微服务;

startup.sh脚本:

#!/bin/sh 
# SkyWalking Agent配置
export SW_AGENT_NAME=springboot-skywalking-demo #Agent名字,一般 使用spring.application.name
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #配置collector地址。
export SW_AGENT_SPAN_LIMIT=2000 #配置链路的最大Span数量，默认为300。
export JAVA_AGENT=-javaagent:/usr/local/soft/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar
java $JAVA_AGENT -jar springboot-skywalking-demo-0.0.1-SNAPSHOT.jar #jar启动
1
2
3
4
5
6
7

等同于

java -javaagent:/usr/local/soft/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
-DSW_AGENT_NAME = springboot-skywalking-demo -jar springboot-skywalking-demo-0.0.1-SNAPSHOT.jar
1
2
3

参数名对应agentconfig/agent.config配置文件中的属性。
属性对应的源码: org.apache.skywalking.apm.agent.core.conf.Config.java

# The service name in UI
agent.service_name=${SW_AGENT_NAME:Your_ApplicationName }
# Backend service addresses.
collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:127.0.0.1:11800}
1
2
3
4

我们也可以使用skywalking.+配置文件中的配置名作为系统配置项来进行覆盖。javaagent参数配置方式优先级更高

六、skywalking持久化跟踪数据

1、默认使用的H2数据库存储（内存）

confia/application.yml

2、基于mysql持久化

1）修改config目录下的application.yml，使用mysql作为持久化存储的仓库

2）修改mysql连接配置

在mysql当中创建swtest即可，Skywalking会自动创建对应的表结构

我们本次使用的是mysql8，Skywalking默认没有对应的驱动，需要设置对应的驱动

拷贝MySQL连接驱动到oap-libs文件夹下，可以用：mysql-connector-java-8.0.25.jar这个版本的数据库连接驱动

重新启动Skywalking

自动创建好对应的表结构

访问：http://localhost:8088/order/add

访问：http://localhost:8868/

现在重新启动对应的服务旧的数据依旧是存在的。

七、自定义skywalking链路追踪【设置业务方法记录到skywalking】

1、引入依赖

如果我们希望对项目中的业务方法，实现链路追踪，方便我们排查问题，可以使用如下的代码

引入依赖

	    
	    <dependency>
            <groupId>org.apache.skywalkinggroupId>
            <artifactId>apm-toolkit-traceartifactId>
            <version>8.5.0version>
        dependency>
1
2
3
4
5
6

2、@Trace将方法加入追踪链路

	@RequestMapping("/all")
    public List<Order> getAll() throws InterruptedException {
        return All();
    }

    @Trace
    public List<Order> All() throws InterruptedException {
        return orderService.all();
    }
1
2
3
4
5
6
7
8
9

重新启动alibaba-order-seata

访问：http://localhost:8088/order/all

3、加入@Tags或@Tag 设置记录返回值和参数

@Tag注解中 key =方法名 value = returnedObj 返回值 arg[0] 参数I

// 获取单个订单信息
    @RequestMapping("/get/{id}")
    public Order get(@PathVariable Integer id){
        return getById(id);
    }

    @RequestMapping("/all")
    public List<Order> getAll() throws InterruptedException {
        return All();
    }

    @Trace
    @Tag(key = "list",value = "returnedObj")
    public List<Order> All() throws InterruptedException {
        return orderService.all();
    }

    @Trace
    @Tags({@Tag(key = "param",value = "arg[0]"),@Tag(key = "user",value = "arg[0]"),}
    )
    public Order getById(Integer id) {
        return orderService.get(id);
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

重新启动alibaba-order-seata
访问：http://localhost:8088/order/all

这里返回了对象的内存地址，我们需要将对应的对象toString

重新运行并查看

访问：http://localhost:8088/order/get/1

八、skywalking性能剖析

设置接口延迟响应

我们连续请求：http://localhost:8088/order/all 6次

http://localhost:8868/profile

上述可以看到对应业务的响应时间
再次修改一下延迟时间

我们连续请求：http://localhost:8088/order/all 6次

http://localhost:8868/profile

九、skywalking告警功能

SkyWalking告警功能是在6.x版本新增的,其核心由一组规则驱动,这些规则定义在config/alarm-settings. yml文件中。告警规则的定 义分为两部分:

1.告警规则:它们定义了应该如何触发度量警报，应该考虑什么条件。
2.Webhook (网络钩子) :定义当警告触发时,哪些服务终端需要被告知

---

告警规则
SkyWalking的发行版都会默认提供config/alarmrsettings. yml文件,里面预先定义了一-些常用的告警规则。 如下:
1.过去3分钟内服务平均响应时间超过1秒。
2.过去2分钟服务成功率低于80%。
3.过去3分钟内服务响应时间超过1s的百分比。
4.服务实例在过去2分钟内平均响应时间超过1s,并且实例名称与正则表达式匹配。
5.过去2分钟内端点平均响应时间超过1秒。
6.过去2分钟内数据库访问平均响应时间超过1秒。
7.过去2分钟内端点关系平均响应时间超过1秒。

这些预定义的告警规则，打开config/alarm-settings. yml文件即可看到。

告警规则配置项的说明:

• Rule name:规则名称,也是在告警信息中显示的唯一名称。 必须以rule结尾,前缀可自定义
• Metrics name:度量名称,取值为oal脚本中的度量名，目前只支持1ong、 double和int类型。 详见official OAL script
• Include names:该规则作用于哪些实体名称,比如服务名,终端名(可选, 默认为全部)
• Exclude names:该规则作不用于哪些实体名称，比如服务名,终端名(可选,默认为空)
• Threshold:阈值
• P: 操作符,目前支持>、< =
• Period:多久告警规则需要被核实-下。 这是一个时间窗口， 与后端部署环境时间相匹配
• Count:在- -个Period窗口中, 如果values超过Threshold值 (按op) ,达到Count值, 需要发送警报
• Silence period:在时间N中触发报警后,在TN -> TN + period这个阶段不告警。默认情况下， 它和- Period-样,这意味着相同的告警(在同一个Metrics name拥有相同的Id)在同一个Period内只会触发一次

Webhook可以简单理解为是一种Web层面的回调机制, 通常由一些事件触发， 与代码中的事件回调类似，只不过是Web层面的。由于是Web层面的,所以当事件发生时,回调的不再是代码中的方法或函数,而是服务接口。

例如，在告警这个场景，告警就是一个事件。 当该事件发生时，SkyWalking就会 主动去调用一个配置好的接口， 该接口就是所谓的Webhook。
SkyWalking的告警消息会通过HTTP请求进行发送,请求方法为POST, Content-Type 为application/json,其JSON数据实基于List

JSON数据
示例:

[{
	”scopeId”: 1,
	”scope": ”SERVICE”,
	”name”:”serviceA”,
	”id0”: 12,
	”id1”: 0,
	”ruleName” :”service_ resp_ time_ rule”，
	”alarmMessage”:”alarmMessage xxxx",
	”startTime”: 1560524171000
}，{
	”scopeId”: 1,
	”scope":”SERVICE”,
	”name”: ”serviceB”,
	”id0": 23,
	”id1”: 0,
	”ruleName”:”service_ resp_ _time_ rule”，
	”alarmMessage”: ”alarmMessage yyy”,
	”startTime" : 1560524171000
}]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

字段说明:

• scopeld, scope:
  所有可用的Scope详见org.apache.skywalking.oap.server.core.source.DefaultScopeDefine
• name:目标Scope的实体名称
• id0: Scope 实体的ID
• id1:保留字段,目前暂未使用
• ruleName: 告警规则名称
• alarmMessage:告警消息内容
• startTime:告警时间,格式为时间戳

---

邮件告警功能实践
根据以上两个小节的介绍，可以得知: SkyWalking是不支持直接向邮箱、 短信等服务发送告警信息的，SkyWalking只会在发生告警时将告警信息发送至配 好的Webhook接口。

但我们总不能人工盯着该接口的日志信息来得知服务是否发生了告警,因此我们需要在该接口里实现发送邮件或短信等功能，从而达到个性化的告警通知。

接下来开始动手实践，这里基于Spring Boot进行实现。首先是添加依赖:

	<dependency>
            <groupId>org.projectlombokgroupId>
            <artifactId>lombokartifactId>
            <version>1.18.18version>
            <scope>compilescope>
	dependency>
1
2
3
4
5
6

SwAlarmDTO

package com.itbluebox.dto;


import lombok.Data;

import java.util.List;
import java.util.Map;

/***

 */
@Data
public class SwAlarmDTO {

    /*
    * "scopeId": 1,
        "scope": "SERVICE",
        "name": "serviceB",
        "id0": "23",
        "id1": "",
        "ruleName": "service_resp_time_rule",
        "alarmMessage": "alarmMessage yyy",
        "startTime": 1560524171000,
        "tags": [{
            "key": "level",
            "value": "CRITICAL"*/
    private int scopeId;
    private String scope;
    private String name;
    private String id0;
    private String id1;
    private String ruleName;
    private String alarmMessage;
    private List<Tag> tags;
    private long startTime;
    private transient int period;
    private transient boolean onlyAsCondition;

    @Data
    public static class Tag{
        private String key;
        private String value;
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

SwAlarmController

package com.itbluebox.controller;

import com.itbluebox.dto.SwAlarmDTO;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/***
 */
@Slf4j
@RestController
@RequiredArgsConstructor
@RequestMapping("/alarm")
public class SwAlarmController {


    /**
     * 接收skywalking服务的告警通知并发送至邮箱
     *
     * 必须是post
     */
    @PostMapping("/receive")
    public void receive(@RequestBody List<SwAlarmDTO> alarmList) {
       /* SimpleMailMessage message = new SimpleMailMessage();
        // 发送者邮箱
        message.setFrom(from);
        // 接收者邮箱
        message.setTo(from);
        // 主题
        message.setSubject("告警邮件");
        String content = getContent(alarmList);
        // 邮件内容
        message.setText(content);
        sender.send(message);*/
        String content = getContent(alarmList);
        log.info("告警邮件已发送..."+content);
    }

    private String getContent(List<SwAlarmDTO> alarmList) {
        StringBuilder sb = new StringBuilder();
        for (SwAlarmDTO dto : alarmList) {
            sb.append("scopeId: ").append(dto.getScopeId())
                    .append("\nscope: ").append(dto.getScope())
                    .append("\n目标 Scope 的实体名称: ").append(dto.getName())
                    .append("\nScope 实体的 ID: ").append(dto.getId0())
                    .append("\nid1: ").append(dto.getId1())
                    .append("\n告警规则名称: ").append(dto.getRuleName())
                    .append("\n告警消息内容: ").append(dto.getAlarmMessage())
                    .append("\n告警时间: ").append(dto.getStartTime())
                    .append("\n标签: ").append(dto.getTags())
                    .append("\n\n---------------\n\n");
        }

        return sb.toString();
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62

访问：http://localhost:8088/order/all

http://localhost:8868/alarm