码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 记一次 ThreadLocal 泄漏导致的 shardingsphere-jdbc-core 单元测试偶发失败的排查与修复


    文章目录

    • 现象
    • 排查过程
      • 尝试本地复现
        • 尝试 Maven 运行单个模块的测试
        • 尝试使用不同 JDK 运行模块的测试
      • 分析问题
        • 分析日志
        • TransactionType 的来源?
      • 再次尝试本地复现
        • 分析测试执行顺序
        • 想办法调整单元测试执行顺序
    • 修复方案
    • 如何避免?

    现象

    https://github.com/apache/shardingsphere/issues/19346

    本地运行 shardingsphere-jdbc-core 的单元测试没问题,但 GitHub Actions 中的 CI 有一定概率失败。

    排查过程

    尝试本地复现

    尝试 Maven 运行单个模块的测试

    使用 Maven 构建 shardingsphere-jdbc-core,多次尝试未能复现:

    mvn clean install -pl shardingsphere-jdbc/shardingsphere-jdbc-core
    
    • 1

    尝试使用不同 JDK 运行模块的测试

    在这里插入图片描述

    尝试了以下几种 JDK:

    • Oracle Java 17.0.1
    • Eclipse Temurin 17.0.1
    • Docker Official OpenJDK 17.0.1

    均未能复现问题。

    分析问题

    分析日志

    重新观察报错信息:

    在这里插入图片描述

    可以发现几乎所有的报错都指向同一个地方:

    在这里插入图片描述

    都是因为 TransactionType 是一个 Mock 的对象,导致获取不到 ShardingSphereTransactionManager。

    TransactionType 的来源?

    来源一:
    TransactionRule 的 defaultType
    在这里插入图片描述

    来源二:
    来源于 TransactionTypeHolder。但 TransactionTypeHolder 中的值的根本来源是 TransactionRule 的 defaultType。所以根源还是来源一。

    在这里插入图片描述

    TransactionTypeHolder 使用了 ThreadLocal 存储 TransactionType。由于单元测试在同一个模块中默认单线程串行运行,所以此处考虑有没有可能是单元测试中存在 ThreadLocal 泄漏?

    在这里插入图片描述

    由于报错的直接原因是 TransactionType 是个 mock 对象,因此我们先看看哪里有可能会产生 mock 的 TransactionType。
    通过全局搜索发现,代码中并没有直接 mock TransactionType。但是存在不少 TransactionRule 的 RETURNS_DEEP_STUBS。

    在这里插入图片描述

    很可能是这些 TransactionRule 的 DEEP_STUBS 返回的 mock 的 TransactionType。

    通过在 TransactionTypeHolder 打断点也能确认,部分单元测试会将 mock TransactionType 放入 ThreadLocal

    在这里插入图片描述

    再次尝试本地复现

    但是本地如何才能重现问题证明泄漏?

    分析测试执行顺序

    根据经验,单元测试偶发报错很大可能和执行顺序有关系,观察 GitHub Actions 报错的单元测试执行顺序:
    发现其中的 org.apache.shardingsphere.driver.jdbc.adapter.ConnectionAdapterTest 使用了 mock TransactionRule 并且在报错的测试之前执行:
    在这里插入图片描述
    相关链接:https://github.com/apache/shardingsphere/runs/7407025246?check_suite_focus=true

    但是本地执行单元测试时,ConnectionAdapterTest 永远在会报错的测试后面,通过 Pattern 指定也无法控制执行顺序。
    在这里插入图片描述

    想办法调整单元测试执行顺序

    换个思路,如果我们把 ConnectionAdapterTest 测试类挪个位置?
    在本地把 ConnectionAdapterTest 挪到 org.apache.shardingsphere.driver.jdbc.core.statement 包下面:

    在这里插入图片描述

    再次执行测试,本地复现成功:

    在这里插入图片描述

    修复方案

    单元测试中凡是涉及 mock TransactionRule DEEP_STUBS 的地方都需要清理 ThreadLocal。
    https://github.com/apache/shardingsphere/pull/19362

    如何避免?

    与 mockStatic 泄漏不同,使用 ThreadLocal 的是生产代码,对于不熟悉代码的人根本不知道里面使用了 ThreadLocal,更不知道会有泄漏的风险。最好的解决方案是从生产代码上避免使用 ThreadLocal,但需要考虑实际情况。

  • 相关阅读:
    数据结构 - 线性表(顺序表)
    cdm解决‘ping‘ 或者nslookup不是内部或外部命令,也不是可运行的程序或批处理文件的问题
    数据库系统概论第六章(关系数据理论)知识点总结(1)—— 函数依赖概念总结
    【极客时间-系列教程】深入剖析Kubernetes-开篇词 | 打通“容器技术”的任督二脉
    Linux教程||Linux 系统启动过程
    【web前端】浮动
    如何看待2022年秋招Java后端开发岗一片红海?
    JWT的原理及实际使用
    【100天精通Python】Day47:Python网络编程_Web开发:web服务器,前端基础以及静态服务器
    快速LLaMA:面向大型语言模型的查询感知推理加速 论文摘要翻译与评论
  • 原文地址:https://blog.csdn.net/wu_weijie/article/details/126059089
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号