• MyBatisPlus的in方法入参数量过多导致的JVM频繁FullGC案例


    1.引子

    在我们的认知中,通常认为MyBatisPlus的in方法入参数量超过1000条就会报错

    1. //此方法当in中的字符超过1000就会报错
    2. EntityWrapper ew = new EntityWrapper<>();
    3. ew.in(TableFieldConstant.F_AUTH_RESULT_ID, ids);

    但如果入参数量达到上百万,那就会陷入循环中,导致虚拟机内存占用飙升,频繁GC,昨日我司生产环境就发生了这样的问题,先记录如下。

    2.问题发现

    线上监控组在pinpoint中发现2022-08-04 14:33:00的一个请求超时了,开始并没有太在意,只是要求业务部门去查询问题。

    Request processing failed; nested exception is feign.RetryableException: Read timed out executing POST。。。。

    3.故障分析

    初步查看发现就是个Feign的远程调用超时,本想以网络闪断原因搪塞过去,但服务调用双方在同一台虚机上,用网络原因解释不了,觉得非常奇怪,就深入查找了一下问题。

    3.1.首先查看线上两个服务的日志,并没有发现什么重要信息。

    3.2.接下来看数据库,发现也正常。

    3.3.再去看jvm的监控信息,果然发现了问题:

    12:00-16:30左右jvm内存占用情况

    12:00-18:30左右jvm内存占用情况

     

    4号-5号的情况

     

    可以看的非常清楚,之前的内存都很正常,后面内存占用一直很高,频繁进行FUllGC,很明显是发生了内存泄露。

     3.4.jvm堆栈信息

    请运维团队帮忙转存栈信息 jstack pid > pid.tdump

    分析后发现该线程一直处于执行状态,导致内存一直没有得到释放。

      网上翻找资料,发现了相关的报告:

    https://blog.csdn.net/cuixinzhou/article/details/113030993

    初步判定是mybatis-plus的使用不当导致的。

    1. protected String formatSqlIfNeed(boolean need, String sqlStr, Object... params) {
    2. if (need && !StringUtils.isEmpty(sqlStr)) {
    3. if (ArrayUtils.isNotEmpty(params)) {
    4. for(int i = 0; i < params.length; ++i) {
    5. String genParamName = "MPGENVAL" + this.paramNameSeq.incrementAndGet();
    6. sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));
    7. this.paramNameValuePairs.put(genParamName, params[i]);
    8. }
    9. }
    10. return sqlStr;
    11. } else {
    12. return null;
    13. }
    14. }

     问题出现在

    sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));
    

    对replace测试发现当数据量大时替换会很耗时。而我们业务上并没有对这个入参的数量做限制。

    Mybatisplus的in方法入参太多,会导致循环次数过多。

    4.问题解决方案

    4.1.控制入参数量

    4.2.升级jar版本 3.x

    我司采用方案1,发火线后问题解决

  • 相关阅读:
    实时数据的处理一致性如何保证?
    flink理论干货笔记(3)
    记一次上海更换驾驶证记录
    条件不一致的动态运算
    MindSpore自定义算子:思考,挑战与实践
    RDP协议流程详解(二)Basic Settings Exchange 阶段
    选择合格的数据采集公司,需注意这些
    亚信面试题
    CSS滚动捕获 scroll-snap-align
    el-dialog两个弹框里面套弹框受外层弹框影响
  • 原文地址:https://blog.csdn.net/m0_37609579/article/details/126177668