Excel 5s内导入20w条简单数据（ExecutorType.BATCH）Mybatis批处理的应用

文章目录

Excel 5s内导入20w条数据

Excel 5s内导入20w条数据

1. 生成20w条数据

1.1 使用Excel 宏生成20w条数据

打开Excel，按下Alt+F11打开VBA编辑器。在VBA编辑器中选择插入 -> 模块，然后将以下代码粘贴到模块中：

       Sub   GenerateData()
       Dim i As Long
       For i = 1 To 200000
           Cells(i, 1).Value = i '插入ID
           Cells(i, 2).Value = "张三" & i '插入姓名，可以根据需要自定义命名规则
           Cells(i, 3).Value = Int((50 - 20 + 1) * Rnd + 20) '插入随机年龄，示例为20-50之间的随机数
       Next i 
       End Sub 
1
2
3
4
5
6
7
8

按下F5执行宏，即可生成20万条数据。

1.2 生成成功

因为数据量较大，所以需要稍微等上一小段时间

2. ExecutorType：批量操作执行器类型

在MyBatis中，ExecutorType是一种枚举类型，用于指定SQL语句执行的方式。其中，ExecutorType.BATCH和ExecutorType.SIMPLE是两种常见的执行方式。

2.1 ExecutorType.SIMPLE

ExecutorType.SIMPLE是MyBatis框架中的一种执行器类型，用于执行SQL语句并返回结果集。在这种执行器类型下，每个SQL语句的执行请求都将打开一个新的数据库连接，执行完毕后立即释放连接，适用于小型应用或轻负载的情况。
特点：

ExecutorType.SIMPLE是默认的执行方式。
每次执行SQL语句时，都会打开一个新的PreparedStatement对象。
每条SQL语句都会立即被执行并提交到数据库。
每个SQL语句的执行请求都将打开一个新的数据库连接，执行完毕后立即释放连接
适用于常规的单个或少量SQL操作。

2.2 ExecutorType.BATCH

ExecutorType.BATCH会将一批SQL语句集中在一起批量执行，减少了与数据库的交互次数，提高性能。
多条SQL语句会一起提交到数据库执行，可以提升执行效率。
可以通过sqlSessionFactory.openSession(ExecutorType.BATCH)方法手动触发批量执行。
适用于需要执行大量SQL操作的场景，如批量插入、更新或删除多条记录。

2.3 ExecutorType.REUSE

当多次调用相同的SQL语句时，会重用已编译的SQL语句和执行计划。
适用于单条SQL语句的重复执行，例如在一个循环中多次执行相同的SQL语句。
每次执行都会创建一个新的Statement对象，但会重用已编译的SQL语句和执行计划，以提高执行效率。

3. 20w条数据直接插入数据库

dao 层的代码

   @Insert("insert into excel(id,name,age) values (#{id},#{name},#{age})")
void insert(Man man);
1
2

读取Excel文件使用的是Hutool工具包中的ExcelUtil方法

<dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.11</version>
        </dependency>
1
2
3
4
5

3.1 使用ExecutorType.SIMPLE

    public void insert1() {
        //用于记录读取数据所需要的时间
        long start0 = System.currentTimeMillis();
        //ExcelUtil hutool工具类用来读取Excel文件
        ExcelReader reader = ExcelUtil.getReader(FileUtil.file("C:\\Users\\26896\\Desktop\\test.xlsx"), "sheet1");
        //将读取到的 reader 转化为 List集合
        List<Man> mans = reader.readAll(Man.class);
        //读取数据的结束时间同时也是写入数据库的开始时间
        long start = System.currentTimeMillis();
        //sqlSessionFactory是通过ioc容器注入的  设置其SqlSession的执行器格式ExecutorType.SIMPLE（默认）
        SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.SIMPLE);
        ExcelDao mapper = sqlSession.getMapper(ExcelDao.class);
        //循环将List中的数据插入数据库
        for (Man man : mans) {
            mapper.insert(man);
        }
        sqlSession.commit();
        long end = System.currentTimeMillis();
        sqlSession.close();
        System.out.println("最终的结果为：" + (start - start0) );
        System.out.println("最终的结果为：" + (end - start) );
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

执行结果
在这里插入图片描述

3.2 使用ExecutorType.BATCH

rewriteBatchedStatements=true
当该参数设置为true时，MySQL会对批量操作进行重写，将多个SQL语句合并成一条批量执行的SQL语句。这样可以减少网络传输和数据库连接的开销，从而提高批量操作的效率。

  public String insert2() {
        long start0 = System.currentTimeMillis();
        ExcelReader reader = ExcelUtil.getReader(FileUtil.file("C:\\Users\\26896\\Desktop\\test.xlsx"), "sheet1");
        List<Man> mans = reader.readAll(Man.class);
        long start = System.currentTimeMillis();
        SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
        ExcelDao mapper = sqlSession.getMapper(ExcelDao.class);
        for (Man man : mans) {
            mapper.insert(man);
        }
        sqlSession.commit();
        long end = System.currentTimeMillis();
        sqlSession.close();
        System.out.println("读取最终的结果为：" + (start - start0) );
        System.out.println("插入数据库最终的结果为：" + (end - start) );
        return null;
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

执行结果
在这里插入图片描述

3.3 ExecutorType.REUSE

ExecutorType.REUSE 本身不做验证，这里主要比较其它两个区别，但是都到这里啦就写上

   public void insert3() {
        long start0 = System.currentTimeMillis();
        ExcelReader reader = ExcelUtil.getReader(FileUtil.file("C:\\Users\\26896\\Desktop\\test.xlsx"), "sheet1");
        List<Man> mans = reader.readAll(Man.class);
        long start = System.currentTimeMillis();
        SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.REUSE);
        ExcelDao mapper = sqlSession.getMapper(ExcelDao.class);
        for (Man man : mans) {
            mapper.insert(man);
        }
        sqlSession.commit();
        long end = System.currentTimeMillis();
        sqlSession.close();
        System.out.println("读取最终的结果为：" + (start - start0) );
        System.out.println("插入数据库最终的结果为：" + (end - start) );
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

在这里插入图片描述

3.半拓展

吃瓜观众：歌歌呀，既然ExecutorType.SIMPLE适合执行一个语句，那就用MyBatis 的,将20w条数据拼接为1条。这样是不是就快了
歌歌：非常好
xml代码

    <insert id="add">
        insert into excel(id,name,age) values
        <foreach collection="list" item="man" separator=",">
            (#{man.id},#{man.name},#{man.age})
        </foreach>
    </insert>
1
2
3
4
5
6

service代码

    @Autowired
    ExcelDao excelDao;
    public String add2() {
        long start0 = System.currentTimeMillis();
        ExcelReader reader = ExcelUtil.getReader(FileUtil.file("C:\\Users\\26896\\Desktop\\test.xlsx"), "sheet1");
        List<Man> mans = reader.readAll(Man.class);
        long start = System.currentTimeMillis();
        excelDao.add(mans);
        long end = System.currentTimeMillis();
        System.out.println("最终的结果为：" + (start - start0) );
        System.out.println("最终的结果为：" + (end - start) );
        return null;
    }
1
2
3
4
5
6
7
8
9
10
11
12
13