MySQL读取百万数据,使用流式、游标查询实战

MySQL读取百万数据,使用流式、游标查询实战

mybatis 实现流式查询、游标查询很简单

1. 第一步：需要设置连接属性 useCursorFetch=true

jdbc:mysql://127.0.0.1:3306/test?useCursorFetch=true
1

2. 第二步：设置 fetchSize，流式查询设置成 Integer.MIN_VALUE 即 -2147483648；游标查询设置成我们想要的值

<select id="streamingQuery" fetchSize="-2147483648" resultMap="BaseResultMap">
  select id, name from user limit 10
select>


<select id="cursorQuery" fetchSize="3" resultMap="BaseResultMap">
  select id, name from user limit 10
select>

1
2
3
4
5
6
7
8
9
10

3. 第三步： Mapper 需要返回 Cursor

Cursor<User> streamingQuery();

Cursor<User> cursorQuery();

1
2
3
4

4. 第四步：for循环接受数据

@RestController
public class TestController {

    private final UserMapper userMapper;

    public TestController(UserMapper userMapper) {
        this.userMapper = userMapper;
    }

    // 注意点：获取数据时要保证数据库连接没有被回收，这里使用了 @Transactional 保证
    @Transactional
    @GetMapping("streaming")
    public List<User> streamingQuery() {
        Cursor<User> cursor = userMapper.streamingQuery();
        return getData(cursor);
    }

    @Transactional
    @GetMapping("cursor")
    public List<User> cursorQuery() {
        Cursor<User> cursor = userMapper.cursorQuery();
        return getData(cursor);
    }

    public List<User> getData(Cursor<User> cursor) {
        List<User> list = new LinkedList<>();
        cursor.forEach(list::add);
        return list;
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31