Spring Boot + Mybatis + MySQL 批量新增数据如何避免内存溢出？

如何有效处理spring boot + mybatis + mysql批量新增数据时的数据量问题

在处理批量插入大量数据的场景中，避免出现oom（内存溢出）至关重要。下面介绍一种可行的方法：

public void insert(List<User> list) {
    int count = 10000; // 可根据实际情况调整
    int max = list.size();
    int temp = count;
    for(int i=0; i<max; i+=count){
        if(max - i < count){
            temp = max - i; // 数据量不足count时，避免越界错误
        }
        List<User> list1 = list.subList(i, i+temp);
        userMapper.insertBatch(list1); // 使用Mybatis提供的insertBatch方法批量插入
    }
}

该代码优化了原始方案，采用了 mybatis 的 insertbatch 方法，该方法内部封装了批量插入的逻辑，避免了逐条插入带来的效率低下。

此外，为了进一步优化，还可以考虑以下改进：

1. 线程池异步执行：将批量插入操作放到线程池中异步执行，避免阻塞主线程。
2. 数据库连接优化：确保连接池中的连接数量足够，并及时关闭连接释放资源。
3. 分库分表：当数据量过大时，可以考虑将数据分散到多个数据库或者表中。

今天带大家了解了的相关知识，希望对你有所帮助；关于数据库的技术知识我们会一点点深入介绍，欢迎大家关注主机宝贝公众号，一起学习编程~