Java通过JDBC向数据库批量插入数据（MySQL为例）

注：本文仅供学习参考，作者水平有限，如有错误还请指正！

文章目录

• ​​1、 JDBC的批量处理语句：​​
• ​​2、批量指向SQL语句的情况：​​
• ​​3、关于本案例的注意事项：​​
• ​​4、驱动程序​​
• ​​5、案例源码​​

         ​​在数据库中需要大量插入或更新记录时，可以使用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。​​

1、 JDBC的批量处理语句：

• addBatch(String)：添加需要批量处理的SQL语句或是参数；
• executeBatch()：执行批量处理语句；
• clearBatch():清空缓存的数据

2、批量指向SQL语句的情况：

• 多条SQL语句的批量处理
• 一个SQL语句的批量处理

3、关于本案例的注意事项：

有关数据库的连接、插入等操作可参考博文

4、驱动程序

• 我使用的驱动程序为8.0.27版本，官网下载：​​MySQL :: Download MySQL Connector/J (Archived Versions)​​
• 使用方式：将mysql-connectior-java-8.0.27.jar解压至lib文件夹下加载即可
  

5、案例源码

• 实验使用的表结构：

CREATE TABLE goods(
  id INT PRIMARY KEY AUTO_INCREMENT,
  NAME VARCHAR(25)
);

• java源码

package com.Etui5.blob;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.Statement;

import org.junit.Test;

import com.Etui3.util.JDBCUtils;

/**
 * 使用PreparedStatement实现批量数据的操作
 * 
 * update、delete本身就具备批量操作的效果
 * 此时的批量操作主要指的是批量插入。使用PreparedStatement实现更高效的批量操作
 * 
 * 方式一：使用Statement
 * 
 *
 */
public class insertTest {
  
  // 批量插入数据方式一：使用Statement
//  @Test 
  public void testInsert1() throws Exception {
    Connection conn = JDBCUtils.getConnection();
    Statement st = conn.createStatement();
    for(int i = 0; i < 20000; i++) {
      String sql = "insert into goods(name) values('nmae_" + i + "')";
      st.execute(sql);
    }
    conn.close();
    st.close();
  }
  
  // 方式二：使用PreparedStatement
//  @Test
  public void testInsert2() {
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into goods(name) values(?)";
      ps = conn.prepareStatement(sql);
      for(int i = 0; i < 20000; i++) {
        ps.setObject(1, "name_" + i);
        ps.execute();
      }
      
      long end = System.currentTimeMillis();
      
      System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条:51188ms
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResource(conn, ps);      
    }
  }
  
  // 方式三：
  // 1、批量处理方式：addBatch(), executeBatch(), clearBatch()
  // 2、mysql 服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理支持
  //      ?rewriteBatchedStatements=true写在配置文件的url后面
  // 3、使用更新的mysql驱动：5.1.37，该驱动需与mysql的版本对应，我使用的为8.0.27
  // 4、以往练习使用的都是5.1.7驱动，连接驱动为com.mysql.jdbc.Driver，8.0.x版本需改为com.mysql.cj.jdbc.Driver
//  @Test
  public void testInsert3() {
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      String sql = "insert into goods(name) values(?)";
      ps = conn.prepareStatement(sql);
      for(int i = 0; i < 1000000; i++) {
        ps.setObject(1, "name_" + i);
//        ps.execute();
        
        // 每插入500条插入一次
        // 添加到批处理
        ps.addBatch();
        if(i % 500 == 0) {
          // 执行批量操作
          ps.executeBatch();
          // 清空batch
          ps.clearBatch();
        }
      }
      
      long end = System.currentTimeMillis();
      
      System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条：349ms，1000000条：15833ms
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResource(conn, ps);      
    }
  }
  
  // 方式四： 
  // 将自动提交关闭
  @Test
  public void testInsert4() {
    Connection conn = null;
    PreparedStatement ps = null;
    try {
      long start = System.currentTimeMillis();
      conn = JDBCUtils.getConnection();
      
      conn.setAutoCommit(false);// 关闭自动提交
      
      String sql = "insert into goods(name) values(?)";
      ps = conn.prepareStatement(sql);
      for(int i = 0; i < 1000000; i++) {
        ps.setObject(1, "name_" + i);
        ps.addBatch();
        if(i % 500 == 0) {
          ps.executeBatch();
          ps.clearBatch();
        }
      }
      
      conn.commit();// 预处理完成后统一提交
      
      long end = System.currentTimeMillis();
      
      System.out.println("花费时间为：" + (end - start) + "ms"); // 1000000条：9505ms
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      JDBCUtils.closeResource(conn, ps);      
    }
  }
}