mysql处理大数据太慢-jdbc大数据批量插入很慢问题解决.pdfVIP

mysql处理⼤数据太慢_jdbc⼤数据批量插⼊很慢问题解决 普通的执⾏过程是 ：每处理⼀条数据，就访问⼀ 数据库 ； ⽽批处理是 ：累积到⼀定数量，再⼀ 性提交到数据库，减少了与数据库的交互 数，所以效率会⼤⼤提⾼ 但是使⽤了addBatch() - executeBatch() 还是很慢 解决 ： a.需配置 参数在数据库连接URL后⾯加上这个参数 ： dbUrlj dbc:mysql://localhost:3306/User?rewriteBatchedStatements=true; b.conn.setAutoCommit(false); 需要设置 ⼿动提交 完整例⼦ ： 1.正常JDBC 版本 String sql = insert into table *****; con.setAutoCommit(false); ps = con.prepareStatement(sql); for(int i= 1; i65536; i++){ ps.addBatch(); // 1w条记录插⼊⼀ if (i % 10000 == 0){ ps.executeBatch(); mit(); } } // 最后插⼊不⾜ 1w条的数据 ps.executeBatch(); mit(); 2.Spring boot j dbc版本 @Autowired private JdbcTemplate j dbcTemplate; private void batchInsertOrUpdateGoodsTemp(List list){ StringBuilder sql = new StringBuilder(INSERT INTO `gds_goods_temp` (`CAT_CODE`, `BRAND_CODE`, `GOODS_SN`, `GOODS_STATUS`, `GOODS_NAME` ).append( , `IS_MARKET`, `IS_DELETE`, `GOODS_INTRO`, `GOODS_DETAIL`, `UNIT`, `WEIGHT`, `SPEC`, `BARCODE`, `GOODS_IMG`, `GOODS_THUMB`, `GOODS_GALLERY_IMGS`) .append(, `MARKET_PRICE`, `REMARK`, `ADD_TYPE`, `ADD_MCH_NO`) VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)); KeyHolder key = new GeneratedKeyHolder(); this.j dbcTemplate.update(con - { con.setAutoCommit(false); PreparedStatement preState =null; try { preState = con.prepareStatement(sql.toString(), Statement.RETURN_GENERATED_KEYS); for(GoodsTemp temp : list){ preState.setString(1, temp.getCatCode()); preState.setString(2, temp.getBrandCode()); preState.setString(3, temp.getGoodsSn()); preState.setString(4, temp.getGoodsStatus()); preState.setString(5, temp.getGoodsName()); preState.setString(6, temp.getIsMarket()); preState.setString(7, temp.getIsDelete()); preState.setString(8, temp.getGoodsIntro()); preState.setString(9, temp.getGoodsDetail()); preState.setString(10, temp.getUnit()); preState.setBigDecimal(11, temp.getWeight()); preState.setString(12, temp.getSpec()); preState.setString(13,