如何提升MySQL批量插入的效率

需要将大量数据(大概5W条)插入MySQL数

据库，用普通的SQL

Statement执行,时间大概是几分钟。于是想到用PreparedStatement，但是改了之后发现效率并没有很大的提升。不成，想到了

load data local

infile...命令，以前一直认为这条命令仅限MySQL终端上使用而不是标准的SQL语句，今天看了几篇文章之后有了很大的收获。

1. 使用PreparedStatement batch operation

以前使用PreparedStatement性能没有很大提升的原因在于：

没有使用批处理方法

在语句执行之前应关闭事务自动提交，语句执行完之后再提交

public

void batchLoad(Connection connection)

{

try

{

connection.setAutoCommit(false)

BufferedReader reader =

new BufferedReader(new

FileReader("tfacts_result"))

String sqlString =

"insert into test(node1, node2, weight) values(?, ?, ?)"

PreparedStatement pstmt = connection.prepareStatement(sqlString)

String line =

null

while(true)

{

line = reader.readLine()

if(line == null)

{

break

}

String[] columns = line.split("\t")

for(int

i = 1i <= columns.lengthi++)

{

pstmt.setString(i, columns[i-1])

}

pstmt.addBatch()

}

pstmt.executeBatch()

connection.commit()

pstmt.close()

reader.close()

}

catch (FileNotFoundException e) {

e.printStackTrace()

}catch

(SQLException e){

e.printStackTrace()

}catch

(IOException e){

e.printStackTrace()

}

2.使用load data local infile into tabel XXX（注意在文件中用\t将每列数据隔开）

public

void loadData(Connection connection)

{

long

starTime = System.currentTimeMillis()

String sqlString =

"load data local infile ? into table test"

PreparedStatement pstmt

try

{

pstmt = connection.prepareStatement(sqlString)

pstmt.setString(1,

"tfacts_result")

pstmt.executeUpdate()

pstmt.close()

}

catch (SQLException e) {

e.printStackTrace()

}

long

endTime = System.currentTimeMillis()

System.out.println("program runs "

+ (endTime - starTime) + "ms")

}

测试了5W条数据，PreparedStatement耗时10s，而load data infile耗时3s。

mysql8 可以说是一个质的飞越。增加了很多新特性，以及提高了各方面的速度。增加了开窗函数

Ⅱ InnoDB增强

自增列方面

自增列方面。现在自增列计数器会在每次值修改时，将值写到REDO LOG中，并且在CHECKPOINT时写到存储引擎私有的系统表中。

这就消除了以往重启实例自增列不连续的问题（这也可能形成了一个新的竞争点（盖国强会上提问InnoDB开发者））。

Btree索引方面

Btree索引被损坏。InnoDB会向REDO LOG中写入一个损坏标志。同时也会CHECKPOINT时将内存中损坏页的数据记录到存储引擎私有的系统表中。

这也就促成了恢复时。两边一致的情形。索引不可用，并不会造成实例起不来。这很大程度上降低了之前使用innodb_force_recovery和innodb_fast_shutdown的必要。

提升了一致性。（对于一般DBA来说透明，知道有这么回事就好）

NoSQl *** 作

InnoDB memcached插件支持多个get *** 作（在单个memcached查询中获取多个键/值对）

和范围查询。（个人认为这个挺牛逼，有点像NoSQL，不仅仅是NoSQL）。

需要安装daemon_memcached插件，其中多了一个innodb_memcache schema,这个schema中有几张表,其中一张containers用来与InnoDB表之间做映射,，

然后通过接口访问Innodb表。然后会有一个11211的端口打开，用于建立连接。

好处是通过减少客户端和服务器之间的通信流量，在单个memcached查询中获取多个键/值对的功能可以提高读取性能。

对于InnoDB来说，也意味着更少的事务和开放式表 *** 作。

死锁检测

新的动态配置选项innodb_deadlock_detect可用于禁用死锁检测，默认打开。 在高并发系统上，当大量线程等待相同的锁时，死锁检测会导致速度下降。 有时，在死锁发生时，

禁用死锁检测并依赖innodb_lock_wait_timeout设置进行事务回滚可能更有效。记得之前版本遇到死锁会自动回滚。以下截图来自MySQL5.7，与8.0默认相同。

（也就是说即便MySQL5.7也是有死锁检测的，并且自动回滚权重较小的事务（套死除外））。

尝试更改innodb_deadlock_detect参数为OFF。则遇到死锁时两个工作线程都会被堵塞。直到innodb_lock_wait_timeout设定的锁超时。

新的INFORMATION_SCHEMA.INNODB_CACHED_INDEXES表保存了Innodb索引缓存在Innodb buffer pool中的页数。

现在，所有InnoDB临时表都将在共享临时表空间ibtmp1中创建。

加密特性

支持REDO和UNDO表空间加密。

共享锁方面

InnoDB在 SELECT ... FOR SHARE 和 SELECT ... FOR UPDATE锁定读语句上 支持不等待（ NOWAIT）和跳过锁（SKIP LOCKED）的选项。也就是说以往加了共享锁之后必须手动释放。

这里如果没有锁就返回结果，如果有就报下面错误。

如果是用有锁就跳过，则无数据。

根据场景使用。反正都是秒回。降低了排查数据库超时的可能。

---