数据条数太多，插入到数据库有延迟，怎么解决

1我们往数据库中导入的数据通常是有固定的模板的，也就是有列头，但是可能excel中的一条数据分布存储在不同的数据表中，那么我们怎么来导入了，我们可以在类文件中直接拼接sql语句插入，这样做的话我认为比较麻烦。我的做法是：在数据中建一个中间表暂且叫做Temp表跟excel中列一一对应，其中表中多加state列用来标识数据验证失败还是成功的（0代表数据没有问题，-1代表有问题）、failReason记录导入失败原因，然后再添加一个配置文件来做excel列和数据表的映射。 2要导入的数据通常要做验证，那些不符合导入规则的数据时不允许或者不能导入的。我把数据分两步来验证，一部分在代码段验证，一部分在数据库验证。至于怎么分那就自己去根据情况分析了。我是把诸如字符长度限制，正则表达式规则限制等放 在代码段验证，把诸如数据库中字典值是否存在等要访问数据库的验证放在数据中验证，这样的话就可以减少访问数据库的次数。把再客户端验证过的数据，不管是通过的不同过的都插入到temp表中，只是state值不同。 3然后怎么把插入temp中数据分别插入到不同的数据表中了，大家一定想到了触发器，没有错，我用的就是after触发器，在我把excel中的数据插入到temp表中的时候，那么就会触发after触发器，在触发器中对插入的数据进行处理，如果插入的数据state值为-1，代表在代码端的验证就没有通过，那么就不需要进行下一步处理了，如果state值为0，那么在触发器中接着处理，比如检测字典值在字典表中存不存在等，如果不满足要求就把temp表中的当前插入的记录state值改成-1，把校验失败原因更新到failReason字段中，不再处理。如果一切校验都没有问题的话，那么就编写插入语句，把数据插入到不同的表中去。 4数据导入完成了，那么那些有问题数据怎么办了？把它查询出来生成一个按原模板后加一列“失败原因”导成excel文件，其实就是state值为-1的那些记录，然后返回给用户查看。 通过以上步骤之后那么整个导入功能就完成了，以上只是一种思路，望大家完善。 本站技术原创栏目文章均为中睿原创或编译，

不是很懂mysql的replication 但是我以前做过Oracle Timesten replication, 可以讲讲给你参考。像Oracle这样的数据库对于1对1的同步是非常快速的，但是需要支持3个以上节点的时候，由于快速的复制/确认机制，内存读写和网络传输数据量会非常庞大 对于3个以上节点的数据库同步，要开始考虑自己写一个程序，然后在各个节点上运行，进行互相主备同步。我当初是为国外一个电信运营商编写的程序，6个节点，非常稳定。 既然Oracle都无法支持这种同步，Mysql能否支持，我个人觉得怀疑

后来的数据库设计成如下模式了, 3台master，互相通过我的程序进行同步。 在本地又各自搭建主从(master/slave)模式，利用数据库自己的replication进行互备。每秒钟大概处理3000transactions

定时查询数据库用定时任务好。根据查询相关公开信息，截止2022年12月23日，在定时查询数据库时使用定时任务能解决定期删除数据，定期调用某个存储过程进行报表的统计信息处理等等 *** 作的需求，比延时消息更方便。

以上就是关于数据条数太多，插入到数据库有延迟，怎么解决全部的内容，包括:数据条数太多，插入到数据库有延迟，怎么解决、如何解决数据库读写分离的时间延时、定时查询数据库用延时消息好还是定时任务等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！