db2es 同步数据库数据到es

db2es:1.0

数据库同步ES的Swagger版

标签

ElasticSearch7.10 ES 数据库 同步 mysql sqlserver 数据清洗 多线程 大数据量 全量 增量 定时 脚手架

优点

• 相比于logstash,支持对数据的真删除进行同步(基于触发器)
• 对大数据量同步性能更出色,基于id或自增列进行多线程分批同步
• 完全又java语言进行开发,数据清洗给为简单
• 支持定时任务进行索引的增量同步
• 支持同步完毕的邮件和钉钉通知
• 同步基于sql,支持mysql,sqlserver等关系型数据库

接口展示

主要流程图

技术架构

springboot2 maven mybatis-plus mysql sqlserver logback es swagger

Github地址

https://github.com/wangfan002/db2es