0
0 Comments

业务场景:项目需要把mysql的中数据同步到mongo

实现的方案:单线程将mysql的数据分批读取,每次读取将数据添加到队列中,改队列,由多线程来消费进行入库使用的是MongoRepository的insert进行单个插入,对于插入做了异常处理,有失败的会进行重试3次

目前存在的问题:将mysql的5000多w的数据读取,入库mongo后发现,丢失了500w条,查看日志并没有大量错误的日志,只有600多条因为网络原来导致的异常,这经过第二次重试均正常入库了

Answered question