使用python脚本迁移数据到MongoDB分片集群，速度非常非常慢

Question

18.63K 浏览2021/06/23分片

0

zhengfei.xin 18 2021/06/22 0条评论

集群情况为3个分片（3台设备）

数据来源也是一个MongoDB，Python脚本比较简单，就是从旧库中读取，然后遍历插入到新的集群中。

刚开始的几分钟非常快，一分钟大约有2万条数据，几分钟后，数据就变的非常慢（约10分钟150条）

请问这种情况可能是什么问题？

已经检查过的一些项目：

磁盘IO并不紧张

mongostat输出的脏数据比例为0

xiaoxu 已回答的问题 2021/06/23

xiaoxu · Answer 1 · 2021-06-23T14:21:17+00:00

0

xiaoxu 1.13K 发布 2021/06/23 2 条评论

可以看下mongostat以及mongotop监控数据，看下hot 的集合以及数据库性能。

xiaoxu 发表新评论 2021/06/24

谢谢您的回复，可以看到mongodb是在做一些比较耗时的操作的，完成这些耗时的操作后就没什么问题了。
另外我最初设置的chunk size可能太小了，我修改到一个更大的值就好很多了

是的。数据平衡对影响比较大。

zhengfei.xin · Answer 2 · 2021-06-23T14:22:05+00:00

0

ricky 40 发布 2021/06/22 1 条评论

10 分钟 15条应该可以体现在慢日志上，考虑根据慢日志内容进一步排查？

谢谢您的回复，我观察到了一些比较慢的操作，另外我把chunk size调大以后就好很多了

zhengfei.xin · Answer 3 · 2021-06-23T14:22:57+00:00

0

jiakunpeng 160 发布 2021/06/22 1 条评论

贴一下脚本

谢谢您的回复，脚本我不太方便贴出来，不过我可以保证脚本只是简单的读数据，再写入到新的数据库中