MongoDB查询速度慢

发布问题 回首页

MongoDB查询速度慢

★ 0 成为第一个关注这个问题的人

大家好,请教大家一个问题,我mongo里有200万数据,我需要读取每一条数据并且修改掉其中一个字段的值,再把数据传输给另一个接口,我只用了find(),但是传输数据很慢,而且时间越长,内存加载数据越多,速度越慢,不知道大家有什么好的建议或查询语句有什么优化么,谢谢了

are you ok? 在大约 之前 回答了
  • 提问于
  • 回答数1 个
  • 浏览 5 次
  • 最新活跃于

1 个回答1

1
are you ok? answered about

可以考虑根据索引来查找这200万条数据,可以考虑分100次,每次查询的数据不同,然后创建100个进程处理这些数据,每一个进程处理一些数据后压缩,传给另一个接口,该接口读取数据后解压。
多进程处理不同的数据,根据索引查询,压缩后传输,这样效率应该会高一些。

问题状态

  • Open

类别

2个参与者

MongoDB查询速度慢》有15个想法

  1. 谢答,但个人认为不准确,1.mr我觉得不适合实时计算,更贴合后期数据统计需求,2.aggregate必须支持自定义函数,就好像你定义个abc(1,2)一样肯定是计算了,现在的问题是abc(1,2)这个参数我想传个字段进去,比如abc($qty,2)这样….他就不好使了….难道大家没有在aggregate中用字段进行计算的经历么?

发表评论