要往Gridfs中存放大量文件,如何快速完成导入

发布问题 回首页

要往Gridfs中存放大量文件,如何快速完成导入

★ 0 成为第一个关注这个问题的人

我们是生物方面的应用,要往Gridfs里存放fasta序列文件,现在为了查询方便,我们预计会拆出30亿个fasta的文件,如果顺序导入会很慢,大概7分钟150万个文件,能不能并行的,或者多线程的方法,快速将大量文件导入Gridfs中?

milowang 在大约 之前评论了回答
  • 提问于
  • 回答数1 个
  • 浏览 648 次
  • 最新活跃于

1 个回答1

0
TJ answered about

1) 在导入脚本里用unordered bulk insert的方式批量插入,并使用多线程
2)如果使用mongoimport,3.0版本中工具本身就支持多线程方式, 你也可以同时执行多个mongoimport进程
3)如果你想进一步提高写入量,则要使用分片来提供并发率。可以考虑使用手工分片的方式来防止数据均衡影响插入性能。不过如果你的导入是一次性的,那就不一定划算。因为使用分片各种成本较高。

milowang 在大约 之前评论了回答
1 Comment
To use reCAPTCHA you must get an API key from https://www.google.com/recaptcha/admin/create