mongodb3.6集群性能

发布问题 回首页

mongodb3.6集群性能

★ 1 1 person favorited this question

使用3台配置为E5-2630 v4 DDR3 128G的服务器,搭建3分片(每个分片3副本)的集群,用ycsb插入10亿数据(每条数据约1k大小,使用40线程,批量插入),前1亿吞吐量达到3w多,到了3亿就查看mongostat发现araw进行很大,dirty经常达到20%,请问这是什么原因?
以下是我的启动配置参数:
pidfilepath = /data/mongodb/data/shard1/log/shard1.pid
dbpath = /data/mongodb/data/shard1/data
logpath = /data/mongodb/data/shard1/log/shard1.log
logappend = true
bind_ip = 0.0.0.0
port = 27001
fork = true
wiredTigerCacheSizeGB=20
replSet = shard1
shardsvr = true
maxConns = 20000
wiredTigerDirectoryForIndexes=true

1306691751@qq.com 在大约 之前 回答了
  • 提问于
  • Answers2 个
  • 浏览 9 次
  • 最新活跃于

2 个回答2

0
1306691751@qq.com answered about

但是在ycsb的每10s输出结果看,有时候能达到吞吐量2-3w,有时候却为0。有没有可能存在一些配置问题呢?

1
TJ answered about

大量持续插入的性能瓶颈最终会是在IO上面,特别是数据量超过内存以后。可以找一个工具如FIO来测一下你单机上的IO持续写入性能。

问题状态

  • Open

类别

2个参与者

mongodb3.6集群性能》有12个想法

  1. 谢答,但个人认为不准确,1.mr我觉得不适合实时计算,更贴合后期数据统计需求,2.aggregate必须支持自定义函数,就好像你定义个abc(1,2)一样肯定是计算了,现在的问题是abc(1,2)这个参数我想传个字段进去,比如abc($qty,2)这样….他就不好使了….难道大家没有在aggregate中用字段进行计算的经历么?

发表评论