TJ的博客

在线研讨会|基于MongoDB的数据中台技术实现

xica评论(0)赞(1)

数据中台早已是大家耳熟能详的术语了。数据中台是一种面向业务的,强调服务化的数据平台。对于具有多个BU或者子公司的大型企业和头部企业来说,构建数据中台的难点更多的是在于组织架构的改变。对于那些一直被大而重的数仓或大数据方案忽略的中型企业来说,...

MongoDB + Spark: 完整的大数据解决方案

yingmin评论(4)赞(0)

MongoDB上海的活动已经结束快1个月了,我们再来回顾一下TJ在大会上进行的精彩分享吧~ MongoDB + Spark: 完整的大数据计算解决方案。 Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引...

Mongodump 工作原理(代码解读)

TJ评论(0)赞(0)

MongoDB 在3.0 用Go 语言重写了所有的工具集。下面是对一个最常用的mongodump 备份工具做一些介绍。主要注意的地方: mongodump可以使用多线程来进行并发dump 单个集合还是只能单线程 使用oplog选项可以实现P...

MongoDB 进阶模式设计

TJ评论(0)赞(1)

12月12日上午,TJ在开源中国的年终盛典会上分享了文档模型设计的进阶技巧,就让我们来回顾一下吧: —————————————————————————————————————————————————————————- 从很久以前,我就开始接...

如何估计Oplog的大小

TJ评论(2)赞(0)

用户问题: 最近我的一个复制集的从机出了故障,由于修复的时候耽搁了几个小时,等从机加入到复制集的时候已经超出oplog的有效窗口,只能执行resync的动作把数据从头复制过来,很占时间。我们知道复制集的oplog size 默认是磁盘容量的...

使用YCSB测试MongoDB的微分片性能

TJ评论(6)赞(0)

MongoDB的库级锁 MongoDB是目前最流行的NoSQL数据库,以其自然的文档型数据结构,灵活的数据模式以及简单易用的水平扩展能力而获得了很多开发人员的青睐。 但是金无足赤人无完人,MongoDB不是没有它的一些弱点,比如说它的库级锁...

MongoDB的存储结构及对空间使用率的影响

TJ评论(3)赞(0)

使用MongoDB一段时间的同学肯定会发现,MongoDB往往会占用比实际数据大小多不少空间的问题。如果利用db.stats()命令去查看,会发现MongoDB会报告几种不同的空间大小信息,如dataSize, storageSize以及f...

MongoDB在Linux下常用优化设置

TJ评论(4)赞(0)

以下是一些MongoDB推荐的常用优化设置。在生产环境下选取合适的参数值,例如预读值和默认文件描述符数目等,会对系统性能有很大的影响。 ** 关闭数据库文件的 atime 禁止系统对文件的访问时间更新会有效提高文件读取的性能。这个可以通过在...

MongoDB专业用语翻译

TJ评论(66)赞(0)

 在看一些MongoDB的中文资料的时候,我发现很多术语没有统一的翻译。在和MongoDB的讲中文的几位技术人员讨论之后,我把常用的术语记录在这里以作参考。这个文档会经常更新,如有建议请及时联系! 英文名词 中文 aggregation 聚...