zydcom的文章

2020-01-03zydcom评论(2)赞(5)

MongoDB 从3.6版本开始支持了 Change Stream 能力（4.0、4.2 版本在能力上做了很多增强），用于订阅 MongoDB 内部的修改操作，change stream 可用于 MongoDB 之间的增量数据迁移、同步，也...

2019-09-30zydcom评论(0)赞(12)

MongoDB 使用 BI Connector 来支持 BI 组件直接使用 SQL 或 ODBC 数据源方式直接访问 MongoDB，在早期 MongoDB 直接使用 Postgresql FDW 来实现 SQL 到 MQL 的转换，后来实...

2019-09-29zydcom评论(0)赞(10)

Why Spark with MongoDB? 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单 统一构建...

2019-08-02zydcom评论(0)赞(1)

SERVER-17397: Dropping a Database or Collection in a Sharded Cluster may not fully succeed 是 MongoDB 里老大难的问题，库或集合删除操作如果没...

2019-07-26zydcom评论(0)赞(6)

MongoDB oplog 记录数据库的所有修改操作，除了用于主备同步；oplog 还能玩出很多花样，比如 全量备份 + 增量备份所有的 oplog，就能实现 MongoDB 恢复到任意时间点的功能 通过 oplog，除了实现到备节点的同步...

2019-07-17zydcom评论(2)赞(10)

为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档，有两种方式 db.collection.remove({}, {multi: true})，逐个文档从 btree 里删除...

2019-07-10zydcom评论(2)赞(13)

最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：...

2019-05-23zydcom评论(0)赞(6)

MongoDB 提供 currentOp 命令，列出当前正在执行的查询操作，并提供 killOp 命令，用于中止一些耗时比较长，影响线上业务的操作，作为一种应急手段。 下图是一个 currentOp 命令的输出项之一，用户在获取到 opid...

2019-04-26zydcom评论(1)赞(10)

生产环境分片改造为复制集的解决方案 背景 生产线上使用 MongoDB Sharidng 的场景非常多，但由于业务初期评估不到位或者业务发展不符合预期，为了管理起来更方便，可能需要将 Sharding 改造为 复制集。 我就针对生产级业务环...

2019-01-08zydcom评论(4)赞(30)

最近接到多个MongoDB内存方面的线上case及社区问题咨询，主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存？ 一个机器上部署多个 Mongod 实例/进程，WiredTiger cache 应该如何配置？ Mongo...