2017.MongoDB北京用户组大会全纪录(内附PPT,视频)

6月3日,希格玛大厦B1小剧场热闹非凡。
热情的mongoer们早早来到了现场,
签到台前,monging中文社区和海量数据学院的工作人员为迎接热情的mongoer们忙得不可开交。
我们准备的限量版小礼品颇受欢迎,粉丝们表示-很喜欢!

现场气氛热烈,座无虚席。
WeChat_1496636561
现场0
现场1
现场3

满满的干货更是让现场的小伙伴们收获颇丰,让我们来看看大牛们的精彩分享吧–


演讲嘉宾:腾讯网络媒体事业群 数据库工程师 周奇
演讲主题:MongoDB在腾讯网媒产品中的应用

周奇

周奇首先给大家介绍了MongoDB在OMG的使用场景:
1. 消息推送场景:需尽快完成推送,存储写入并发高,峰值30wqps;数据量比较大,日均新增600G;运营统计分析需求,查询纬度较多。
2. 简单的图片存储系统。存储少量图片需求:a.支持修改,查看图片操作 b.容量约有4T,且需存储图片上传人、上传时间等多维信息
c.开发和维护人力成本限制
3. 大容量存储场景。用户评论数据存储:a.存储量大,月均400G,存储成本高 b.之前业务在MySQL按月分库分表,开发代码成本高
4. 模式变更频繁场景。抓取文章数据存储: 频繁变更库表结构.
接着,从运营、平台和拓扑等几个方面详细介绍了MongoDB托管现状。
WeChat_1496677151

WeChat_1496677162

WeChat_1496677170
最后,周奇跟大家分享了MongoDB管理经验–包括Mongo适用的场景;Mongo使用的限制;如何正确访问Mongo集群?Mongo驱动使用注意点;如何搭建可靠的Mongo集群?系统和server参数调优;Mongo性能管理;谨慎使用Sharding;数据备份恢复等。
【更多内容欢迎下载PPT进行了解】


演讲嘉宾:锦航科技的技术总监 肖宝仲
演讲主题:MongoDB在网络地理信息系统中的实践

宝仲2

首先,宝仲给大家从系统需求、背景知识、特点、面临难题等方面介绍了网络地理信息系统。何谓WebGIS?它是指支持在Internet上发布地理信息和服务,而用户可以随时随地获取分布的空间数据和服务的一种技术,是Web技术和GIS技术相结合的产物。
系统需求:
WeChat_1496663749
面对系统难点:1.写重,读轻。每三个月更新一次地图数据,其余主要是读取地图数据 2.瓦片存储量巨大。行政地图220亿个瓦片,增加卫星地图存储量翻倍 3.高可用。平时使用不多,一旦使用必须可用。
系统架构如图所示:
WeChat_1496665483
然后在介绍完技术选型后给大家详细分享了MongoDB在网络地理信息系统中的应用实践。
从MongoDB模型设计到MongoDB数据库设计,从瓦片数据库设计到Local数据库设计。
在聊到MongoDB分片设计时,他告诉大家,考虑分片,通常是要解决如下2个问题:
1.存储容量受单机限制,即磁盘资源遭遇瓶颈。
2.读写能力受单机限制
然后提出了解决海量存储设计方式以及解决高并发写入设计方式。
最后,宝仲给大家分享了MongoDB集群设计、MongoDB集群部署方案以及实际部署效果,并就经历的问题(例如:多集合设计的问题、内存的使用纠结问题等)做了分享。
【更多内容欢迎下载PPT进行了解】


演讲嘉宾:百度资深工程师 李岑
演讲主题:MongoDB应用实践

李岑

首先,李岑给大家介绍了业务场景和业务需求,继而探讨了why MongoDB?

他给出了如下理由:
文档型+schema-free
文档型语意描述真实对象更自然
数据建模相对简单,开发人员友好
字段扩展,适合快速迭代开发
完善的分布式方案,高可用、高可靠、维护成本低
复制集:故障检测、故障切换
集群化:数据分区、数据均衡
完善生态环境(driver、部署、统计监控、平台)
社区活跃

接着,李岑给大家介绍了关于MongoDB的部署,引擎,构架演进,外围建设,稳定性,空间回收,扩容,冷热数据等一系列内容。
WeChat_1496671088
WeChat_1496670915
WeChat_1496670980
【更多内容欢迎下载PPT进行了解】


演讲嘉宾:MongoDB的亚太区咨询服务经理 林涛
演讲主题:MongoDB在IoT与工业4.0上的应用浅析

林涛

首先,林涛给大家介绍了IOT的发展趋势与挑战。IoT 是当前CEO关注的重点领域之一,而数据管理挑战是当前IoT项目面临的核心挑战。根据一项2015年针对当前IoT项目的技术团队和业务团队的调查结果显示,只有8%的项目完全实现了数据的及时采集和分析处理。
在IoT场景下,从数据采集-数据入库-数据清理-数据集成-数据分析到最后数据交付,数据处理流程的每一步都面临挑战。为支持IoT的数据管理要求,需要新的数据管理能力。
WeChat_1496671864
海量的IoT连接设备将产生真正海量的数据,根据IDC的预测,未来的10年,全世界每分钟新增1万5千个IoT连接设备,数量达到数百亿
数百亿的IoT连接设备,将产生高达4ZB的数据需要处理。而传统数据的垂直扩展方式、成本无法承受,性能难以应对。
MongoDB作为分布式数据库,通过水平扩展应对大数据量挑战:
1.MongoDB通过分片将数据保存在不同x86服务器上,分散读写负载
2.MongoDB通过片键确定数据位置,并自动实现数据存储分布的均衡
3.对不同服务器上数据的查询,MongoDB自动组装,对应用完全透明

针对传统数据库难以高效处理复杂的业务信息的问题,MongoDB在设计IoT数据模型上,有明显的优势:
与业务层次逻辑保持一致,易于理解与处理
直接提供支持地理信息的存储、索引与查询
数据存储节约空间、且后续扩展简单又便利

接着林涛介绍了MongoDB通过自身框架和集成能力,可支持IoT应用所需的各类分析能力;MongoDB分布式架构,同时支持应用执行多种分析,并将彼此影响降到最低。保持系统稳定、健康,运维挑战面临三大调整。MongoDB从架构和工具两个层面保证系统稳定、健康。
WeChat_1496672917
因为MongoDB所具备的大数据处理能力、灵活的文档结构、高读写性能、极强数据分析能力和企业级的稳定性可靠性,MongoDB非常适用于IoT平台数据库。为此,2016年Forrester将MongoDB列为大数据NoSQL的最领先领导者。
最后,林涛为大家分享了一系列MongoDB成功客户案例。
【更多内容欢迎下载PPT进行了解】


演讲嘉宾:腾讯运维工程师 刘迪
演讲主题:分布式存储系统设计方案浅析

liudi

一开始,刘迪给大家介绍了大数据行业的发展现状,然后就分布式存储系统做了讲解,分布式存储系统是大量普通的PC服务器通过Internet互联,对外作为一个整体提供存储服务。分布式存储关键技术:
WeChat_1496673453

接下来,对大规模分布式存储架构做了详细介绍,架构特点:GFS+ Bigtable双层架 构,Bigtable是在GFS之上的一层分布式索引。
设计理念:构建在廉价硬件之上,通过软件层面提供自动化容错和线性扩展能力。数据结构:Bigtable系统有很多表格组成,每个表格包括很多行,每行通过一个主键(Row Key)唯一标识,每行又包括很多列(Column)。某一行的某一列构成一个单元(Cell),每个单元包含多个版本的数据。多个列组织成一个列族,是Bigtable中访问控制的基本单元,列族创表前需预先设定。然后从架构-数据分布-容错-存储做了分析。
关于Tera,它是由百度开源的一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,100PB级的数据存储量,支撑了目前百度万亿级的动态读写业务。
关于Tera的性能指标-架构-数据分布-容错-复制与一致性-负载均衡-存储-Leveled,刘迪为大家一一做了详细介绍。
最后在对小规模分布式存储架构进行了介绍之后,刘迪对腾讯MongoDB托管平台建设历程做了分享。
WeChat_1496674878
【更多内容欢迎下载PPT进行了解】


最后,本次活动结束前,我们进行了现场摇一摇抽奖活动,现场有5名幸运用户抽到了限量定制版雨伞。
WeChat_1496637021
WeChat_1496643449


文章的最后,

感谢所有的志愿者们,谢谢你们对本次活动的付出;
感谢所有的合作伙伴们,期待接下来更棒的合作;
也要感谢所有到场的参与者们,你们的支持是我们的动力。

预告一下即将到来的6月底成都线下用户组活动,除了大家期待的丰盛礼品,大咖们将一如既往的带来最新鲜最实用的干货,令你满载而归。而之后也会陆续在其它城市举办线下用户组活动,欢迎大家积极关注和参与中文社区的活动!

嘉宾PPT下载地址:

https://pan.baidu.com/s/1bo3cpzD

由我们合作伙伴IT大咖说为活动录制的视频已经出炉咯
WeChat_1496746033
视频回放链接:

http://www.itdks.com/dakashuo/playback/342

发表评论