• 1. MongoDB技术交流王亚军
  • 2. MongoDB简介 Mongo 是一个高性能,开源,无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。
  • 3. MongoDB简介 特点 高性能、易部署、易使用,存储数据非常方便。主要功能特性有: *面向集合存储,易存储对象类型的数据。 *模式自由。 *支持动态查询。 *支持完全索引,包含内部对象。 *支持查询。 *支持复制和故障恢复。 *使用高效的二进制数据存储,包括大型对象(如视频等)。 *自动处理切片,以支持云计算层次的扩展性 *支持Python,PHP,Ruby,Java,C,C#,Javascript,Perl及C++语言的驱动程序,社区中也提供了对Erlang 及.NET等平台的驱动程序。 *文件存储格式为BSON(一种JSON的扩展) *可通过网络访问
  • 4. MongoDB简介 功能 面向集合的存储:适合存储对象及JSON形式的数据。 动态查询:Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组。 完整的索引支持:包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式,并生成一个高效的查询计划。 查询监视:Mongo包含一个监视工具用于分析数据库操作的性能。 复制及自动故障转移:Mongo数据库支持服务器之间的数据复制,支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。 高效的传统存储方式:支持二进制数据及大型对象(如照片或图片) 自动分片以支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器。
  • 5. MongoDB简介 适用场合 网站数据:Mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。 缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源 过载。 大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。 高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。 用于对象及JSON数据的存储:Mongo的BSON数据格式非常适合文档化格式的存储及查询。
  • 6. 使用原理所谓“面向集合”(Collenction-Oriented),意思是数据被分组存储在数据集中,被称为一个集合(Collenction)。每个集合在数据库中都有一个唯一的标识名,并且可以包含无限数目的文档。集合的概念类似关系型数据库(RDBMS)里的表(table),不同的是它不需要定义任何模式(schema)。   模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。   存储在集合中的文档,被存储为键-值对的形式。键用于唯一标识一个文档,为字符串类型,而值则可以是各种复杂的文件类型。我们称这种存储形式为BSON(Binary Serialized dOcument Format)。
  • 7. MongoDB简介 不适用场合 高度事务性的系统:例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。 传统的商业智能应用:针对特定问题的BI数据库会对产生高度优化的查询方式。对于此类应用,数据仓库可能是更合适的选择。 需要SQL的问题
  • 8. MongoDB操作 安装 wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-1.2.4.tgz tar -zxvf mongodb-linux-x86_64-1.2.4.tgz mkdir -p /data/db cd /data/db mkdir m_data m_log cd mongodb-linux-x86_64-1.2.4 启动: bin/mongod --dbpath=/data/db/m_data --logpath=/data/db/m_log --logappend --port=27017 &
  • 9. MongoDB操作 普通操作 1、新建集合集: > db.createCollection("user"); 2、查入数据: > db.user.insert({uid:1,username:"Falcon.C",age:25}); > j = { name: "mongo"}; > db.things.save(j); > for( var i = 1; i < 10; i++ ) db.tables.save( { x:4, j:i } ); 3、更新数据: > db.user.update({uid:1},{$set:{age:26}}) #age=26 > db.user.update({uid:1},{$inc:{age:-1}}) #age=age-1
  • 10. MongoDB操作 普通操作 4、查询: 4.1遍历集 > var cursor = db.things.find(); > while (cursor.hasNext()) { print(tojson(cursor.next())); } 4.2 方法2 > db.things.find().forEach( function(x){print(tojson(x));}); 4.3、获取结果集 > var cursor = db.things.find(); > print (tojson(cursor[4])); > var arr = db.things.find().toArray(); > arr[5];
  • 11. MongoDB操作 普通操作 5、条件查询: > db.things.find({name:"mongo"}).forEach(function(x) { print(tojson(x));}); 等价于: SQL:SELECT * FROM things WHERE name="mongo" >db.things.find({x:4}, {j:true}).forEach(function(x) { print(tojson(x));}); 等价于: SQL:SELECT j FROM things WHERE x=4
  • 12. MongoDB操作 普通操作 6、sort用法 >db.things.find({tags :'economy'}).sort({ts:-1}).limit(10); 等价于: SQL: select * from things where 'economy' in tags order by ts DESC limit 10 7、findOne用法 > var mongo = db.things.findOne({name:"mongo"}); > print(tojson(mongo)); 8、limit用法 db.things.find().limit(3);
  • 13. MongoDB操作 索引 >db.u_info.insert({uid:1,name:"Falcon.C",address:"Beijing"}); >db.u_info.insert({uid:2,name:"sexMan",address:"Wuhan"}); 添加: >db.u_info.ensureIndex({uid:1}); >db.u_info.ensureIndex({name:1}); 删除: >db.u_info.dropIndex("name_1") 查询索引 >db.u_info.find({name:"Falcon.C"}).explain(); 查询的条件中有索引时,查询走BtreeCursor 的索引,而没有索引时走BasicCursor。
  • 14. MongoDB操作 Mongo与Mysql语法对应关系图
  • 15. MongoDB操作 同步复制 1、Master对Slave [Master] bin/mongod --dbpath=/data/db/m_data --logpath=/data/db/m_log --logappend --port=27017 --master --auth & [Slave] bin/mongod --dbpath=/data/db/m_data --logpath=/data/db/m_log --logappend --port=27017 --slave --source=192.168.202.15:27017 --auth &
  • 16. MongoDB操作 同步复制 2、Master对Master [Master1] bin/mongod --dbpath=/data/db/m_data --logpath=/data/db/m_log --logappend --port=27017 --master --slave --source=192.168.202.14:27017 & [Master2] bin/mongod --dbpath=/data/db/m_data --logpath=/data/db/m_log --logappend --port=27017 --master --slave --source=192.168.202.15:27017 &
  • 17. MongoDB操作 分布式-Sharding(切片)
  • 18. MongoDB操作 分布式-Sharding(切片) MongoDB的auto-sharding功能是指mongodb通过mongos自动建立一个水平扩展的数据库集群系统,将数据库分表存储在sharding的各个节点上。一个mongodb集群包括一些shards(包括一些mongod进程),mongos路由进程,一个或多个config服务器 Shards 每一个shard包括一个或多个服务和存储数据的mongod进程(mongod是MongoDB数据的核心进程) 典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集
  • 19. MongoDB操作 分布式-Sharding(切片) Chunks Chunk是一个来自特殊集合中的一个数据范围,(collection,minKey,maxKey)描叙一个chunk,它介于minKey和maxKey范围之间。例如chunks 的maxsize大小是100M,如果一个文件达到或超过这个范围时,会被切分到2个新的chunks中。当一个shard的数据过量时,chunks将会被迁移到其他的shards上。同样,chunks也可以迁移到其他的shards上。 Config Servers Config服务器存储着集群的metadata信息,包括每个服务器,每个shard的基本信息和chunk信息,Config服务器主要存储的是chunk信息。每一个config服务器都复制了完整的chunk信息。
  • 20. MongoDB操作 分布式-Sharding(切片) Mongodb配置Sharding详细过程.doc
  • 21. 优化SQL Server有工具进行数据库的优化,Mongo Database Profiler.不仅有,而且功能更强大。 MongoDB 自带 Profiler,可以非常方便地记录下所有耗时过长操作,以便于调优。有两种方式可以控制 Profiling 的开关和级别,第一种是直接在启动参数里直接进行设置。 启动MongoDB时加上–profile=级别 即可。 也可以在客户端调用db.setProfilingLevel(级别) 命令来实时配置。可以通过db.getProfilingLevel()命令来获取当前的Profile级别。 1 2 3 > db.setProfilingLevel(2); {"was" : 0 , "ok" : 1} > db.getProfilingLevel() 上面斜体的级别可以取0,1,2 三个值,他们表示的意义如下: 0 – 不开启,关闭性能分析,测试环境可以打开,生成环境关闭,对性能有很大影响 1 – 记录慢命令 (默认为>100ms) 2 – 记录所有命令 Profile 记录在级别1时会记录慢命令,那么这个慢的定义是什么?上面我们说到其默认为100ms,当然有默认就有设置,其设置方法和级别一样有两种,一种是通过添加–slowms启动参数配置。第二种是调用db.setProfilingLevel时加上第二个参数:1 2 db.setProfilingLevel( level , slowms ) db.setProfilingLevel( 1 , 10 );
  • 22. 优化Profiler 信息保存在 system.profile (Capped Collection) 中。也可以通过这个工具进行设置和查看数据:强大的MongoDB数据库管理工具 Mongo Shell 还提供了一个比较简洁的命令show profile,可列出最近5条执行时间超过1ms的 Profile 记录。 查看当前库下所有集合的分析数据 db.system.profile.find() 查看某一个集合的分析数据 db.system.profile.find({info:/user.info/}) 查看执行时间大于100毫秒的执行操作,并倒序排列,并取前5行 db.system.profile.find({millis:{$gt:100}}).sort({$natural:-1}).limit(5); Profile 信息内容详解: ts-该命令在何时执行. millis Time-该命令执行耗时,以毫秒记. info-本命令的详细信息. query-表明这是一个query查询操作. ntoreturn-本次查询客户端要求返回的记录数.比如, findOne()命令执行时 ntoreturn 为 1.有limit(n) 条件时ntoreturn为n. query-具体的查询条件(如x>3). nscanned-本次查询扫描的记录数. reslen-返回结果集的大小. nreturned-本次查询实际返回的结果集. update-表明这是一个update更新操作. fastmod-Indicates a fast modify operation. See Updates. These operations are normally quite fast. fastmodinsert – indicates a fast modify operation that performed an upsert. upsert-表明update的upsert参数为true.此参数的功能是如果update的记录不存在,则用update的条件insert一条记录. moved-表明本次update是否移动了硬盘上的数据,如果新记录比原记录短,通常不会移动当前记录,如果新记录比原记录长,那么可能会移动记录到其它位置,这时候会导致相关索引的更新.磁盘操作更多,加上索引更新,会使得这样的操作比较慢. insert-这是一个insert插入操作. getmore-这是一个getmore 操作,getmore通常发生在结果集比较大的查询时,第一个query返回了部分结果,后续的结果是通过getmore来获取的。
  • 23. 优化MongoDB 查询优化 如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。 reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看find函数的第二个参数是否只写上了你需要的属性名。(类似于MySQL中不要总是select *) 对于创建索引的建议是:如果很少读,那么尽量不要添加索引,因为索引越多,写操作会越慢。如果读量很大,那么创建索引还是比较划算的。 MongoDB 更新优化 如果写查询量或者update量过大的话,多加索引是会有好处的。以及~~~~(省略N字,和RDBMS差不多的道理) Use fast modify operations when possible (and usually with these, an index). See Updates. Profiler 的效率 Profiling 功能肯定是会影响效率的,但是不太严重,原因是他使用的是system.profile 来记录,而system.profile 是一个capped collection 这种collection 在操作上有一些限制和特点,但是效率更高。 优化建议: 如果 nscanned 远大于 nreturned,那么需要使用索引。 如果 reslen 返回字节非常大,那么考虑只获取所需的字段。 执行 update 操作时同样检查一下 nscanned,并使用索引减少文档扫描数量。 使用 db.eval() 在服务端执行某些统计操作。 减少返回文档数量,使用 skip & limit 分页
  • 24. MongoDB技巧汇总 备份 ./mongodump -u admin -p 123456 -d user -o user -d db -o path 还原 ./mongorestore -u admin -p 123456 -d user -c user user/user/user.bson 帮助信息 db.help(); db.user.help(); 监控地址 http://192.168.100.247:28017/ 数据访问接口 http://192.168.202.15:28017/user/user/
  • 25. MongoDB管理平台 Opricot phpMoAdmin