MongoDB全入门——开发者认证考试准备

基础

1. Bson

BSon是MongoDB的基本数据储存格式。
二进制的Json数据，同Json一样，支持将文档和数组嵌入其他文档和数组中，Bson包含扩展名，允许表示不属于Json规范的数据格式，如日期类型和BinData类型等。

2. JavaScript

熟悉基本的JavaScript语法。如批量插入一些测试数据到MongoDB中：

> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
test    0.485GB

> use test
switched to db test

> db.test.count()
0

> for (i=0; i<100; i++){db.test.insertOne({"num":i})}
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5e3cf9266cb880389a894629")
}

> db.test.count()
100
3. 垂直和水平扩展

理解数据库的垂直分片和水平分片分别是指什么、应用场景、注意事项。
垂直扩展涉及增加单个服务器的容量，例如使用功能更强大的CPU，添加更多RAM或增加存储空间量。垂直扩展是存在一个实际的最大值的。

水平扩展涉及划分系统数据集并在多台服务器上加载，并添加其他服务器以根据需要增加容量。扩展部署的容量仅需要根据需要添加其他服务器，这可以比单台机器的高端硬件降低总体成本。折衷方案是增加基础结构和部署维护的复杂性。

MongoDB是通过分片支持水平拓展的。

4. MongoDB与关系型数据库MySQL的差异

MySQL将数据储存在表中，使用结构化语言SQL进行查询，通常的查询需要使用外键将多个表进行联接合并获取最终结果。MySQL需要预定义好表结构。
MongoDB是NoSQL数据库，将数据存储为类似JSON的文档BSON中，使用MongoDB查询语言（MQL）进行访问。字段类型及数量因文档而异，无需预先定义和束缚。它更适合处理高度多样化且大规模的数据类型。在开发中也不需要使用相对复杂的ORM映射层，返回Json数据格式对开发人员更加友好，其扩展性更加强大和容易。

SQL中术语与MongoDB术语对应名称参考:

SQL MongoDB
database database
table collection
row docment
column field
index index
table join $lookup
primary key(Specify any unique column) primary key(automatically set to the _id field)
... ...

MongoDB一个文档的结构示例：

{
  _id: ObjectId("509a8fb2f3f4948bd2f983a0"),
  user_id: "abc123",
  age: 55,
  status: 'A'
}

CURD操作

在CURD操作前，需要先了解几个简单的命令：
show dbs:查看当前数据库
use <db_name>: 切换到指定数据库
show collections: 显示当前数据库下集合
db: 变量db指向当前使用的数据库名

1. 了解_id字段与ObjectId类型

如果没有特别指明_id字段类型，MongoDB会为每个插入的文档默认会生成一个_id字段，其数据格式为ObjectId，该字段是自动为每个文档生成的唯一标识id字段，且MongoDB会自动为_id字段创建唯一索引。

示例：ObjectId("507f191e810c19729de860ea")
ObjectId是由3个部分组成以确保它的唯一性：

  • 时间戳：4个字节的时间戳值
  • 随机值：5个字节的随机值
  • 计数器: 3个字节的递增计数器，初始化值为随机值

在Mongo shell可使用如下方式获取一个新的ObjectId：

> var x=ObjectId()
> x
ObjectId("5e3d0df76cb880389a894631")

2. C:新增文档

  • inserOne()
db.collection.insertOne({"name": "越大大雨天", "gender": 1})
  • insertMany()
    批量插入多条个数据
db.collection.insertMany([{"name": "越大大雨天", "gender": 1}, {"name": "小雨", "gender": 0, "age": 25}])
  • replaceOne()
    将符合querry条件的文档替换为指定文档：
  • upsert参数
    update时使用，可以自动做到有则更新，无则创建的逻辑。
db.foo.update( { a : 5, b : { \$lte : 7 } }, { $set : { c : 8 } }, { upsert : true } )

针对将foo集合中a等于5，b大于等于7的文档，若存在，则添加字段c等于8，若不存在，则创建新文档{a: 5, c: 8}

  • findAndModify()
    修改并返回单个文档,upsert为true时，不存在则插入。
db.people.findAndModify({
    query: { name: "Andy" },
    sort: { rating: 1 },
    update: { $inc: { score: 1 } },
    upsert: true
})
3. R:查询文档

db.collection.find()

  • 比较运算符
比较符 含义
$gte 大于等于
$gt 大于
$lte 小于等于
$lt 小于

查询字段"count"字段值大于等于4的所有结果：

 db.collection.find( { count: { $gte: 4 } } )
  • 元素运算符
    $in:查询字段元素在指定数组内的所有文档
db.collection.find({"status": {"$in": ["A", "D"]}})

$exists:查找存在指定字段的所有文档

db.bios.find( {
   birth: { \$gt: new Date('1920-01-01') },
   death: { $exists: false }
} )

$all：查询数组字段全部包含指定数组元素的所有文档

db.bios.find( { contribs: { $all: [ "ALGOL", "Lisp" ] } } )

$size：查询数组字段长度为指定值的所有文档

db.bios.find( { contribs: { $size: 4 } } )

elemmatch: 要求数组中每一个元素都符合多个条件才返回

db.bios.find( {"x": {"$elemMatch": {"$gte": 10, "$lt": 20}}} )
  • 正则运算符
db.bios.find( { name: /^Wan?/} )
  • 逻辑运算符
    $and, $or 
db.collection.find($or:[{"num": 1207}, {"winner": true}])
  • 投影
    对查询结果保留指定字段
db.bios.find(
{ contribs: 'OOP' },  
{ "_id":0, 'name.first': 1, birth: 1 }
)
5. 游标：cursor

使用find进行查询时，返回的结果是一个游标，需要进行手动迭代才能得到全部数据。在Python中使用程序查询得到也是一个生成器对象。

var myCursor = db.users.find( { type: 2 } );

while (myCursor.hasNext()) {
   print(tojson(myCursor.next()));
}

/*或者如下方式迭代*/
myCursor.forEach(printjson);

/*或者如下方式转换为列表*/
var documentArray = myCursor.toArray();

使用如下方式获取集合数量不会返回游标：

db.collection.count()
db.collection.distinct()

游标对象也可应用的一些方法：

  • 排序：cursor.sort()
  • 限制返回数量：cursor.limit()
  • 跳过开头：cursor.skip()
  • 返回下一个：cursor.next()
6. U：更新文档

db.collection.update()
db.collection.updateMany()

  • 更新运算符
    $inc, $set, $unset, $pull, $pop
比较符 含义
$inc 递增字段值
$set 更新指定字段，不存在则创建该字段
$unset 移除指定字段 
db.books.update(
   { _id: 1 },
   {
     $inc: { stock: 5 },
     $set: {
       item: "ABC123",
       "info.publisher": "2222",
       "ratings.1": { by: "xyz", rating: 3 }},
     $unset: { tags: 1 }
   }
)
  • 数组修改器
    $push: 向数组增加元素
    $addToSet: 避免向数组插入重复的值，通常和each连用 `pull：删除数组中元素$each`: 指定数组，可一次向数组中添加多个值

向数组中添加指定元素：

db.books.update(
   { _id: 2 },
   {
     $push: { ratings: { "by" : "jkl", "rating" : 2 } }
   }
)

将数组中的每个元素添加到hourly数组中：

db.books.update(
   { _id: 2 },
   {
     $push: { hourly: {$each:[522, 562, 559]}
   }
)

将数组中的每个元素添加到hourly数组中，但只会添加非重复元素：

db.books.update(
   { _id: 2 },
   {
     $addToSet: { hourly: {$each:[522, 562, 559]}
   }
)
  • upsert=True
    前文已做讲解，更新时若指定upsert=True, 则会存在两种执行可能性，若存在查询的文档则正常执行更新操作，若不存在该文档，则会插入新文档。
db.user.update({"rep":  25}, {$inc: {rep: 3}}, upsert=true)
  • $setOnInsert
    一个特殊的运算符，只会在创建文档的时候为指定字段赋值，在之后的更新操作中值都不会改变，通常搭配着upsert=true一起使用。
    例如：可为每个文档创建时间字段，且后续不会改变：
db.user.update({}, {$setOnInsert:{"createAt": new Date()}}, upsert=true)
  • $pull, $pop
    删除数组元素
    $pull：删除指定元素
    $pop：删除数组开头或末尾一个元素

删除数组todo中的"laundry"元素：

db.lists.update({}, $pull:{"todo": "laundry"})

删除数组todo中末尾元素

db.lists.update({}, $pop:{"todo": 1})

{$pop:{"key":-1}}则从数组头部删除一个元素。

7.D:删除文档

db.collection.remove()

删除所有符合条件的文档：

db.products.remove( { qty: { $gt: 20 } } )

仅删除匹配到的第一个文档：

db.products.remove( { qty: { $gt: 20 } , justOne=true} )
  • drop():删除集合
    删除students集合：
db.students.drop()

Index：索引

从根本上来说，MongoDB的索引也类似于其他数据库系统的索引。查询时利用索引可以直接定位到数据所在位置进行返回甚至利用索引完成排序，可以极大的提高结果返回速度。若查询条件不存在索引可用，MongoDB将不得不每次遍历全部的数据后返回我们的结果。

下图说明了使用索引选择和排序匹配文档的查询：


利用索引进行查询和排序

在创建集合期间，MongoDB 会在_id字段上 创建唯一索引。该索引可防止客户端插入两个具有相同值的文档。

具体的索引使用原则及使用规则可自行查看官方文档学习。

1. 创建索引

除默认的_id字段之外，我们可能需要在经常作为查询条件的字段上手动创建索引以提高查询效率。

  • 单键索引
/* 1代表该索引按升序排序，-1则为降序 */
db.test.createIndex({"city": 1})
  • 复合索引
/* 1代表该索引按升序排序，-1则为降序 */
db.test.createIndex({"city": 1, "county": -1})

在使用复合索引时，需要理解覆盖索引与隐式索引的概念，一般来说，复合索引对查询的支持是顺序包含的，比如如下的复合索引相当于同时覆盖了：{{"city": 1, "county": 1}、{"city": 1}两个索引，但却并不能覆盖{"county": 1, "code": 1}、{"code": 1}等非前缀顺序的索引。

{"city": 1, "county": 1, "code": 1}

  • 为嵌入式文档创建索引
    若集合中文档存在嵌入式文档，且需要创建索引,只需要使用.定位到嵌入式字段名即可：
db.records.createIndex( { "location.state": 1 } )
  • 唯一索引
    若还需要利用索引保证某一字段值的唯一性，可以为该字段创建唯一索引，创建唯一索引后，重复该字段值的文档将不能插入：
db.test.createIndex({"city": 1}, {"unique": true})

也可创建复合索引为唯一索引：

db.test.createIndex({"city": 1, "country": -1}, {"unique":true})
  • 全文本索引
    MongoDB提供全文本索引以支持对字符串内容的文本搜索查询， MongoDB的text索引对大小写不敏感。
    一个集合最多可以有一个 text索引。
    为评论字段创建文本索引：
db.reviews.createIndex( { comments: "text" } )

对全文本索引字段的查询方法如下：

db.reviews.find( { $text : { $search : "fact find" } } )

全文本索引的成本比普通索引成本更高，且对写入性能的影响更大。
使用全文本索引进行查询时，将会返回查询条件中的每一个单词或部分或全部包含的结果。

  • 稀疏索引(sparse index)
    由于唯一索引会把null也看做值，而不存在的字段默认会有null值，因此如果创建唯一索引后，将不允许插入多个不存在唯一索引字段的文档, 这一般来说不是我们想要的。
    在创建唯一索引时，可以再指定sparse=true将忽略不存在的字段，即忽略null值。
    使用稀疏索引示例：
db.test.createIndex({"email": 1}, {"unique": true, "sparse": true})
  • TTL索引(time-to-live index)
    TTL索引是一种特殊的单字段索引，MongoDB可使用TTL索引在一定时间后或在特定时钟时间自动从集合中删除文档。
    在日期格式的字段上添加TTL索引，设定过期时间，MongoDB将会60秒对索引进行检查，若当前机器时间与字段时间差超过了索引的过期时间，MongoDB将会自动删除该文档。

对lastModifiedDate字段创建过期时间为3600秒的TTL索引示例：

db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } )

TTL索引仍然支持在该字段上的索引查询。

2. 查询索引

使用以下命令可查询当前集合已存在的索引：

> db.test.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test.test"
    },
    {
        "v" : 2,
        "key" : {
            "city" : 1
        },
        "name" : "city_1",
        "ns" : "test.test"
    },
    {
        "v" : 2,
        "key" : {
            "city" : 1,
            "country" : -1
        },
        "name" : "city_1_country_-1",
        "ns" : "test.test"
    }
]

查询结果表示当前集合test存在三个索引：

  1. _id:1,MongoDB自动创建的_id唯一索引
  2. city:1,city字段的单键索引，按升序排列
  3. city:1,county:-1,city和county两个字段组成的复合索引，按city升序、county降序排列
3. explain解释查询

可使用explain来查看一个查询cursor游标遍历的文档数、使用的索引、耗时等信息，帮助我们优化查询。MongoDB查询优化器会根据可用索引选择并缓存最有效的查询计划。
你也可以使用hint强制MongoDB使用指定的索引进行查询，虽然这不一定有什么用...
找到winningPlan部分，查看最终获胜的查询计划详细信息。

> db.test.find({"city":"San Diego"}).explain()
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "test.test",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "city" : {
                "$eq" : "San Diego"
            }
        },
        "queryHash" : "0491F17A",
        "planCacheKey" : "DD7C864F",
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "city" : 1
                },
                "indexName" : "city_1",
                "isMultiKey" : false,
                "multiKeyPaths" : {
                    "city" : [ ]
                },
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 2,
                "direction" : "forward",
                "indexBounds" : {
                    "city" : [
                        "[\"San Diego\", \"San Diego\"]"
                    ]
                }
            }
        },
        "rejectedPlans" : [
            {
                "stage" : "FETCH",
                "inputStage" : {
                    "stage" : "IXSCAN",
                    "keyPattern" : {
                        "city" : 1,
                        "country" : -1
                    },
                    "indexName" : "city_1_country_-1",
                    "isMultiKey" : false,
                    "multiKeyPaths" : {
                        "city" : [ ],
                        "country" : [ ]
                    },
                    "isUnique" : false,
                    "isSparse" : false,
                    "isPartial" : false,
                    "indexVersion" : 2,
                    "direction" : "forward",
                    "indexBounds" : {
                        "city" : [
                            "[\"San Diego\", \"San Diego\"]"
                        ],
                        "country" : [
                            "[MaxKey, MinKey]"
                        ]
                    }
                }
            }
        ]
    },
    "serverInfo" : {
        "host" : "aYue-MacBook-Pro.local",
        "port" : 27017,
        "version" : "4.2.1",
        "gitVersion" : "edf6d45851c0b9ee15548f0f847df141764a317e"
    },
    "ok" : 1
}

如果需要获取查询耗时、查询遍历的文档数，则可以使用如下executionStats解释模式：

db.test.find({"city":"San Diego"}).explain("executionStats")

访问官方文档了解每个explain输出字段具体含义：https://docs.mongodb.com/manual/reference/explain-results/

4.索引对性能的影响

索引通常会提高读取性能，但会降低写入性能。诸如更新和删除之类的混合操作，可能取决于用例（尽管使用索引通常更快）。
集合写入数据时，将会维护更改索引，索引越多，相对更多的降低写入性能。
索引需要加载到内存中读取， 因此如果索引过多过大超出机器可用的RAM时，MongoDB将会在磁盘中加载索引，大大降低查询效率。
因此，在创建索引时需要综合考虑实际情况，创建性价比更高的索引或复合索引。

聚合:Aggregation

pass

复制集:Replication

1. 基本介绍

副本集提供冗余和高可用性，并且是所有生产部署的基础。复制可提供一定程度的容错能力，以防止丢失单个数据库服务器。


客户端读写操作

在学习复制集时，需要先清除几个名词概念：

  • Arbiter(仲裁器)
    一个复制集需要奇数个服务器构成，在某些服务器成本的限制，你可以使用一个低性能的服务器实例作为一个仲裁器添加到复制集中：


    仲裁器

    仲裁器可以参加投票选举，但是本身不能保存副本数据，也不能成为主节点。

  • Delayed(延迟)
    所有写入都是先写入到Primary主节点的，数据从主节点复制操作日志到Secondary从节点中执行所花费的时间是复制滞后的。
  • votes(投票数)
    当主节点与其他从成员之间的通行延迟超过electionTimeoutMillis配置的时间（默认为10秒）时，会触发自动故障转移，合格的从节点将会投票选举出新的主节点，为集群恢复读写操作。
  • priority(优先级)
    可以为Secondary从节点设置优先级，若指定某个从节点的优先级为priority=0，则该节点永远不会被选举为主节点。
2. 启动副本集

分片:Sharding

pass

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,219评论 4赞 362
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,363评论 1赞 293
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,933评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,020评论 0赞 206
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,400评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,640评论 1赞 219
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,896评论 2赞 313
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,597评论 0赞 199
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,327评论 1赞 244
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,581评论 2赞 246
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,072评论 1赞 261
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,399评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,054评论 3赞 236
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,083评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,849评论 0赞 195
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,672评论 2赞 274
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,585评论 2赞 270

推荐阅读更多精彩内容

  • Mongodb基础知识
    1. 介绍、安装、使用（简单写写，不做详细介绍） 1.1 介绍 Mongodb是属于NoSql的一种数据类型； M...
    Grace_ji阅读 1,478评论 0赞 0
  • 03-MongoDB
    一、MongoDB简介 1.概述 ​ MongoDB是一个基于分布式文件存储的数据库，由C++语言编写。旨在为WE...
    郑元吉阅读 964评论 0赞 2
  • MongoDB【快速入门】
    1.MongDB 简介 MongoDB（来自于英文单词“Humongous”，中文含义为“庞大”）是可以应用于各种...
    我没有三颗心脏阅读 1,131评论 1赞 12
  • MongoDB的安装启动和常用命令
    NoSql数据库优缺点 在优势方面主要体现在下面几点： 简单的扩展 快速的读写 低廉的成本 灵活的数据模型 在不足...
    dreamer_lk阅读 2,609评论 0赞 6
  • MongoDB【快速入门】
    1.MongDB 简介 MongoDB（来自于英文单词“Humongous”，中文含义为“庞大”）是可以应用于各种...
    zwb_jianshu阅读 402评论 0赞 1