MongoDB GridFS

BSON

BSON 是由 10gen 开发的一个数据格式,目前主要用于 MongoDB 中,是 MongoDB 的数据存储格式。BSON 基于 JSON 格式,选择 JSON 进行改造的原因主要是 JSON 的通用性及 schema-less 的特性。

BSON 采用 schema-less 存储形式,是一种类似 JSON 的二进制存储格式,全名为 Binary JSON 。它和 JSON 一样支持内嵌文档对象和数组对象,且支持后者未提供的 Date 和 BinDate 数据类型。相比 JSON ,BSON 的优点是灵活性高,缺点是空间利用率较低。

BSON 主要实现了以下三点目标:

(1)更快的遍历速度

对 JSON 格式来说,太大的 JSON 结构会导致数据遍历非常慢。在 JSON 中,要跳过一个文档进行数据读取,需要对此文档进行扫描,而且需要进行麻烦的数据结构匹配,比如括号的匹配。而 BSON 对 JSON 的一大改进就是,它会将 JSON 的每一个元素的长度存在元素的头部,这样你只需要读取到元素长度就能直接 seek 到指定的点上进行读取了。

(2)操作更简易

对 JSON 来说,数据存储是无类型的,比如你要修改基本一个值,从 9 到 10,由于从一个字符变成了两个,所以可能其后面的所有内容都需要往后移一位才可以。而使用 BSON,你可以指定这个列为数字列,那么无论数字从 9 长到 10 还是 100,我们都只是在存储数字的那一位上进行修改,不会导致数据总长变大。当然,在 MongoDB 中,如果数字从整形增大到长整型,还是会导致数据总长变大的。

(3)增加了额外的数据类型

JSON 是一个很方便的数据交换格式,但是其类型比较有限。BSON 在其基础上增加了 byte array 数据类型,这使得二进制的存储不再需要先使用 base64 转换后再存成 JSON ,大大减少了计算开销和数据大小。

但是在有的时候,BSON 相对 JSON 来说也并没有空间上的优势。比如对 {“field”:7},在 JSON 的存储上 7 只使用了一个字节,而如果用 BSON,那就是至少 4 个字节(32 位)。目前在 10gen 的努力下,BSON 已经有了针对多种语言的编码解码包,都是 Apache2 License 下开源的,并且还在随着 MongoDB 一同发展。

GridFS

GridFS 是 Mongo 的一个子模块,使用 GridFS 可以基于 MongoDB 来持久存储文件。并且支持分布式应用。BSON 存储文件数据时要求文件不得超过 16M ,在实际系统开发中,上传的图片或者文件可能尺寸会很大,此时我们可以借用 GridFS 来辅助管理这些文件。

GridFS 是一种文件管理方式,它用于存储和检索超过 16M 的大文件。GridFS 不是将一个大文件存储在一条文档中,而是自动将文件分成块,每一块作为一条文档单独存储。GridFS 使用的块的容量默认是 256K 。

GridFS 不是 MongoDB 自身特性,只是一种将大型文件存储在 MongoDB 的文件规范。GridFS 制定大文件在数据库中的处理规程,通过开发语言驱动来完成、通过 API 接口来存储检索大文件。

存储原理

GridFS 使用两个集合(collection)存储文件。一个集合是 chunks ,用于存储文件内容的二进制数据;一个集合是 files,用于存储文件的元数据。

GridFS 会将两个集合放在一个普通的 buket 中,并且这两个集合使用 buket 的名字作为前缀。MongoDB 的 GridFs 默认使用 fs 命名的 buket 存放两个文件集合。因此存储文件的两个集合分别会命名为集合 fs.files , 集合 fs.chunks 。

当然也可以定义不同的 buket 名字,可以在一个数据库中定义多个 bukets,但所有的集合的名字都不得超过 mongoDB 命名空间的限制。

MongoDB 集合的命名包括了数据库名字与集合名字,会将数据库名与集合名通过 “.” 分隔。而且命名的最大长度不得超过 120bytes 。

使用 GridFS 存储文件时,如果文件大于 256K ,会先将文件分割成多个块,最终将 chunk 块的信息存储在 fs.chunks 集合的多个文档中。然后将文件信息存储在 fs.files 集合的唯一一份文档中。对于同一个大文件,fs.chunks 集合中多个文档中的 file_id 字段对应 fs.files 集中某一个文档的 _id 字段。

读文件时,先根据查询条件在 files 集合中找到对应的文档,同时得到 _id 字段,再根据 _id 在 chunks 集合中查询所有 files_id 等于 _id 的文档。最后根据 n 字段顺序读取 chunk 的 data 字段数据,还原文件。

GridFS 存储文件过程

fs.files 集合中文档的存储内容如下:

{
  "_id": <ObjectId>,        // 文档ID,唯一标识
  "chunkSize": <num>,       // chunk 大小 256K
  "uploadDate": <timetamp>, // 文件上传时间 
  "length": <num>,          // 文件长度
  "md5": <string>,          // 文件md5值
  "filename": <string>,     // 文件名
  "contentType": <string>,  // 文件的 MIME 类型
  "metadata": <dataObject>  // 文件自定义信息
}

fs.chunks 集合中文档的存储内容如下:

{
  "_id": <ObjectId>,        // 文档ID,唯一标识
  "files_id": <ObjectId>,   // 对应 fs.files 文档的 _id
  "n": <num>,               // 序号,标识文件的第几个 chunk
  "data": <binary>          // 文件二级制数据
}

为了提高检索速度 MongoDB 为 GridFS 的两个集合建立了索引。fs.files 集合使用是 filename 与 uploadDate 字段作为唯一、复合索引。fs.chunk 集合使用的是 files_id 与 n 字段作为唯一、复合索引。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249