[翻译] ProtoBuf 官方文档(六)- 相关技术

翻译查阅外网资料过程中遇到的比较优秀的文章和资料,一是作为技术参考以便日后查阅,二是训练英文能力。

此文翻译自 Protocol Buffers 官方文档 Techniques 部分

翻译为意译,不会照本宣科的字字对照翻译
以下为原文内容翻译

相关技术

本页将介绍一些处理 Protocol Buffers 的常用设计模式。你可以将设计和使用相关的问题发送到 Protocol Buffers 讨论组.

多消息(Message)流

如果要将多条消息(Message)写入单个文件或流,则需要跟踪一条消息的结束位置和下一条消息的开始位置。因为 Protocol Buffer 数据格式不是自定界限的,因此 Protocol Buffer 解析器无法确定消息自身的结束位置。解决此问题最简单的方法就是在每条消息本身内容之前记录消息的大小或长度。当你重新读取消息时,可读取其大小,读取对应字节到单独的缓冲区,然后从该缓存区中解析消息内容。(如果你不想将字节复制到单独的缓冲区,请查看 CodedInputStream 类(C++ 和 Java 都具有此类),这个类可以限制读入缓冲区的字节数)。

大数据集

Protocol Buffers 并不是为处理大信息(large messages)而设计的。依据一般的经验法则,如果你处理的是每个 message 都大于兆字节的数据(messages),那么这个时候可能需要考虑换一种策略。

也就是说,protocol buffers 非常适合处理大数据集中的单个消息。通常大数据集是一些小块数据的集合,而其中每个小块可能是结构化的数据。 尽管 protocol buffers 无法同时处理整个数据集,但可以使用 protocol buffers 对每一小块进行编码从而极大简化我们的问题:现在我们只需要处理一组字节字符串而不是一组结构。

Protocol Buffers 并没有内置对大数据集的支持,因为不同的情况通常需要不同的解决方案。有时一个简单的记录列表就能满足需求,而有时你需要的可能是一个更接近数据库的东西。每一个解决方案都应该作为单独的库去开发,而只有真正需要这些相应解决方案的才需要付出相应成本。

自描述信息

Protocol Buffers 并不包含其自身类型的描述。所以如果没有给出定义类型的 .proto 文件,而只有原始信息(raw message)是很难提取任何有用数据的。

译者注:
自描述信息对于反射实现至关重要

然而,值得注意的是 .proto 文件的内容本身实际上也可以使用 protocol buffers 来表达。源码中的 src/google/protobuf/descriptor.proto 定义了所需的相关类型。protoc 命令可以使用 --descriptor_set_out 选项来输出 FileDescriptorSet(此类就表示一组 .proto 文件)。通过这种方式,你可以定义一个自描述的协议消息,如下所示:

message SelfDescribingMessage {
  // Set of .proto files which define the type.
  required FileDescriptorSet proto_files = 1;

  // Name of the message type.  Must be defined by one of the files in
  // proto_files.
  required string type_name = 2;

  // The message data.
  required bytes message_data = 3;
}

通过 DynamicMessage 类(C++ 和 Java 中可用),你可以编写操作上述 SelfDescribingMessages 的工具。

简单来讲的话,这个功能之所以未包含在 Protocol Buffer 库中,是因为我们从未在 Google 内部使用过它。

此技术需要对 proto2 语法的支持(因为这是 descriptor.proto 使用的语法)以及对使用描述符的动态信息的支持。在使用自描述消息之前,请检查你需要的平台是否支持这些功能。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,757评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,478评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,540评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,593评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,903评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,329评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,659评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,383评论 0 195
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,055评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,337评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,864评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,227评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,820评论 3 231
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,999评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,750评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,365评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,260评论 2 258

推荐阅读更多精彩内容