22.5-msgpack使用

一个人是真心,还是假意,不在嘴上,而在心里;一份情是虚伪,还是实际,不在平时,而在风雨。关键时刻,方知真朋假友;长久守候,方知谁留谁走;善于利用人没问题,别卸磨杀驴就行;别人怎么看我无所谓,自己问心无愧就行。一次又一次的降温,才让树叶变黄;一回又一回的漠视,才把人心变凉。帮我的人,忘不了;害我的人,不计较。我始终坚信:人心能换来人心,宽容能赢得感恩。


总结:

  1. 写一个协议都是二进制级别的,对位操作、二进制都要运用自如;
  2. 字节、数字、字符串、序列、文本之间的关系;

JSON

JSON(JavaScript Object Notation, JS 对象标记)是一种轻量级的数据交换格式。它基于 ECMAScript (w3c组织制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。

Python类型 Json类型
True true
False false
None null
str string
int integer
float float
list array
dict object
import json
d = {'name':'Tom', 'age':20, 'interest':['music', 'movie']}
j = json.dumps(d)
print(j, type(j)) # 请注意引号的变化,注意数据类型的变化
d1 = json.loads(j)
print(d1)
#-----------------------------------------------------
{"name": "Tom", "age": 20, "interest": ["music", "movie"]} <class 'str'>
{'name': 'Tom', 'age': 20, 'interest': ['music', 'movie']}

一般json编码的数据很少落地,数据都是通过网络传输。传输的时候,要考虑压缩它。

本质上来说它就是个文本,就是个字符串。
json很简单,几乎语言编程都支持Json,所以应用范围十分广泛。

msgapck

模块名称 描述 提供的api
json 序列化成json 格式; 不是所有地方都用,json效率低下 dumps() 、dump() 、loads() 、 load()
pickle 序列化成二进制格式;不是一种很高效的协议序列化传输方案 dumps()、dump()、loads()、load()、
shelve 专门用于将Python数据类型的数据持久化到磁盘,shelve是一个类似dict的对象,操作十分便捷 open()
msgpack 像JSON一样,跨平台、跨操作系统、在多种语言之间使用,高效压缩 packb、unpackb、pack、unpack、dumps、loads

msgpack——It's like JSON,but fast and small.
msgpack会将数据打包成二进制的数据,它的数据格式与json类似,但是在存储时对数字、多字节字符、数组等都做了很多优化,减少了无用的字符,二进制格式,也保证不用字符化带来额外的存储空间的增加,所以在很大程度上减少来传输数据的大小。

如果说把json数据的大小比作西瓜大小,那么protobuf就是苹果大小,msgpack呢,则是红豆大小,所以msgpack使用优势还是很明显的!

https://msgpack.org/

# JSON与pickle 字节数目 比较 ;
import json,pickle
d = {'name':'Tom', 'age':20, 'interest':['music', 'movie']}
j = pickle.dumps(d)    # 85;
print(j, len(j)) # 请注意引号的变化,注意数据类型的变化

j1 = json.dumps(d)   # 58;
print(j1, len(j1))
#------------------------------------------------------------------------
b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x03\x00\x00\x00Tomq\x02X\x03\x00\x00\x00ageq\x03K\x14X\x08\x00\x00\x00interestq\x04]q\x05(X\x05\x00\x00\x00musicq\x06X\x05\x00\x00\x00movieq\x07eu.' 85
{"name": "Tom", "age": 20, "interest": ["music", "movie"]} 58

msgpack() 方法 ——
packb 序列化对象,提供了dumps来兼容pickle和json
unpackb 反序列化对象,提供了loads来兼容
pack 序列化对象保存到文件对象,提供了dump来兼容
unpack 反序列化对象保存到文件说对象,提供了load来兼容

如代码所示,我们采用packb对数据进行打包,使用unpackd进行解包


import msgpack
msgpack.packb([1, 2, 3], use_bin_type=True)
msgpack.unpackb(_, raw=False)
#---------------------------------------------------------
'\x93\x01\x02\x03'
[1, 2, 3]

# 借助于bytesIO打包数据:
import msgpack
from io import BytesIO

buf = BytesIO()
for i in range(100):
   buf.write(msgpack.packb(i, use_bin_type=True))

buf.seek(0)
unpacker = msgpack.Unpacker(buf, raw=False)
for unpacked in unpacker:
    print(unpacked)

在使用packb和unpackb方法时可以默认只传一个参数,也就是要打包/解包的数据,其他都可以默认不传。

除了使用packed方法,msgpack很人性化的提供了另一种打包和解包的方法,这个方法和json打包/解包的方法一样,那就是dumps和loads方法了

import msgpack
a = msgpack.dumps([1, 2, 3], use_bin_type=True)

msgpack.loads(a, raw=False)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容