22.5-msgpack使用

一个人是真心,还是假意,不在嘴上,而在心里;一份情是虚伪,还是实际,不在平时,而在风雨。关键时刻,方知真朋假友;长久守候,方知谁留谁走;善于利用人没问题,别卸磨杀驴就行;别人怎么看我无所谓,自己问心无愧就行。一次又一次的降温,才让树叶变黄;一回又一回的漠视,才把人心变凉。帮我的人,忘不了;害我的人,不计较。我始终坚信:人心能换来人心,宽容能赢得感恩。


总结:

  1. 写一个协议都是二进制级别的,对位操作、二进制都要运用自如;
  2. 字节、数字、字符串、序列、文本之间的关系;

JSON

JSON(JavaScript Object Notation, JS 对象标记)是一种轻量级的数据交换格式。它基于 ECMAScript (w3c组织制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。

Python类型 Json类型
True true
False false
None null
str string
int integer
float float
list array
dict object
import json
d = {'name':'Tom', 'age':20, 'interest':['music', 'movie']}
j = json.dumps(d)
print(j, type(j)) # 请注意引号的变化,注意数据类型的变化
d1 = json.loads(j)
print(d1)
#-----------------------------------------------------
{"name": "Tom", "age": 20, "interest": ["music", "movie"]} <class 'str'>
{'name': 'Tom', 'age': 20, 'interest': ['music', 'movie']}

一般json编码的数据很少落地,数据都是通过网络传输。传输的时候,要考虑压缩它。

本质上来说它就是个文本,就是个字符串。
json很简单,几乎语言编程都支持Json,所以应用范围十分广泛。

msgapck

模块名称 描述 提供的api
json 序列化成json 格式; 不是所有地方都用,json效率低下 dumps() 、dump() 、loads() 、 load()
pickle 序列化成二进制格式;不是一种很高效的协议序列化传输方案 dumps()、dump()、loads()、load()、
shelve 专门用于将Python数据类型的数据持久化到磁盘,shelve是一个类似dict的对象,操作十分便捷 open()
msgpack 像JSON一样,跨平台、跨操作系统、在多种语言之间使用,高效压缩 packb、unpackb、pack、unpack、dumps、loads

msgpack——It's like JSON,but fast and small.
msgpack会将数据打包成二进制的数据,它的数据格式与json类似,但是在存储时对数字、多字节字符、数组等都做了很多优化,减少了无用的字符,二进制格式,也保证不用字符化带来额外的存储空间的增加,所以在很大程度上减少来传输数据的大小。

如果说把json数据的大小比作西瓜大小,那么protobuf就是苹果大小,msgpack呢,则是红豆大小,所以msgpack使用优势还是很明显的!

https://msgpack.org/

# JSON与pickle 字节数目 比较 ;
import json,pickle
d = {'name':'Tom', 'age':20, 'interest':['music', 'movie']}
j = pickle.dumps(d)    # 85;
print(j, len(j)) # 请注意引号的变化,注意数据类型的变化

j1 = json.dumps(d)   # 58;
print(j1, len(j1))
#------------------------------------------------------------------------
b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x03\x00\x00\x00Tomq\x02X\x03\x00\x00\x00ageq\x03K\x14X\x08\x00\x00\x00interestq\x04]q\x05(X\x05\x00\x00\x00musicq\x06X\x05\x00\x00\x00movieq\x07eu.' 85
{"name": "Tom", "age": 20, "interest": ["music", "movie"]} 58

msgpack() 方法 ——
packb 序列化对象,提供了dumps来兼容pickle和json
unpackb 反序列化对象,提供了loads来兼容
pack 序列化对象保存到文件对象,提供了dump来兼容
unpack 反序列化对象保存到文件说对象,提供了load来兼容

如代码所示,我们采用packb对数据进行打包,使用unpackd进行解包


import msgpack
msgpack.packb([1, 2, 3], use_bin_type=True)
msgpack.unpackb(_, raw=False)
#---------------------------------------------------------
'\x93\x01\x02\x03'
[1, 2, 3]

# 借助于bytesIO打包数据:
import msgpack
from io import BytesIO

buf = BytesIO()
for i in range(100):
   buf.write(msgpack.packb(i, use_bin_type=True))

buf.seek(0)
unpacker = msgpack.Unpacker(buf, raw=False)
for unpacked in unpacker:
    print(unpacked)

在使用packb和unpackb方法时可以默认只传一个参数,也就是要打包/解包的数据,其他都可以默认不传。

除了使用packed方法,msgpack很人性化的提供了另一种打包和解包的方法,这个方法和json打包/解包的方法一样,那就是dumps和loads方法了

import msgpack
a = msgpack.dumps([1, 2, 3], use_bin_type=True)

msgpack.loads(a, raw=False)

推荐阅读更多精彩内容