Golang protobuf

相关知识可以参考
Cocos Creator Protobuf的js版本使用
protoc2 与 protoc3 区别
Golang gob与rpc简介
Go是如何实现protobuf的编解码的(2):源码

一、安装

参考golang使用protobuf插件
1.protoc
protoc是protobuf文件(.proto)的编译器,可以借助这个工具把 .proto 文件转译成各种编程语言对应的源码,包含数据类型定义、调用接口等。

通过查看protoc的源码(参见github库)可以知道,protoc在设计上把protobuf和不同的语言解耦了,底层用c++来实现protobuf结构的存储,然后通过插件的形式来生成不同语言的源码。可以把protoc的编译过程分成简单的两个步骤:

  • 解析.proto文件,转译成protobuf的原生数据结构在内存中保存;
  • 把protobuf相关的数据结构传递给相应语言的编译插件,由插件负责根据接收到的protobuf原生结构渲染输出特定语言的模板。

源码中(参见github库)包含的插件有 csharp、java、js、objectivec、php、python、ruby等多种。

https://github.com/google/protobuf/releases下载protoc-3.7.0-win64.zip解压后,将bin文件夹下的protoc.exe复制到GOPATH/bin下即可(放这个目录是因为,我们的GOROOT在配置GoLang环境的时候,GoLang已经帮我们设置好了环境变量,如果你要放其他目录,那么要自己去设置环境变量)。

2.protoc-gen-go

protoc-gen-go是protobuf编译插件系列中的Go版本。从上一小节知道原生的protoc并不包含Go版本的插件

由于protoc-gen-go是Go写的,所以安装它变得很简单,只需要运行 go get -u github.com/golang/protobuf/protoc-gen-go,便可以在$GOPATH/bin目录下发现这个工具。

如果获取不到的话 可以自己去gitbub上面 clone或是下载 地址:连接地址
记得下载后要复制到github.com/golang这个目录下,然后进行手动安装

go install github.com\golang\protobuf\protoc-gen-go

之后会在bin文件夹里面生成protoc-gen-go.exe,把protoc-gen-go.exe也放到%GOROOT%一起

3.生成
可以通过下面的命令来使用protoc-gen-go了。比如我们新建一个testCui.proto,然后执行protoc ./testCui.proto --go_out ./就会生成一个testCui.pb.go文件。

我们可以修改命令来指定proto文件目录,且可以控制生成go文件的位置。进入cmd 执行protoc --proto_path=你proto文件的目录 --go_out=生成go文件的目录 你的proto文件.proto。这样就可以指定你的proto文件就可以放在任意地方了,包括可以直接在项目里面生成的go文件 不过每次都要进入cmd执行这这么麻烦命令也是很烦的,最后我还是写了bat文件

::执行命令不显示
@echo off

::更改当前目录为批处理本身的目录 
set PATH=%~dp0
echo BAT PATH:%PATH%

::指定protoc路径
::set PROTOC=%GOPATH%\bin\protoc.exe
::echo PROTOC PATH:%PROTOC%

::指定当前bat目录下的protos文件夹为源目录
set PROTO_PATH=%PATH%protos
echo SOURCE PROTO_PATH:%PROTO_PATH%

::指定当前bat目录下的输出目录
set SERVER_PATH=%PATH%server
echo SERVER_PATH:%SERVER_PATH%
set CLIENT_PATH=%PATH%client
echo CLIENT_PATH:%CLIENT_PATH%

echo "************************************"

if exist %SERVER_PATH% (
    ::echo %SERVER_PATH% server path is exist
    for /f "delims=" %%i in ('dir /b "%SERVER_PATH%\*.go"') do (
        ::echo delete server file: %%i
        del /q %SERVER_PATH%\%%i
    )
) else (
    echo create server path
    md %SERVER_PATH%
)

if exist %CLIENT_PATH% (
    ::echo %CLIENT_PATH% client path is exist
    for /f "delims=" %%i in ('dir /b "%CLIENT_PATH%\*.js"') do (
        ::echo delete client file: %%i
        del /q %CLIENT_PATH%\%%i
    )
) else (
    echo create client path
    md %CLIENT_PATH%
)

for /f "delims=" %%i in ('dir /b "%PROTO_PATH%\*.proto"') do (
    echo proto file:%%i
    protoc --proto_path=./protos/ %%i --go_out %SERVER_PATH% 
    --js_out=import_style=commonjs,binary:%CLIENT_PATH%
)

pause

这里我把protoc.exe和protoc-gen-go.exe都复制到bat所在目录了。虽然可以使用%PROTOC%指定protoc所在目录,但是protoc-gen-go就比较麻烦了,go_out参数认不出来。

protoc --js_out=import_style=common.js, binary:. my.proto
这里有两种形式,一种是common.js,一种是closure(google style).common.js生成的js要使用 require命令导入,closuer.js生成的js要使用goo.provide命令来导入。

二、实例

参考golang 使用 protobuf 的教程,但是我生成的testCui.pb.go文件有一些XXX字段,然后Phone那个初始化就不行,但是Person可以

type Phone struct {
    Type                 PhoneType `protobuf:"varint,1,opt,name=type,proto3,enum=testpb.PhoneType" json:"type,omitempty"`
    Number               string    `protobuf:"bytes,2,opt,name=number,proto3" json:"number,omitempty"`
    XXX_NoUnkeyedLiteral struct{}  `json:"-"`
    XXX_unrecognized     []byte    `json:"-"`
    XXX_sizecache        int32     `json:"-"`
}

type Person struct {
    Id                   int32    `protobuf:"varint,1,opt,name=id,proto3" json:"id,omitempty"`
    Name                 string   `protobuf:"bytes,2,opt,name=name,proto3" json:"name,omitempty"`
    Phones               []*Phone `protobuf:"bytes,3,rep,name=phones,proto3" json:"phones,omitempty"`
    XXX_NoUnkeyedLiteral struct{} `json:"-"`
    XXX_unrecognized     []byte   `json:"-"`
    XXX_sizecache        int32    `json:"-"`
}

所以只能改成这样:

    p1 := &testpb.Person{

        Id: 1,

        Name: "小张",

        Phones: []*testpb.Phone{

            {testpb.PhoneType_HOME, "111111111", struct{}{}, nil, 0},

            {testpb.PhoneType_WORK, "222222222", struct{}{}, nil, 0},
        },
    };

然后就可以编码解码了:

    //创建地址簿
    book := &testpb.ContactBook{};
    book.Persons = append(book.Persons, p1);
    book.Persons = append(book.Persons, p2);
    //编码数据
    data, _ := proto.Marshal(book);
    //把数据写入文件
    ioutil.WriteFile("./test.txt", data, os.ModePerm);
}

func read() {
    //读取文件数据
    data, _ := ioutil.ReadFile("./test.txt");
    book := &testpb.ContactBook{};
    //解码数据
    proto.Unmarshal(data, book);
    for _, v := range book.Persons {
        fmt.Println(v.Id, v.Name);
        for _, vv := range v.Phones {
            fmt.Println(vv.Type, vv.Number);
        }
    }

三、gogoprotobuf

参考golang使用protobuf
在go中使用protobuf,有两个可选用的包goprotobuf(go官方出品)和gogoprotobuf。gogoprotobuf完全兼容google protobuf,它生成的代码质量和编解码性能均比goprotobuf高一些。

gogoprotobuf有两个插件可以使用

  • protoc-gen-gogo:和protoc-gen-go生成的文件差不多,性能也几乎一样(稍微快一点点)
  • protoc-gen-gofast:生成的文件更复杂,性能也更高(快5-7倍)

在官网上可以看到:
Getting Started
There are several ways to use gogoprotobuf, but for all you need to install go and protoc. After that you can choose:

  • Speed
  • More Speed and more generated code
  • Most Speed and most customization
1.Speed

Install the protoc-gen-gofast binary

go get github.com/gogo/protobuf/protoc-gen-gofast

Use it to generate faster marshaling and unmarshaling go code for your protocol buffers.

protoc --gofast_out=. myproto.proto

This does not allow you to use any of the other gogoprotobuf extensions.

2.More Speed and more generated code

Fields without pointers cause less time in the garbage collector. More code generation results in more convenient methods.

Other binaries are also included:

protoc-gen-gogofast (same as gofast, but imports gogoprotobuf)
protoc-gen-gogofaster (same as gogofast, without XXX_unrecognized, less pointer fields)
protoc-gen-gogoslick (same as gogofaster, but with generated string, gostring and equal methods)

Installing any of these binaries is easy. Simply run:

go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/{binary}
go get github.com/gogo/protobuf/gogoproto
3.Most Speed and most customization

Customizing the fields of the messages to be the fields that you actually want to use removes the need to copy between the structs you use and structs you use to serialize. gogoprotobuf also offers more serialization formats and generation of tests and even more methods.

Please visit the extensions page for more documentation.

Install protoc-gen-gogo:

go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/jsonpb
go get github.com/gogo/protobuf/protoc-gen-gogo
go get github.com/gogo/protobuf/gogoproto

4.安装
按照上面的说明,我想试试gogofaster,里面有描述without XXX_unrecognized。在第二部分使用官方库时,生成的这个XXX_属性,在初始化时很烦。
(1)go get -u github.com/gogo/protobuf/proto 这一步特别慢,差点强行关掉了。
(2)go get -u github.com/gogo/protobuf/protoc-gen-gogofaster
(3)go get github.com/gogo/protobuf/gogoproto
然后就能看到bin下面多了一个protoc-gen-gogofaster.exe了。
使用protoc .\testCui.proto --gogofaster_out ./导出新的go文件,果然那一堆XXX不见了,然后之前的main文件可以直接运行。当然把import中的"github.com/golang/protobuf/proto"改成"github.com/gogo/protobuf/proto"也是可以的,使用下面的基准测试发现性能差不多啊,目前还不确定两者的区别。

package test

import (
    //"github.com/golang/protobuf/proto"
    "github.com/gogo/protobuf/proto"
    "fmt"
    "testing"
    "testpb"
)

func BenchmarkPbMarshal(b *testing.B) {
    p1 := &testpb.Person{
        Id:   1,
        Name: "小张",
        Phones: []*testpb.Phone{
            {testpb.PhoneType_HOME, "111111111"},
            {testpb.PhoneType_WORK, "222222222"},
        },
    };
    p2 := &testpb.Person{
        Id:   2,
        Name: "小王",
        Phones: []*testpb.Phone{
            {testpb.PhoneType_HOME, "333333333"},
            {testpb.PhoneType_WORK, "444444444"},
        },
    };

    //创建地址簿
    book := &testpb.ContactBook{};
    book.Persons = append(book.Persons, p1);
    book.Persons = append(book.Persons, p2);
    //fmt.Println("book",*book)

    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        _, err := proto.Marshal(book);
        if(err != nil){
            fmt.Println("marshal error")
        }
    }
}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容

  • Golang 用于写网络通讯非常方便,其中消息通讯就可能会用到跨语言的Protobuf。本文讲述如何使用Proto...
    Balyon阅读 7,899评论 0 2
  • json与protobuf做数据传输对比:json用起来的确很方便。但相对于protobuf数据量更大些。做一个移...
    Gospel元嘉阅读 4,742评论 0 4
  • 什么是protobuf? Protocol buffers是一个灵活的、高效的、自动化的用于对结构化数据进行序列化...
    老苗阅读 16,283评论 0 2
  • 简介 Protobuf 源码中默认实现了对 C++, Java, C#, Python 等语言的生成器插件,但是没...
    juniway阅读 10,195评论 0 0
  • Protobuf 介绍 序列化库在网络传输,RPC,数据库访问等环境中经常用到,它的性能的好坏直接影响着整个产品的...
    Aedan阅读 3,864评论 0 0