Go模块化开发以及在Tendermint/Cosmos-SDK中的应用

字数 2824阅读 21
应用.jpg

本文首先介绍模块化开发Modular Programming)的一些基本概念,然后围绕Go1.11引入的模块系统介绍如何使用Go语言进行模块化开发,最后简要介绍模Go模块系统在Tendermint/Cosmos-SDK项目中的应用。

  1. 模块化开发介绍

    1.1 包 vs 模块

    1.2 语义版本号

    1.3 Registry

    1.4 清单文件

    1.5 锁定文件

  2. Go模块系统进化过程

    2.1 GOPATH

    2.2 vendor目录

    2.3 vgo

    2.4 Go1.11+

  3. Go模块系统介绍

    3.1 模块

    3.2 Registry

    3.3 语义版本号

    3.4 清单文件

    3.5 锁定文件

  4. Tendermint/Cosmos-SDK应用

  5. 总结

1. 模块化开发介绍

模块化开发是编写复杂软件的有效方式,因此大部分现代编程语言都会内置相应语法特性来支持模块化开发。以Java和Go语言为例,这两种语言都内置了(Package)的概念,可以把代码按包进行组织。对于简单的工程来说,只使用语言内置的标准库就可以了。然而对于复杂的工程,只有标准库肯定远远不够。因此,如何把代码发布出去让别人使用,以及如何使用别人的代码,就显得尤其重要。所以很自然的,在包的基础之上,衍生出了模块(Module)的概念。如果说包是代码组织的单位,那么模块就是代码发布的单位。多个相互关联的包可以构成一个模块,统一发布。以Java语言为例,Java很早就开始支持JAR(其实就是ZIP文件)文件,为后来MavenGradle等工具的流行提供了基础。Java9则更进一步,对模块和模块化开发提供了内置支持。

1.1 包 vs 模块

如前所述,似乎模块的概念已经很清晰了。然而并不是这样!现实是:不同的编程语言对于包和模块的叫法并没有达成一致。比如C++和C#语言就没有包的概念,取而代之的是命名空间(Namespace)。更让人郁闷的是,在一些编程语言里,包和模块的含义和我们前面描述的正好相反。换句话说,在有些编程语言里,包更大一些,由多个模块组成。为了描述清晰起见,在后文中我们统一使用模块这两个术语,二者中模块更大一些。下表列出了在一些主流的编程语言里包和模块的命名以及含义:

Language Package Module
Java (Maven) package jar
Go1.11+ package module
Rust module/mod package/crate
Python module (file) package (directory)
Node.js module package

1.2 语义版本号

凡事不可一蹴而就。同理,任何软件也不可能一下子开发完毕并且不出任何bug,所以按版本一步一步迭代就非常必要。包和模块的概念已经澄清了,接下来要聊一聊模块的版本号。长久以来,各种系统的版本号可谓一片混乱,各式各样五花八门的版本号规则都有。不过随着时间的推移和开发经验的积累,现在大家普遍都认同语义版本号Semantic Versioning,简称SemVer)。简单来说,语义版本号看起来是这样:MAJOR.MINOR.PATCH。其中:

  • 补丁号 如果新版本只是修复前一版本的bug,不引入任何其他变化,那么补丁号+1

  • 小版本号 如果新版本有功能上的改进,但是改进完全向后兼容(Backwards Compatible),那么小版本号+1

  • 大版本号 如果新版本有较为大的改进,并且不能完全向后兼容,那么大版本号+1

基本规则就这么简单,关于语义版本号的更多细节可以参考其当前的2.0规范

1.3 Registry

要想便捷的使用模块系统,一个中央化的模块registry(不知道中文翻译成什么好,干脆不翻译了)必不可少。有了这个registry,任何人都可以把自己开发好的模块发布上去,也可以从上面下载其他人发布的模块。当然了,发布模块的时候,需要指定版本号(一般而言,模块不能覆盖已有版本,只能发布新版本)。下载模块的时候,也需要指定版本号。能够帮助用户解析并且从registry下载依赖的工具叫做模块管理器(Module Manager),或者包管理器(Package Manager),后文统称为模块管理器。下表列出了一些主流编程语言的模块管理器和registry:

Language Module Manager Module Registry
Java Maven、Gradle Maven CentralJCenter
Rust Cargo https://crates.io/
Python pip Python Package Index
Node.js npm https://www.npmjs.com/

1.4 清单文件

如果一个模块需要依赖其他的模块,那么就需要一个清单文件(Manifest)来列出这些模块,并描述这些模块的版本号等信息。大部分的模块管理器都可以自动处理传递性依赖(Transitive Dependency)。比如说模块A依赖模块B、模块B又依赖模块C,那么模块A的清单文件里只要指定模块B即可,不需要指定模块C。清单文件的格式因模块管理器的不同而异,常见的格式有JSON(比如npm的package.json)、XML(比如Maven的pom.xml)、TOML(比如Cargo的Cargo.toml)、YAML等。

1.5 锁定文件

如前所述,版本号使得模块可以渐进的开发和完善。另一个方面,版本号也使得模块可以稳定的构造。假设我们正在开发模块M,它依赖了模块A、B、C。在明确升级这些依赖之前,我们希望每次构建出的M都是一样的,并且在不同的机器上构建出的M也是一样的。这就是可重复构建Reproducible Builds)。如果可以在清单文件中精确指定依赖的版本号,按说自然就可以实现可重复构建(假设模块不会随意覆盖或删除已发布的版本)。不过很多模块管理器都允许在清单文件中指定依赖的版本号范围,这就使得构建不一定可重复。以Rust Cargo为例,当我们在清单文件里指定某依赖的版本号为“1.2.3”时,实际指定的是“^1.2.3”。这样就允许Cargo在[1.2.3, 2.0.0)区间内下载该依赖的最新的版本。关于Cargo清单文件里依赖版本号的更多介绍请看这里

为了解决这个问题,让构建变得可重复,支持版本号区间的模块管理工具一般会使用锁定文件(Lock File)来锁定依赖的版本号。除非明确要求包管理工具升级依赖(进而更新锁定文件),否则每次构建都会使用锁定文件中指定的依赖版本号。比如Cargo使用的锁定文件是Cargo.lock,npm使用的锁定文件是package-lock.json

2. Go模块系统进化过程

以上简单介绍了模块化开发的一些基本概念,下面介绍Go语言模块系统的进化过程。

2.1 GOPATH

在Go 1.5之前,所有的源代码都挤在一个路径下,这个路径就是GOPATH。简单来说,GOPATH是个环境变量,指向一个目录,这个目录下面必须有src/子目录,里面放置Go源代码。这个目录也就是我们常说的工作空间(Workspace),Go的各种命令(比如get、build、test、install等)均以这个目录为基础进行工作。由于所有的源代码(包括本地的和第三方的)都在同一个src/目录下,那么就需要一种机制来划分src/目录,避免不同的项目因根目录名相同而产生冲突。Go采取的解决办法非常简单:对于开源项目,按照源代码托管网站的域名在src/目录下创建子目录;对于本地项目,必须自己保证项目的根目录名不和其他项目重复。一个典型的GOPATH目录结构看起来就像下面这样:

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n107" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">$GOPATH/
|-bin/
|-pkg/
-src/
|-github.com/
| |-cosmos/
| | |-cosmos-sdk/
| | -gaia/
| -tendermint/
| |-go-amino/
| -tendermint/
-myprojs/
|-proj1/
-proj2/</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n109" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">+--------------------------------------------+
| $GOPATH |
| +-----------------+ go get | +--------+
| +--| src/github.com/ |<--------------| GitHub |
| go | +-----------------+ git clone | +--------+
| install | +-----------------+ |
| +->| bin/ | |
| +-----------------+ |
+--------------------------------------------+</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n114" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">+-----------------------------------------------+
| $GOPATH |
| +----------------------+ go get | +--------+
| +--| src/github.com/ <------------------| GitHub |
| | | |-my/proj/ | | +--------+
| | | |-vendor/ | download |
| | | -github.com/ <-------------------+
| go | +----------------------+ |
| install | +----------------------+ |
| +->| bin/ | |
| +----------------------+ |
+-----------------------------------------------+</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n119" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">+-----------------------------+
| myproj1/ |
| |- ... vgo get |
| -go.mod <----------------------+
+-----------------------------+ | +--------+
|----| GitHub |
+-----------------------------+ | +--------+
| $GOPATH/pkg/mod/ | |
| |-github.com/ | |
| |-cosmos/ | |
| |-cosmos-sdk@0.35.0/ <------+
+-----------------------------+</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n150" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">module github.com/cosmos/cosmos-sdk

require (
github.com/bartekn/go-bip39 v0.0.0-20171116152956-a05967ea095d
github.com/bgentry/speakeasy v0.1.0
github.com/btcsuite/btcd v0.0.0-20190115013929-ed77733ec07d
github.com/cosmos/go-bip39 v0.0.0-20180618194314-52158e4697b8
github.com/cosmos/ledger-cosmos-go v0.10.3
...
)</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n155" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">cd cosmos-sdk/ git tag --sort=-taggerdate
v0.36.0-rc1
v0.35.0
v0.34.7
v0.34.6
v0.34.5
v0.34.4
v0.34.3
v0.34.2
v0.34.1
v0.34.0
...</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n159" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">github.com/bartekn/go-bip39 v0.0.0-20171116152956-a05967ea095d</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n163" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">module github.com/cosmos/cosmos-sdk

require (
github.com/bartekn/go-bip39 v0.0.0-20171116152956-a05967ea095d
github.com/bgentry/speakeasy v0.1.0
github.com/btcsuite/btcd v0.0.0-20190115013929-ed77733ec07d
github.com/cosmos/go-bip39 v0.0.0-20180618194314-52158e4697b8
github.com/cosmos/ledger-cosmos-go v0.10.3
github.com/fortytw2/leaktest v1.3.0 // indirect
github.com/gogo/protobuf v1.2.1
github.com/golang/mock v1.3.1-0.20190508161146-9fa652df1129
github.com/golang/protobuf v1.3.0
github.com/gorilla/mux v1.7.0
github.com/gorilla/websocket v1.4.0 // indirect
github.com/mattn/go-isatty v0.0.6
github.com/pelletier/go-toml v1.2.0
github.com/pkg/errors v0.8.1
github.com/prometheus/client_golang v0.9.2 // indirect
github.com/prometheus/client_model v0.0.0-20190129233127-fd36f4220a90 // indirect
github.com/prometheus/common v0.2.0 // indirect
github.com/prometheus/procfs v0.0.0-20190227231451-bbced9601137 // indirect
github.com/rakyll/statik v0.1.4
github.com/spf13/afero v1.2.1 // indirect
github.com/spf13/cobra v0.0.5
github.com/spf13/jwalterweatherman v1.1.0 // indirect
github.com/spf13/pflag v1.0.3
github.com/spf13/viper v1.3.2
github.com/stretchr/testify v1.3.0
github.com/tendermint/btcd v0.1.1
github.com/tendermint/crypto v0.0.0-20180820045704-3764759f34a5
github.com/tendermint/go-amino v0.15.0
github.com/tendermint/iavl v0.12.3-0.20190712145259-c834d3192b52
github.com/tendermint/tendermint v0.32.1
google.golang.org/grpc v1.19.0 // indirect
gopkg.in/yaml.v2 v2.2.2
)</pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n171" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">cloud.google.com/go v0.26.0/go.mod h1:aQUYkXzVsufM+DwF1aE+0xfcU+56JwCaLick0ClmMTw=
github.com/BurntSushi/toml v0.3.1 h1:WXkYYl6Yr3qBf1K79EBnL4mak0OimBfB0XUf9Vl28OQ=
github.com/BurntSushi/toml v0.3.1/go.mod h1:xHWCNGjB5oqiDr8zfno3MHue2Ht5sIBksp03qcyfWMU=
github.com/VividCortex/gohistogram v1.0.0 h1:6+hBz+qvs0JOrrNhhmR7lFxo5sINxBCGXrdtl/UvroE=
github.com/VividCortex/gohistogram v1.0.0/go.mod h1:Pf5mBqqDxYaXu3hDrrU+w6nw50o/4+TcAqDqk/vUH7g=
... </pre>

<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="" cid="n177" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Monaco, Consolas, "Andale Mono", "DejaVu Sans Mono", monospace; margin-top: 0px; margin-bottom: 20px; background-color: rgb(51, 51, 51); font-size: 0.9rem; display: block; break-inside: avoid; text-align: left; white-space: normal; position: relative !important; padding: 10px 10px 10px 30px; width: inherit; background-position: initial initial; background-repeat: initial initial;">git log --all --full-history --oneline -- glide.yaml
git log --all --full-history --oneline -- Gopkg.toml
git log --all --full-history --oneline -- go.mod</pre>

Language Package Manager SemVer Manifest Lockfile Registry
Java Maven pom.xml Maven Central
Rust Cargo yes Cargo.toml Cargo.lock https://crates.io/
Node.js npm yes package.json package-lock.json https://www.npmjs.com/
Go 1.11+ builtin yes go.mod go.sum GitHub、GitLab、Bitbucket等
Python pip Python Package Index

本文由CoinEx Chain团队Chase写作,转载无需授权。 |

推荐阅读更多精彩内容