使用golang实现Redis中间件

(一).RESP协议解释

  RESP协议在Redis1.2被引入,直到Redis2.0才成为和Redis服务器通信的标准。这个协议需要在你的Redis客户端实现。RESP 是一个支持多种数据类型的序列化协议:简单字符串(Simple Strings),错误( Errors),整型( Integers), 大容量字符串(Bulk Strings)和数组(Arrays)。该协议的优点如下:(Reids协议详细规范解释
1. 实现起来简单。
2. 解析速度快。
3. 有可读性。

(二).RESP协议规范

  在RESP中,数据的类型依赖于首字节,第一个字符表示数据的类型,紧接着是一个不能包含CR或LF的字符串(不允许换行),最后以"\r\n"(CRLF)表示结束进行分割。

2.1-RESP第一个字节与数据类型的映射关系如下:

类型 响应首字节 备注
单行字符串(Simple Strings) + 第一个字节为+
错误(Errors) - 第一个字节为-
整型(Integers) : 第一个字节为:
多行字符串(Bulk Strings) $ 第一个字节为$
数组(Arrays) * 第一个字节为*

2.2-拆解释义RESP协议:

使用Redis-cli编辑如下指令向Redis服务端发送:

127.0.0.1:6379> set hello world

  对发送的指令分析,实际上Redis-cli会遵循RESP协议对命令进行拆解编译后再发送给Redis服务器端。RESP协议编译如下:

*3
$3
set
$5
hello
$5
world

   以上的执行语句意思,*3表示执行的程序数组长度总共有3个数组,第一个数组组成部分:$3代表复杂字符串有长度为3,值为set,第二个数组组成部分:$5代表复杂字符串长度为5,值为hello, 第三个数组组成部分:$5代表复杂字符串长度为5,值为world。

视图展示:


RESP执行解析

2.3-RESP协议验证:

  在Xshell中选择TELNET连接redis服务端。输入以上根据RESP协议编写的指令,获得+OK返回值,说明set指令请求被服务器端成功解析并且响应。

TELNET连接Redis

(三).Go解析RESP协议实现转发

3.1-开启IP/prot监听:

  使用Redis1Conn, _ = net.Dial("tcp", "192.168.0.107:6379")发起TCP连接Redis服务器,listen, err := net.Listen("tcp", "0.0.0.0:12345")监听本地的12345端口。

// TCP server端
func main() {
    Redis1Conn, _ = net.Dial("tcp", "192.168.0.107:6379")

    listen, err := net.Listen("tcp", "0.0.0.0:12345")
    if err != nil {
        fmt.Println("listen failed, err:", err)
        return
    }
    for {
        conn, err := listen.Accept() // 建立连接
        if err != nil {
            fmt.Println("accept failed, err:", err)
            continue
        }
        go process(conn) // 启动一个goroutine处理连接
    }
}

3.2-处理解析Redis-cli的RESP协议:

  实现思路,RESP协议的指令是以"\r\n"(CRLF)表示结束进行分割,则按照"\r\n"(CRLF)分隔符按行读取TCP流消息。实现函数如下:

func read(reader *bufio.Reader) []byte {
    line, err := reader.ReadBytes('\n')
    if err != nil {
        errors.New("读取行错误")
    }
    return bytes.TrimRight(line, "\r\n")
}
  1. 首先读取数据流数据获得前缀*的后面数值cmdArrLen,此值为本次传送指令数组的长度。
  2. 接着循环cmdArrLen次,依次按行解析前缀为$的数据流携带的值cmdLen
  3. 获取指令值cmdData
// 处理redis-cli发送的程序
func handlerCliCmd(conn net.Conn) []string {
    var cmd []string
    reader := bufio.NewReader(conn)

    cmdHead := read(reader)

    cmd = append(cmd, string(cmdHead))

    if string(cmdHead[:1]) == "*" {

        cmdArrByteLen := cmdHead[1:] //发送的命令数组长度

        cmdArrLen := BytesToInt(cmdArrByteLen)

        for i := 0; i < cmdArrLen; i++ {
            cmdLen := read(reader)
            cmd = append(cmd, string(cmdLen))
            if string(cmdLen[:1]) == "$" {
                cmdData := read(reader)
                cmd = append(cmd, string(cmdData))
            }
        }
    }
    return cmd
}

3.3-转发Redis-cli客户端的命令:

  COMMAND为Redis-cli客户端首次连接的标识,连接成功直接识别发送"+OK\r\n"成功响应。for _, cmds := range cmd {}按照RESP协议规则拼接转发指令,_, err := Redis1Conn.Write(toRedis)将拼接后的指令转发给Redis服务器端,Read接收Redis服务端的响应后使用conn.Write(buf[:n2])转发给客户端。

// 处理函数
func process(conn net.Conn) {
    defer func() {
        fmt.Println("连接断开了\n")
        conn.Close() // 关闭连接
    }()

    for {

        cmd := handlerCliCmd(conn) //处理命令
    
        if cmd[2] == "COMMAND" {
            conn.Write([]byte("+OK\r\n"))
        } else {
            var toRedis []byte
            for _, cmds := range cmd {
                t := cmds + "\r\n"
                toRedis = append(toRedis, []byte(t)...)
            }
            
            _, err := Redis1Conn.Write(toRedis)
            if err != nil {
                fmt.Println(err)
            }
            
            buf := make([]byte, 1024)
            _, err2 := Redis1Conn.Read(buf[:])

            if err2 != nil {
                fmt.Println(err)
            }

            conn.Write(buf[:n2])
        }
    }
}

3.4-验证程序效果:

  1. Go中间件启动监听本地12345端口。
  2. 首先Redis-cli发送redis-cli -h 192.168.0.105 -p 12345连接请求。
  3. 中间件接收到连接*1 $7 COMMAND连接请求响应。
  4. Redis-cli发送set指令设置值set test 123
  5. 中间件接收到指令*3 $3 set $4 test $3 123将请求转发给Redis服务器。
  6. Redis服务器成功处理返回+OK结果给Go中间件。
  7. Redis-cli客户端接收到Go中间件转发的响应结果。
程序验证
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容