redigo连接池不入坑

写在前面

用go开发web项目时,经常会用到redis,推荐使用redigo包,目前有4800多个star,基本不会有太大的坑。
https://github.com/gomodule/redigo

聊聊redis的i/o并发

Redis is single-threaded with epoll/kqueue and scales indefinitely in terms of I/O concurrency.

redis是单线程的,但又是处实现并发的呢?参照地址:
https://stackoverflow.com/questions/10489298/redis-is-single-threaded-then-how-does-it-do-concurrent-i-o
redis是使用事件循环来实现并发的,事件是原子性的,还没有额外的锁开销。设计非常精妙。

我们在读写redis时,大多都是网络传输层的开销,redis计算是非常快的。所以我们尽量用多个连接去读写redis,相当于并发做网络传递,排队等着redis计算,不能让redis计算引擎闲下来。

使用连接池

在使用redigo的时候,强烈建议使用连接池,不然每次都得tcp建链,不嫌麻烦吗。而使用连接池的话,只管去get其它都给交类库去处理。示例代码如下:

var redisClient *redis.Pool
func init() {
    maxIdle := MaxIdle
    if v, ok := conf["MaxIdle"]; ok {
        maxIdle = int(v.(int64))
    }   
    maxActive := MaxActive
    if v, ok := conf["MaxActive"]; ok {
        maxActive = int(v.(int64))
    }   

    // 建立连接池
    redisClient = &redis.Pool{
        MaxIdle:     maxIdle,
        MaxActive:   maxActive,
        IdleTimeout: MaxIdleTimeout * time.Second,
        Wait:        true,
        Dial: func() (redis.Conn, error) {
            con, err := redis.Dial("tcp", conf["Host"].(string),
                redis.DialPassword(conf["Password"].(string)),
                redis.DialDatabase(int(conf["Db"].(int64))),
                redis.DialConnectTimeout(timeout*time.Second),
                redis.DialReadTimeout(timeout*time.Second),
                redis.DialWriteTimeout(timeout*time.Second))
            if err != nil {
                return nil, err 
            }   
            return con, nil 
        },  
    }
}
// 从池里获取连接
rc := RedisClient.Get()
// 用完后将连接放回连接池
defer rc.Close()
// 错误判断
if conn.Err() != nil {
  //TODO
}

其它有几个需要注意的地方:

  • MaxActive 最大连接数,即最多的tcp连接数,一般建议往大的配置,但不要超过操作系统文件句柄个数(centos下可以ulimit -n查看)。
  • MaxIdle 最大空闲连接数,即会有这么多个连接提前等待着,但过了超时时间也会关闭。
  • IdleTimeout 空闲连接超时时间,但应该设置比redis服务器超时时间短。否则服务端超时了,客户端保持着连接也没用。
  • Wait 这是个很有用的配置。好多东抄抄本抄抄的文章都没有提。如果超过最大连接,是报错,还是等待。

常见报错

连接池消耗殆尽

redigo: connection pool exhausted

redigo常常会有这样的报错。我们来从redigo源码上来分析这个问题。

    // Handle limit for p.Wait == false.
    if !p.Wait && p.MaxActive > 0 && p.active >= p.MaxActive {
        p.mu.Unlock()
        return nil, ErrPoolExhausted
    }  

当Wait==false,并且当前有效连接>=最大连接数里就报这个错了。要解决这个问题的话,可以修改这个参数:

  • MaxActive 可以把MaxActive调大(一般设置为500,1000问题都不大。)但如果redis服务器负载已经很高了(可以看redis-server CPU占用),去调大MaxActive就没多大意义。还是需要根据实际情况来权衡。
  • Wait 可以把Wait设置为true。wait的话必然会加大响应,如果对响应时间要求较高的话,还得从别的途径来解决。
  • 还可以加从库通过读写分离来解决。特别是PHP,没有常驻的redis连接池,建议增加多个从库。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容

  • 文章已经放到github上 ,如果对您有帮助 请给个star[https://github.com/qqxuanl...
    尼尔君阅读 2,220评论 0 22
  • 来源:脚本之家 这篇文章主要介绍了超强、超详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需...
    shenyoujian阅读 798评论 1 10
  • 青春时期的我年少不懂事,与妈妈总是时不时地就会有个小摩擦,有时是冷战,有时是针锋相对…… 不过,总体而言,我尚且算...
    王不正经阅读 628评论 1 0
  • 小九29阅读 380评论 0 1
  • 风催我们一起來 蹬上生活的舞台 笑一根绳子圈上七彩 七彩生活一起彩排 上下跳动 生活感慨 左右晃动 幸福摇摆 跳出...
    雨林季风阅读 453评论 5 12