GO 记一次TcpServer性能优化

库存文章发布

写了一个TcpServer,主要功能是做终端的保活信息,保活信息中包含一些额外数据。并转发来自后端的命令至终端。
历经数日,各项基础功能完备,准备做一些压力测试。

服务器配置:

cpu family  : 6
model       : 63
model name  : Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz
stepping    : 2
microcode   : 0x38
cpu MHz     : 1523.625
cache size  : 15360 KB

内存:16G

当然,了为压力测试,独立写了客户端测试程序,客户端也简单,实现连接和心跳(10秒一次)。

第一次测试,客户端数据过千就出错了,很明显,limit需要配置一下喽。 limit这个配置,说难不难,但每次记不住。

好文不敢独享, Linux TCP/IP 协议栈调优

第二次测试,客户端20k,貌似没问题,只是CPU使用率达到200%多,领导不同意,性能堪忧,并对go产生质疑,如此性能,怎么称霸宇宙!! 改去吧。

开始一次性能优化之旅:
1,首先,我们看到了性能问题,但我们不知道哪里有问题。于是需要工具帮我们调查,哪里慢了。这里pprof 工具出场性能试工具
虽然我的程序并不提供http服务,但我依然选择了http的方式,输出debug,因为我觉得这样方便

main.go
import (
    _ "net/http/pprof"
    "net/http"
)
....
    go func() {
        if pprofPort := utils.GetConfig("pprofPort").(string); pprofPort != "" {
            log.Warningf("pprof at http, %s", pprofPort)
            http.ListenAndServe(pprofPort, nil)
        }
    }()
....

使用 go tool pprof http://192.168.1.8:2205/debug/pprof/profile开始收集,大概30秒左右,出现命令提示符:

go tool pprof  http://192.168.1.8:2205/debug/pprof/profile

Fetching profile over HTTP from http://192.168.1.8:2205/debug/pprof/profile
.....30s

主要介绍两个命令:
一个叫top,显示耗时最长的代码。默认10个。可以使用 top5,top20随意查找。
一个叫list,根据top的结果,使用list+代码名称,产出结果如下,非常明确

(pprof) list _/Users/apple/GoglandProjects/MessageServer/server
Total: 13.36s
ROUTINE ======================== _/Users/apple/GoglandProjects/MessageServer/server.Depack in /Users/apple/GoglandProjects/MessageServer/server/receiveHandler.go
      20ms      180ms (flat, cum)  1.35% of Total
         .          .     68:// 如果有,返回一个完整的命令及余下的内容
         .          .     69:// 如果没有,新旧数据拼接返回。命令为空
         .          .     70:// buffer 表示旧的数据
         .          .     71:// newData 表示刚收到的数据
         .          .     72:func Depack(buffer, read []byte) (r, data []byte) {
         .       30ms     73:   if index := bytes.Index(read, []byte{13, 10}); index > -1 {
         .          .     74:       if (len(buffer) > 0) {
      20ms       40ms     75:           data = append(buffer, read[:index]...)
         .          .     76:       } else {
         .          .     77:           data = read[:index]
         .          .     78:       }
         .          .     79:
         .          .     80:       // 余下的内容,继续粘包
         .          .     81:       buffer = read[index+1:]
         .          .     82:       // 清理空白字符
         .      110ms     83:       data = bytes.TrimFunc(data, unicode.IsSpace)
         .          .     84:   } else {
         .          .     85:       // 如果没有,直接将新旧数据相连
         .          .     86:       buffer = append(buffer, read[:]...)
         .          .     87:   }
         .          .     88:   return data, buffer

接下来就是使用这两个命令,找到最消耗时间的代码块,然后优化。


最后完成版
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,569评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,499评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,271评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,087评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,474评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,670评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,911评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,636评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,397评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,607评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,093评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,418评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,074评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,092评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,865评论 0 196
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,726评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,627评论 2 270

推荐阅读更多精彩内容

  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML标准。 注意:讲述HT...
    kismetajun阅读 27,109评论 1 45
  • 程序各种指标 是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减...
    初级赛亚人阅读 5,262评论 0 4
  • 大多数 Nginx 新手都会频繁遇到这样一个困惑,那就是当同一个location配置块使用了多个 Nginx 模块...
    SkTj阅读 7,401评论 0 12
  • 我特别尊敬贾平凹先生,他大部分的作品我都有阅览,十分的敬爱他,所以小就尊称他为贾老。 让日常生活走...
    瓜洲哈D阅读 693评论 0 1
  • 14年前遇到了我的高三班主任齐老师,他是教英文的,所以思维非常开放。加上我被选为英语课代表,跟他接触的机会特别多。...
    天空之城_cbc3阅读 190评论 0 2