流量复制工具之TCPCopy

流量复制

把线上的真实流量引流到测试环境,模拟线上用户操作,让测试机和真实的用户交互,让测试环境在正式灰度前暴露问题,增加上线信心

流量复制的常见方案

一、基于应用层的请求复制 

优点:实现简单

缺点:

1. 请求复制从应用层开始,要穿过整个协议栈,容易抢占应用资源,如连接资源

2.测试跟实际应用耦合在一起,容易影响线上机器,也无法复制大量请求

3. 很难控制网络延迟

二、基于底层数据包的请求复制

   无需穿透整个协议栈,可以从数据链路层或者网络层做流量复制,不走tcp层,这样对线上机器的影响就会少很多

流量复制的两种类型:

1. 实时复制 ,实时的把线上流量复制到测试机

2. 离线复制,先把流量复制下来,保存在PCAP抓包文件中,然后在测试机离线回放

使用场景:

压力测试 

回归测试

线上问题重现

架构及原理:


TCPCOPY包括三个部分:

1. tcpcopy :运行在线上机器,捕获线上请求

2. intercept: 运行在辅助机器,负责向tcpcopy发送响应信息。

3. 目标机器:被测机器

tcpcopy默认捕获网络层的包(也可以配置为捕获数据链路层的包),然后做一些必要的处理,将包发送给被测机器

tcpcopy拷贝一次流量访问的步骤如下:

① 一个客户请求到达线上机器;

② 拷贝IP层(或者数据链路层)的包到tcpcopy进程;

③ tcpcopy修改包的目的及源地址,发给目标测试机;

④ 拷贝的包到达目标测试机;

⑤ 目标测试机的应用处理访问,并返回结果给辅助机;

⑥ 返回结果在辅助机的数据链路层被截获,drop响应的body,copy返回的ip header;

⑦ 辅助机将响应header发送给线上机器的tcpcopy进程。

使用方式:

一、 实时复制流量

1. 目标机器配置路由 ,将响应包路由到辅助机

route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2

其中2.2.2.2 为辅助机, 1.1.1.0 为客户端地址

2. 辅助机捕获目标机器发来的响应包 (和抓包命令类似)

./intercept -F <filter> -i <device,>

例子:./intercept -i eth0 -F 'tcp and src port 8080' -d

捕获网卡 eth0 ,端口8080 基于tcp的包

3. 线上机器捕获包,并修改客户端地址,并把包发送给目标机器,等待辅助机发送响应包

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]

例子:

 ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -d        #全流量复制

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d  #复制20%的流量

  ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -n 2  -d  #复制2倍流量

二、离线复制流量

使用tcpdump抓包

 tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100

流量回放

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap

遇到的问题:

编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包:

 apt-get install libpcap-dev


存在的问题:

1.  不支持加密协议https等 ,可以进行二次开发,但是略复杂

2.  可能会丢包:作者建议最好将三台机器部署在同一个网段,或者使用代理,可以降低丢包率

参考:

https://github.com/session-replay-tools/tcpcopy

http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容