流量录制回放相关介绍

流量录制回放是什么?

流量录制:在不影响用户正常使用的前提下,获取线上用户的真实请求和服务响应结果,将其保存或者转发到目标应用。

采用不同的流量录制手段,可以采集不同传输阶段的流量。


流量复制方式:

基于应用层的复制

优点:实现简单

      可以实现应用内部方法级的流量录制;

缺点:拓展性差,一般支持某种协议;

      复制从应用层开始,穿过整个协议栈,通常要占用底层的资源;

      与应用耦合一起,容易对应用造成影响,比如超时;

      会出现丢包的情况;

基于数据包的复制

缺点:复杂,难度大

优点:不需要穿过整个协议栈,对资源的占用相对较低;

      理论上支持此协议上的所有应用层协议录制;

流量回放方式:

   在线方式:将复制的流量实时地转发到目标服务上

   离线方式:将复制的流量先保存到数据库或文件中,再将处理或筛选后的流量回放到目标服务

为什么当下被广泛应用?

流量复杂,请求构造成本比较高;

业务复杂,业务场景梳理困难,流量配比不真实;

服务复杂,服务调用关系复杂,服务模块多,构成成本高;

应用场景有哪些?

压力测试

各大公司进行模块级压测或者全链路压测基本都是采用流量录制的方式,先对录制的流量进行存储,然后对流量进行编辑、过滤后通过压测引擎向被测服务发压

回归测试

传统的接口测试方案,通过部署环境、构造请求、发送请求、结果断言的方式相对目前复杂业务场景来说太单一了,一是构造的请求过于简单,大多是标准的正常的请求,二是环境依赖太多,封闭环境部署困难。所以越来越多的公司项目采用流量回放的方式进行稳定性测试和功能回归测试,结果评定主要依赖指标统计维度和response维度的diff。

问题调试

面对当前节点众多、交互繁杂的微服务架构模式,问题定位太难了。

数据构造

录制的数据进行数据特征分析,聚类场景数据,用于接口测试,当然这个通常指应用层录制的数据。

数据mock

用场景数据进行接口或方法级的mock

Badcase挖掘

总之复杂业务场景下,数据是分析业务场景、构建测试环境、构造测试数据、保证服务质量的宝贵资源。

有什么局限性?

使用局限性

新服务没有线上流量,无法进行复制;

对于复制的流量,可能需要进行筛选,重新流量配比后才能模拟某个场景使用;

录制流量进行回放时,和初始真实场景有变动;

安全性

流量录制功能对架构和设计要求较高,否则容易影响线上性能;

流量回放需要设置相关的标识,进行相关的短路、影子苦表处理方式影响线上功能;

注意事项有哪些?

线上服务安全保障:流量复制以不影响线上功能为前提,包括对线上数据、日志的污染;

录制流量染色:对录制流量进行标识,以实现对录制流量的特殊处理,包括写隔离、写短路等;

并发控制:录制流量服务多少要占用服务资源,尤其应用层实现的录制回放功能,需要进行充分的测试评估才能投入使用,并根据实际情况控制并发;

录制回放开源项目

如果评价录制回放工具的优劣:

部署的复杂性

使用限制及存在缺陷

比如,必须部署在一个网段

功能拓展

多点录制

流量伸缩

实时在线模式

性能

占用资源

是否支持高并发


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容