转化率 75% 提升的一次官网 A/B 测试复盘

“你们的注册太复杂,你知道你挡住了多少有需求的人吗?”


我们的产品很牛逼,我们的团队很牛逼,为什么在注册转化上还是不够好。症结在哪里,怎么解决?

如果注册这个很关键的环节没做好,流失的极有可能是一位有价值的潜在客户。

问题可能出在转化漏斗的任一环节,也可能是所有环节。所幸,我们找到了我们的症结,而解决的方法就是A/B测试。

事实上,网站优化的全环节是都能进行A/B测试的,这里以我们自己在注册流程的优化为例,讲讲A/B测试带给我们的改变。

试验背景

从用户反馈,以及对更多用户线索的需求,我们发现在现有基础上增加用户申请注册数量,获得更多有效商务线索,既必要,也必须。

在A/B测试之前,官网的申请流程是信息准入制的,用户需要先填写5项信息,提交审核发码,这个流程。审核是需要人工介入的,而且必不可少,那么能不能通过降低用户申请成本,来带来更高转化和销售线索呢?测试了才知道。

试验方案

版本设置:加上原始版本,一共4个版本,分别是“5项全能”(需要申请者填写姓名、产品/公司名称、手机、邮箱、月活量级)、“邮箱版本”、“电话版本”和“邮箱+电话版本”。这几个版本都需要运营同学审核后,才会发码。

优化指标:设定提交申请按钮的点击次数、成功提交申请的次数为主要优化指标,同时将各版本最终带来的有效线索转化情况作为参考数据。

试验过程分析

第一阶段试验

这一阶段一共在线3个版本(包括原始版本、邮箱版本、电话版本),每个版本分配给试验流量的33%。运行1周后,发现邮件版本的回复率相对较低。考虑到申请信息的跟进可能性,产品运营部门决定将邮件版本的流量调低至20%,为了更好地对比版本数据,所以把试验中的其他版本的试验流量也统一调降至20%。

试验运行3周后,各个版本的差异逐渐显著。从试验均值和转化人数的比较中,能够观察出每个版本的不同特征,并可以针对性的做出优化改进。

两个试验版本点击提交的用户数远高于原始版本,看来在降低申请成本后,用户提交申请的意愿是有明显提升的。

但邮件和电话版本的数据,也说明了各自的特征和问题:电话版本的提交用户数最多,但经运营核实后,无效申请数量也排在前列,同时在与有效申请用户沟通的过程中,邮箱核实的过程比较困难。

邮箱版本筛除了大量个人用户,一旦用户回复则表明试用意愿很强,而问题在于通过邮件交流等待用户回复的周期较长(甚至有时收不到回复)。

考虑到本次试验的目的,是在增加用户提交申请数量的前提下,找到更多有效的、可跟进的商务线索,因此产品和运营部门在讨论之后,决定对试验做出如下修改:为保证数据对比更清晰,决定结束现有试验进程,通过克隆功能创建新的试验,同时去掉电话版本,替换成试验版本三,即电话+工作邮箱版本(用户须填写有效手机号和工作邮箱),原始版本、邮件版本保持不变。

第二阶段试验

这一阶段运行了12天。我们发现,邮件版本的提交按钮点击率明显占优,提交率比原始版本高出90%,但经运营审核后的有效转化率却最低。说明尽管准入信息缩减到一个后,用户的提交意愿明显上升,但由于增加了对公共邮箱的筛查,所以屏蔽了大量以个人名义的尝试了解的非目标用户,因此真正能够转化成有效线索的数量相对其他版本来说没有明显差异。

此外,考虑到邮件版本的跟进可控性较差,因此,产品和运营部门做了本次试验的第二个调整:将邮件版本停止(试验流量调为0%),原始版本和电话+邮件版本流量各分配50%的试验流量。我们希望通过放大试验流量,收取更多用户数据,以便做出最终的优化决策。

第三阶段试验

随着版本流量调整并即时生效,试验各版本的单日流量明显增多,在10天之后,产品运营部门终于得到了本次试验的最终结果。

根据我们A/B测试平台的数据统计,产品运营部门将相关测试数据和最终有效转化数据汇总统计如下:

“邮箱+电话”版本的漏斗有效率提升了143%,有效销售线索的比例也提高了75%。

试验分析解读

1)本次试验只改变用户进入申请浮窗后的信息内容,因此申请流程的最底端转化(官网的“免费试用”点击)与试验结果无关;

2)在剔除内部测试数据后,电话+邮箱版本的提交转化率略高于原始版本;

3)由于对工作邮箱的筛选条件,成功提交率方面原始版本表现较好,但最终经过运营联系后的有效线索转化,依旧是电话+邮箱版本胜出;

4)进一步筛选原始版本中提交工作邮箱的数据,发现整体表现介于原始版本和电话+邮箱版本之间;

5)另外,从运营的人工成本来看,电话+邮箱版本效率的更高。

综上所述,电话+邮箱版本的综合表现最佳,我们在 AppAdhoc 后台将试验版本全流量发布。试验版本发布后,官网申请入口统一变成电话+工作邮箱的准入内容,产品和运营部门可通过工作邮箱用于过滤无效用户,通过预留电话进行人工审核,更加便捷的获取有效商务线索。

试验经验总结

试验流量会影响试验周期,若分配流量过小(一般来说建议每个版本单日至少分配1000 UV),会导致试验周期整体拉长,同时数据结果很难得到统计学显著性;

相关部门要实时关注试验数据,及时调整各版本流量,保证试验进度处于积极态势;

合理应用 AppAdhoc A/B Testing 的各项功能,在试验运行正常的基础上,保证不同版本增减后的环境一致性;

此外,在解读试验数据时,应结合产品自身数据统计工具,综合考量试验中各版本的优化效果。

无实验,不增长

If you’re not running experiments, you’re probably not growing .(无实验,不增长!)

增长黑客之父——Sean Ellis

增长黑客之父 Sean Ellis 在之前的一次线下分享中也说了:在保证产品价值的同时,需要为产品设定测试目标,并且需要尽可能多,影响力高的测试。测试非常重要,测试能够驱动增长。因为如果我们不去测试的话就无法确定这个想法能否可行。所以我们要尽量的去多做测试,去确定什么是有用的,什么是没有用的。

官网是获取销售线索的重要渠道,对企业服务和 SaaS 行业来说尤其如此。不管互联网是否进入下半场,通过A/B测试这种科学方法的精细运营来挖掘现有流量的价值都是没错的。

本文作者:吴嘉玮@吆喝科技。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容

  • 每一个运营大牛都是隐藏的五杀超神达人,可是你见过用A/B测试方法来实现转化率的五杀超神吗?标题开路,段子先行。切入...
    AppAdhoc阅读 628评论 0 4
  • 专业类能力方面,主要存在的问题是:涉猎面广,但不够精深。 从事过的工作类型较多,有编辑,培训师,运营,文案,教师,...
    egomuff阅读 387评论 0 0
  • 到用时方恨少,药到病时找不着。 每次有个头痛脑热都得翻箱倒柜找药…… 找到一盒没了外包装和说明书的药,看着眼熟想不...
    小雅ya阅读 2,136评论 0 18
  • 早几天,和一位网友聊天,说到她自己的婚姻和生活,她潸然泪下。 她说,她的男人经常打她,喝醉了也打,不称心了也打,哪...
    青衣红袖阅读 312评论 0 0