祖传10元70M的中国移动,凭什么在4G时代一骑绝尘?

中国4G市场有多重要?2017年中国4G用户将超过10亿,同期全球4G用户也不过20亿左右。中国移动4G市场统治力有多强?当中国联通和中国电信,在2016年底还在为4G注册用户数破亿而弹冠相庆时,中国移动已经成为全球首个4GLTE注册用户超过5亿的运营商。在中国,每增加10个4G用户,就有6个来自中国移动,全世界每增加10个4G用户,就有3个来自中国移动。

4G是中国移动的时代

究竟是什么原因,让中国移动在4G时代呈现出一家独大的态势?坊间最大的两个谣言莫过于——初期独占技术占优的TDD牌照与TDD与TD-SCDMA的3/4G平滑演进。

辟谣一:2013年底,工信部“同时”向三大运营商发放了TD-LTE牌照,不存在中国移动初期独占TD-LTE牌照的情况。两年后,工信部只向联通电信办法了FDD牌照。只是拿到TDD牌照后,联通电信并未跟进基站建设,始终苦等FDD牌照。高通等公司相关研究表明:TDD的分布频段总体高于FDD,其覆盖能力先天弱于FDD,TDD并不是某些小编嘴里所说的香饽饽,工信部给中国移动的这张牌也并不是“四个2带两王”。

辟谣二:关于3/4G平滑演进,一众小白认为TD-SCDMA可平滑演进到TD-LTE,而联通电信无法实现平滑演进。实际上,无论是移动的TD-SCDMA还是联通的WCDMA还是电信的CDMA,都无法向任何4G LTE技术平滑演进。之所以大众会误解,是因为官方将TDD-LTE命名为TD-LTE,让大家认为这是TD-SCDMA的LTE版。

4G是第四代通信技术的简称,并不完全等同于LTE

既没有技术倾斜,又没有技术便利,甚至还有在3G时代的第一波团战中TD-SCDMA给自己放了一个晕眩和弱化技能,中国移动竟然能实现4G用户快速增长。这种如同武侠小主说中“打通任督二脉”带来的逆天转变,恐怕让许多运营小伙伴心理戏和看完下图一样样的——居然还有这种操作!

居然还有这种操作

这里有一个大背景要交代:移动互联网发展初期,受到社交媒体软件OTT服务冲击,面临管道化危机。中国移动切实感受到了用户体验在用户“增长“留存”方面的重要性。新环境、新形势,居安思危的中国移动意识到自己已走到了十字路口。

运营商也面临着艰难的选择

站在路口的人有很多,可是真正走在正确道路上的寥寥无几。在中国,许多科技互联网企业最终都演变成劳动密集型企业,其根本原因就在于它们无法体会“试验驱动创新、数据驱动决策”的精髓。中国移动意识到并找到了合适的工具,选用了优秀的A/B测试工具,并广泛应用在旗下的服务和App之中,走出了自己的A/B测试驱动增长模式 ,不仅“想到”,而且“做到”。让我们通过三组案例,来了解一下中国移动是如何在4G时代通过A/B测试模式实现持续创新和快速决策的。

案例一:4G管家——业务更名优化

4G管家,是中国移动为4G用户专门定制的移动端APP。您可以将4G管家看作升级版的“中国移动移动营业厅”App。在上线众多的XX移动App之后,仍然单独上线4G管家,并采用全新的定位、接入大量专属服务,足以证明:

中国移动打算在产品体验层面上打出差异化,让新老用户都能与以往的移动产品区分开。因此,用户活跃度就成为4G管家的核心关注指标,每一处修改不仅要大胆创新而且要稳妥慎重。

此时,产品部门提出了一个更新计划:将业务文案由“话费余额”修改为“话费账单”,并对应在APP首页和服务页面进行修改。

按照以往的思路,大致的流程可能会是这样的:产品部门提出改名需求,讨论后确定“话费账单”,全量更新后,如果数据正向还好,如果结果指标不理想,就需要紧急回滚,如此反复,怎么看都不像一次产品决策,更像是一次豪赌。

好在当时中国移动已经开始接触A/B测试,充分理解和接受了A/B测试驱动增长模式的意义,因此,他们采用 A/B测试 (吆喝科技提供)单盲试验的方式,将两个版本同时测试,对不同版本的用户进行行为对照试验(如下图所示)。吆喝科技的AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量。

此时,中国移动可以将优化指标分为三个维度进行观察:基础指标(PV、UV)、关键指标(次日留存率)、核心业务指标(七日留存率、余额入口点击量、余额入口点击率),从而判断本组试验从基础到核心业务的数据表现。

此次试验在运行了近三周之后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),后台数据已经能够非常明确显示出:

试验版本的“话费账单”文案在安卓端和iOS端的指标置信区间显著,上下限均为负值,导致核心业务数据下降近23%;而且试验版本对iOS端部分核心关注数据有负面影响;用户对试验版本文案的接受度不高,整体功能识别度低于原始版本的“话费余额”文案。

原始版本,无疑通过直观数据证明了起产品合理性,产品团队综合考虑了用户对于余额业务的使用情况和核心价值后,最终决定放弃此次求改维持原文案不变。

此后,中国移动在4G管家上进行了“防诈骗短信”功能灰度发布。“诈骗短信”鉴别这样的功能呼声一直很高,为什么中国移动要采用灰度发布的形式呢?

一方面,移动端入口寸土寸金,一个新功能的露出,也就意味着其他功能显示层级下降,有可能会造成整体运营效果的下降;另一方面,增加的防诈骗短信功能会对4G管家的人工服务工作量造成较大压力,需要在保证无使用异常的情况下,实现整体的平稳过渡。

AppAdhoc A/B Testing 平台支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

版本对比

通过AppAdhoc A/B Testing的灰度发布功能,此次试验在三周左右的时间内,顺利上线了新功能,并得到了积极的数据改变。试验结果表明:

新功能的上线使用户活跃度得到了大幅提高,对iOS端的核心业务数据提升明显(平均增加68%);

防诈骗短信功能发布无异常,有效缓冲了人工服务的压力,保证了新功能的平稳顺利上线。

目前,4G管家应用已经完成了其历史使命,更名为10086(APP),但是中国移动在移动端的努力还没有结束,涉及10086的内容我们在案例三中还会展开说明。从这两个例子中我们可以看出,在“试验驱动创新、数据驱动决策”方面,A/B测试相比经验主义的决策模式,有着难以匹敌的优势——低成本、高效率、风险可控、精确度高。业界专家曾言,顶级的PM也只能跑得赢一半的

A/B Testing。

案例二:中移在线 APP 导流页优化

据预测,微信将在2017年内实现总用户量10亿的量级……对,三大运营商4G注册用户总和……求各位运营商小伙伴内心阴影面积(⊙﹏⊙)……几乎覆盖了所有中国移动用户,如果竞争在这玩得风生水起,后果不堪设想。让每一个微信用户都转化为移动的用户,这是中国移动喜闻乐见的。

在公众号的主要服务模块以及每一期运营活动中,都有一个专门引导用户下载APP的落地页,10086的数据部门负责人发现,目前版本的下载界面很长(有6屏之多),虽然每屏都有引导下载的入口,但数据显示,除了首屏的下载转化相对较多以外,其他几屏的数据很不理想。在综合评估后,产品部门决定将新版下载界面缩短至一屏,看是否能对下载转化进行提升,具体方案如下:

原始版本:页面内容相对丰富,分为6屏从不同角度描述APP功能,且每个页面都有转化按钮;

试验版本:将原有的6屏内容整合为单一屏,同时增强CTA按钮的视觉效果。

本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为7天。

在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论:新版入口不论从点击还是转化来说,数据都达到了统计显著,样本提升幅度在55%,从置信区间的预估看来,整合为一屏后的导流转化至少可以增加12.4%;

这些数据很好地验证了数据部门和产品部门的假设,基于中国移动10086公众号现有的用户,过多的功能介绍反而会分散用户的注意力,只需要简明扼要的表达移动端可以给他们带来的价值,用户自然就会下载产品;本次试验的带来的宝贵经验,也为后续的产品优化提供了更加明确的方向。

案例三:10086客服界面更名优化

多年以来,网友以“调戏”10086短信自助服务为乐,或许也真的是因为中国移动短信自助服务真的很好用。10086在许多网友心中就是中国移动的代名词,前文提到的4G管家后期正式更名为10086,也证明了10086所蕴含的品牌价值。

如何在10086APP上延续10086的服务口碑,并不仅仅是简单的服务接入和功能整合,而涉及到体验迁移是否顺利的大问题——没有基本盘,海量4G用户从何谈起?

目前10086

APP客服问题页面默认采用“热门问题展开形式”进行展现,产品部门推断这种展现方式导致“积分”等类型问题、和拨打10086等按钮无法一屏展示,进而影响用户快速找到相关问题知识,造成客服界面的使用率较低。可能几个问题稳下来之后,用户依然一脸懵逼、无奈离开。

为了提升首页各问题栏目的点击量以及在线客服支持的利用率,降低用户在APP内拨打10086次数,减少10086客服中心压力,产品部门决定通过A/B测试修改应用中客服界面的布局和按钮,决定创建3个试验版本,具体方案如下:

本次试验选择A/B测试方法与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为14天。同时,将各版块中问题栏目的点击和“联系在线客服”的按钮点击,作为本次试验的核心关注指标。

这一次测试和发布,最红数据结果非常重要,影响也非常深刻,让我们先来看看,最终都得出了那些结论:

不论“热门问题”的展开与否,还是“拨打10086”按钮存在与否,对用户点击不同类型的问题栏目都没有显著的直接影响;如果要提升问题栏目的点击,要关注具体问题的以及答案的质量;

从引导用户点击在线支持来说,不展开“热门问题”并去掉“拨打10086”按钮的试验版本3效果最好,统计显著结果并提升了近25%;

对于试验版本1,数据结果显示当“热门问题”栏被折叠,页面最下方的客服和拨打10086按钮上移,用户关注热线以及在线客服的兴趣也会相应提升,其中选择拨打电话的用户提升更加明显;

这些数据证明用户对页面下方的按钮使用率(包括拨打10086和使用在线客服),与“热门问题”的是否展开还是有一定关联的,产品部门可以依据本次试验的宝贵经验,为后续的优化明确方向。

让我们来看看10086最新的用户界面:在线服务被首页推荐,作为下方三个TAB标签之一并剧中,顶端突出在线人工客服,隐去10086热线,展开了热门回答,精选了露出的题目,并在每个分类下添加了标签,几乎每一处改动都是基于这次试验所得出的结论。

A/B观

管理方式越落后,经验主义越盛行,产品决策越依赖运营能力和供应链管理能力,而非产品创新。即便像中国移动这样占据主导地位的企业,核心竞争力依然来自产品创新与体验。而提升产品体验就要学会用试验驱动创新、用数据驱动决策——A/B测试 ,是被国际一流科技公司普遍采用的数据分析工具和产品决策工具。科学运用A/B测试工具,探索适合自身发展的A/B测试增长模式,才有机会跑赢竞品、跑赢巨头、跑赢整个行业。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容