小步快跑做产品

增长黑客概念,会让产品迭代速度越来越快。迭代快速的前提,是项目足够小、上线后获得收益的周期短。低成本项目和快速验证的实验,才能支持快速迭代项目。实验类似之前更流行的说法-方案。你说方案的时候,可能背负了确定收益的期待,以及不可回头上线后效果不好的背锅氛围;说实验少了确定性,追求堆积数量来找到突破。

实验方法的核心步骤:

  1. 不断收集想法
  2. 以最小成本上线
  3. 快速用数据说话

其中每一步,涉及大量细节,如优先级排序、成本控制、指标选取、A/B test搭建…

A/B test好处是精准和快速。对比方案-迭代-版本效果回归这个流程,因为版本活跃用户群、新增用户分布不同,难以完全排除因为用户本身而带来的数据变化。另外,迭代后灰度发布到收集足够的数据出结论,一般要一周。而A/B test让同期用户经历同版本两个不同的体验,控制了用户,有了控制对比,最短3天可以出结论。一个是事后日常观察,一个是控制变量,A/B test有它的优势。

不少人崇尚这样的‘实验驱动产品迭代’。有人说,自己网站的数据不好看,而后发现方法上有问题,实验做得不够多;有人说如果你坚持每周能够做几个实验,产品总能走出困境。这样说,让人很难不心动实践,大不了就是一试。

这个方法背后是概率。就像生物进化,不同的物种随机变异,万年积累,运气好适应环境的那个留了下来。哪个实验能胜出,不带预判的时候,只选结果。只是大部分人做的项目,无法接受低成功概率。提高成功率关键之一在于选好的实验,这就又回到的需求的来源:作为产品你自己去用去体验,源于经验;对数据的理解和挖掘;业内竞品,什么是新趋势。

无奈这些都无法短期质变。

如何更有节奏和科学得执行流程,也能提高实验成功率。源头正确难速成,过程正确有方法可依。

Sean Ellis 提过一套完整实践流程:High Tempo Experiment

  1. 广泛参与,除了产品,其他部门人也加入实验合作
  2. 快节奏,每周做3个实验
  3. 每个实验有专门Project Manger负责,他可以是任何部门的人
  4. 实验上线后,跑足够久的时间

多人参与,会让实验想法持续积压,他为此每周例行Week Cadence,来推进想法。每次会议控制时间:

  • 15分钟过增长指标、问题、及机会
  • 10分钟回顾上周实验结果
  • 15分钟分享实验的结论和经验
  • 15分钟选出下周实验
  • 5分钟回顾剩下的实验想法

每个实验,会上Review从这几个角度分析结果:

  • 多问几次为什么
  • 将结论系统化,也就是能否推广到增长其他环节
  • 对未来实验有什么帮助
  • 帮助回顾更早做过的项目

实验结果,通过Transparent Learning,让更多人知晓。他们将所有结果,成功或失败,无论好坏,分享给团队。结果也记录到实验墙,团队新成员看过一遍,知道做过哪些项目,效果如何,免去了新人兴致勃勃有了一堆想法,推进时发现全部被实践过。

推荐阅读更多精彩内容