专业成就职业
AB测试是一种非常科学的做产品迭代和效果衡量的方式，但是大部分公司，存在一种奇怪的现象：为了做AB而做AB。
很多产品经理去做AB测试的时候，基本就是按照下面的流程：分两个组，开流量，上线看数据，下结论。
看看你们是不是也是这样做？至少我训练营的同学很多都这么跟我反馈，每天无休止做着无用的AB测试，毫无成就感。
这么做并没有发挥AB测试真正的作用，反而有时候会给我们带来错误的决策，一次专业，科学的ab测试远比这个复杂和完善，今天跟大家聊一下如何做一次专业，科学的AB测试。
我会通过正确的做法和错误的做法对比，并且说明一下正确做法的优势。
01 AB测试的必要性
首先，我们需要先去判断是否需要做AB测试。为了能够量化我们的需求收益，原则上所有需求都需要做AB测试，但是有几种除外：政策类需求、战略性需求、以及产品必备需求，这类需求无需做ab实验。
政策类需求通常是关系到民生的一些需求，比如我们之前做的老龄化改造，很多做C端的同学应该都做过，这个过程必然涉及到诸如：放大字体，砍功能，减有效信息等需求，即使对线上业务指标有影响也是必须要上线的。
战略类需求则是企业考虑到长期收益做的一些事情，这些需求不看短期收益，也因此不会去做AB实验去衡量具体指标的变化。
产品必备需求，也就是用户为了完成基本业务流程所必需的功能，逻辑等，这类需求也无需做AB测试。
02 AB实验核心指标确定
做AB实验之前需要确定一个核心指标作为AB结果的衡量指标。很多时候我看到有些产品经理没有唯一核心指标，实验过程中看到有指标收益较大，即认为Ab实验有效，这是不科学的。
正确的做法：1个核⼼指标， 多个观测指标；统计该指标在一定时间内的方差；
错误的做法：观察多个指标或者无指标，AB测试做成了灰度测试；
优势：目标明确，结果可量化，且可拆解，有利于明确增长因子。
正如我昨天视频号直播讲的：做AB实验可以在任意时间看数据，但是不要随意做决策，做决策是有前提条件的。
03 计算AB实验前置条件参数
Ab实验的条件参数最基本的包括预期提升值，最小样本量，实验时长。
预期提升值：
正确的做法：根据预期的效果和前期的数据调研，设定最⼩预期提升值 。例 如最⼩提升5pp
错误的做法：⽆收益预估， 边⾛边 看的⽅式，导致业务收益波动，甚⾄产⽣损失
优势：精⼒聚焦，可以避免试⼀试的⼼态，平衡成本和收益
那么，我们如何去确定需求上线后能够给我们带来的收益是多少呢？
这块我在训练营讲过，对于策略产品，核心通过以下三个步骤进行收益预估：
通过以上方向就可以预估出一个策略带来的收益是多少。
最小样本量：
正确的做法：根据试验指标⽅差，提⽬标以及置信度来计算本次试验所需要的最 ⼩样本量
错误的做法：没有明确的⽅法， 凭 经验和惯⽤的流量⽐ 例去做
优势：避免流量浪费，给到其他试验，避免在统计功效不⾜的情况下给出错 误结论
实验时长：
正确的做法：根据试验的性质以及本身的影响程度，结合最⼩样本量和试验桶例来计算最终试 验时⻓不到规定的时⻓，不提前下结论
错误的做法：不提前设定时长，凭经验来设定。每天看数据，提前或者延后下结论， 期望满⾜⾃⼰预期 的结果出现
优势：综合考虑了统计功效 、可接受⻛险， 时间效应等关键因 素， 不错⻓期正确 的版本避免重复检验，导致⼀类错误概率激 增， 置信度下降
另外，这些指标都有科学的计算方法。
比如最小样本量=16X指标方差/最小预期提升值的平方。
04 配置实验
配置流量，分组，上线实验。以上条件参数计算好以后便可以进行Ab实验配置，通常会有对应的Ab平台进行。
包括流量分配，分组设置等等。
05 数据统计
回收AB数据，并且进行结果分析，这个时候我们需要看如下几个指标：核心指标diff、P值，同时也可以参考最小样本量，MDE等来进行数据诊断。然后结合最终结果进行决策。
以上就是如何做一个正确的Ab实验五个步骤。
最后，如果你现在是策略产品，但是做的比较野路子，不成体系，或者你现在是C端，B端产品经理，希望转到策略方向，欢迎来我的训练营看看，35期训练营正在进行当中，随到随学，全程1对1辅导，好好学，达到拿offer的水平没问题。关于效果和具体介绍见
报名联系
