数据人学习平台上线了：www.shujurenclub.com
作者介绍
一
实验前，先评估策略属于“即时影响型”还是“滞后影响型”
✦
1、举例说明
“即时影响型”策略：比如信息流推荐模型，加入了新的预测特征，希望评估策略对用户点击率（CTR）的影响；比如UI设计师希望找出CVR最优的广告落地页样式；
“滞后影响型”策略：比如开发者想增加广告播放频次，并测试对于商业化收入和用户体验的影响；比如滴滴发放不同额度的打车补贴，刺激流失用户回流，但希望寻找最优增量ROI的券额度
2、区别总结
“即时影响”型策略的影响范围，仅在于策略施加当下，当策略撤销时，影响也随即消失。
但是“滞后影响”型策略，触达用户后会产生「滞后效应」：
1）可能会改变实验组用户后续产品访问频次（如留存率）。进而影响实验组用户后续的进组概率，造成后期与对照组用户非同质，丧失了可比性
比如，将广告播放频次增加一倍的策略，实验组用户的次日和N日留存率都将会下降，那么相比对照组，实验组次日和第N日进组用户数量会缩减；同时，实验末期进入的“实验组”用户，属于被高频广告筛选后的高耐受用户，比同期进组的对照组用户更加忠诚。
如果按照“人天”作为样本，这种错误的统计方法可能会得出“提升广告频次会提升用户留存率”的错误结论。
2）会伴随着策略的施加次数和时间的累积，对用户的行为产生 “累积”性的滞后影响影响。
比如，将广告频次增加一倍后，实验组中第一次感受到该变化的用户，出于新奇，可能点击广告的概率只会轻微下降；但已经感受了30天的这种变化的用户，以后可能会自动忽视广告，CTR降低为接近0。
所以，这就告诉我们，不同的实验持续周期，对于实验结论影响重大。如果是较大的产品功能改变，建议通过较长实验周期来验证产品滞后影响价值的变化。
二
“滞后影响型策略”的AB实验，分流和分析的注意事项
✦
1. 按uv粒度分流
滞后影响影响策略会对用户留存产生影响，因此分流时要以uv粒度进行分流（比如设备id或者user_id），以保证同一用户落组后策略的唯一性。
2. 以“首次进组用户”作为分析单元
错误的做法是，以“人天”作为分析样本，但“人天”样本在对照组和实验组并不“同质”，比如实验次日以及后续n日的实验组样本在之前就受到了实验策略的影响。
但首次进组用户，在进组前不会不受策略影响；二次或多次进组的实验组用户，会受到实验策略的幸存者选择。比如影响留存率的实验，应该统计首次进组用户的次日留存率，而非统计实验组用户分天的次日留存率后求平均。
三
观测用户首次进组后「固定时间窗口」
或实验周期内的指标
✦
如果直接统计用户首次进组后在「实验周期」内的指标（比如人均活跃天数、人均GMV），需要注意：由于不同用户首次进组日期不同，那么不同用户被策略触达的时间范围不同，指标对于业务的可解释性可能较低。
当然如果仅为了否对比看短期内的效果正负向，也可以直接观测首次进组用户实验周期内（从进组到实验结束）的指标。
四
如按照固定时间窗口统计，首次进组样本可能要“掐尾”，以剔除「时间窗口期」不满的用户
✦
比如增加广告播放频次后，想分析用户的第30日留存率下降情况。但实验从10.01开始，于10.31就结束，那么建议只选择10.1的首次进组样本，因为只有10.1的用户后续会完整的经历30天的高频次广告影响，而10.2～10.31日首次进组的用户受策略影响不满30天。
五
将观测DAU是否置信，转化为观测「人均活跃天数」是否置信
✦
有人会将“天”作为样本，检验DAU是否置信，但DAU波动较大，因此方差也较大，往往达到置信水平需要非常长的时间周期。
建议将首次进组用户作为样本，将DAU 转化为率值指标——首次进组用户的人均活跃天数，方差较小，置信较快。
这里有推导公式，DAU * 天数 = 人均活跃天数 * 人数，因此DAU的相对提升幅度 = 人均活跃天数的相对提升幅度。
因此，可以将【首次进组用户在实验周期内的活跃天数】作为是否置信提升的监测指标。
想了解更多数据知识也欢迎看，7位大厂数据产品写的《大数据实践之路：数据中台+数据分析+产品应用》这本书。章法有度
