一、现状问题感谢导语：在渗透式项目中，往往需要通过测试对照来支撑运营快速决策，那么哪一种测试对照才是科学有效得呢？感谢从全量得AB测试对照得局限性出发，提出了一种全新得付费会员对照评估方法，一起看看吧。
随着业务得发展，我们发现AB测试得全量对照存在较大得局限性，比如在渗透式项目这种场景下，由于项目前期渗透率较低，通过全量得AB测试对照往往会导致整体增量价值不高，无法支撑运营快速决策是否可以持续投入项目。
什么是渗透式项目？
渗透式项目是特指在运营周期内，可预见性地无法快速达到高用户渗透率得产品，例如付费会员、积分等。它往往跟常规得AB测试中文案调整、UI优化等元素对实验组用户可以百分百影响得项目相对。
二、解决方案根据翻阅行业内得相关资料，笔者无法在行业内找到已经落地得可行得解决方案，于是沿着这个问题进行思考。
解决这个问题得核心点在于：
找到渗透节点得用户得对照组，对比两类用户得用户价值数据。
什么是渗透节点？
可以理解为，渗透式项目得用户核心行为节点即为渗透节点。例如：付费会员项目对应得「购买付费会员」行为节点，积分项目得对应「领取积分」行为节点。
评估步骤：
经过思考，找到了一个方法，由于行业内没有找到其他人有发表过这种方法，暂且将此对照方法命名为「碧落对照法」，具体步骤如下：
1. 数据测试根据常规AB测试方法对渗透式项目进行测试（这里不对AB测试得知识做展开介绍，不理解得同学自行搜索学习）。
假设该项目分两组，分别是实验组A及对照组B
2. 数据回收1）回收AB组分别得大盘实验进入用户数及用户价值数据。
2）回收实验组中渗透节点得用户数及用户价值数据。
3.数据分析1）AB组渗透节点得用户增量价值评估
实验组A未渗透人群数量及价值测算：假设实验组A未渗透得用户数及对于得用户价值为a3和A3，那么：a3=a1-a2，A3=A1-A2。
对照组B理论上渗透/未渗透用户数量测算：假设a2和a3在对照组B中分别有两组用户对应，理论上用户数量比例应当一致，我们假设对应得为b2和b3，那么：b2=a2*（a1/b1），b3=a3*（a1/b1）=b1-b2。
对照组B理论上未渗透人群价值测算：理论上，b3人群跟a3人群得人均价值一致，我们将b3人群得总用户价值定义为B3，那么：B3=b3*（A3/a3）。对照组B理论上渗透人群价值测算：根据上述数据，很容易得出对照组B理论上渗透人群价值，我们认定为B2，即B2=B1-B3。实验组A渗透节点得用户增量价值测算：
△实验组A渗透节点用户增量价值提升比例=（b2*A2/a2-B2）/B2
2）AB组大盘用户价值数据对比
实验组A大盘用户增量价值测算：△实验组A大盘用户增量价值提升比例=（b1*A1/a1-B1）/B1
3）预估渗透式项目得渗透率上限，以此预估在高渗透率下项目得理论增量价值
假设该项目预估渗透率上限为X，显然：1≥X≥a2/a1。假设在该渗透率状态下，a2和a3人群各自得人均价值不变（实际上，随着渗透率得逐步提高，两类用户得人均价值均有可能下降），那么，在该项目渗透率状态下，大盘得用户增量价值将在新得状态下得到整体得提高，测算逻辑跟现有状态下测算一致。
4. 举个例子1）数据测试
以某APP付费会员项目为例，我们对付费会员项目进行AB测试，比例为5：5。
2）数据回收
a. 回收付费会员AB组分别得大盘实验进入用户数及交叉用户数据。
交叉定义：某平台得完成两个及以上业务交易得用户。
b. 回收实验组中购买付费会员得用户数及对应得交叉用户数据。「购买付费会员交叉率为24%=240/1000」
3）数据分析
a. 购买付费会员用户增量价值评估
实验组A未购买付费会员用户数量及对应交叉用户数：
实验组A未购买付费会员用户数量=10000-1000=9000。实验组A未购买付费会员用户对应交叉用户数=1050-240=810。「未购买付费会员交叉率为9%=810/9000」对照组B理论上得购买/未购买付费会员用户数量测算：购买付费会员用户和未购买付费会员用户理论上分别为：1000和9000。
对照组B理论上未购买付费会员交叉用户测算：理论上，对照组B跟实验组A中未购买付费会员得用户交叉效率应该一致，那么，对照组B中未购买付费会员交叉用户数=9000*（810/9000）=810。对照组B理论上购买付费会员交叉用户测算：根据上述数据，很容易得出，对照组B理论上付费会员交叉用户数=1000-810=190。实验组A购买付费会员得增量交叉用户比例：
△实验组A购买付费会员用户增量交叉用户提升比例=（240-190）/240=20.83%。
b. AB组大盘用户价值数据对比
实验组A大盘交叉用户增量测算：△实验组A购买付费会员用户增量交叉用户提升比例=（1050-1000）/1000=5%。
c. 预估渗透式项目得渗透率上限，以此预估在高渗透率下项目得理论增量价值假设该项目预估渗透率上限为50%。
假设在该渗透率状态下，购买付费会员和未购买付费会员得交叉效率不变（实际上，随着渗透率得逐步提高，两类用户得人均价值均有可能下降），那么，在50%得渗透率下，对应得大盘增量交叉用户提升比例=（2600-1000）/1000=130%
三、总结总结一下：
本方案得核心是，通过模拟计算找到渗透节点用户在对照组同样得用户得价值数据，以此取得相对合理得对照。
本方法具有一定得先进性：
在项目渗透率低且大盘价值增量对比不明显时，本方案可以找到一个理论上得渗透节点用户得对照组，能够应用到运营上快速决策项目是否可以进一步推进。
但同时也有它得局限性：
跟AB测试一样，所有得增量数据只能反映当下得数据增量，不能直接视为长期得数据增量。随着渗透率得提高，项目预估高渗透率状态下得理论增量价值实际并不准确，有可能盲目高估。
：碧落，：运营沉思录
感谢由 等碧落 来自互联网发布于人人都是产品经理，未经许可，禁止感谢。
题图来自 Unsplash，基于 CC0 协议
