上个月有个做教育投放的团队来问我，说两条素材跑了两天，A的点击率比B高出一截，是不是可以直接把B关了、预算全压到A上。这个问题听着挺简单对吧，但其实就是素材A/B测试判定里最容易踩的那个坑——变量没收住，样本也没跑够，就急着做取舍。素材A/B测试判定要先解决两个前置问题：你这一次到底在测什么变量，以及多大样本量才算跑够。前者决定结论能不能归因，后者决定结论能不能站住。
先问清楚：这一轮到底在测哪个变量
素材A/B测试最常见的失败，是同一轮测试里改了太多东西。标题换了、首图换了、落地页版本也换了，最后A赢了，你根本不知道是哪个因素起了作用。
单一变量原则怎么落地
一次测试只动一个维度，这话听起来像废话，但实际操作中很容易破功。我的习惯是先把素材拆成几个可独立替换的槽位：主视觉、主文案、行动引导。每一轮只替换其中一个槽位，其余保持完全一致。
- 主视觉轮：同文案、同落地页，只换首图或视频封面
- 主文案轮：同视觉、同落地页，只换标题或卖点句
- 引导轮：同视觉、同文案，只换按钮文案或表单字段数
如果业务节奏逼着你一轮里动两个槽位，那这一轮就只能当作探索性投放，结论不能拿来做关停决策。
变量没控住时怎么补救
已经混着改了怎么办？先别急着推翻重来。你可以把这一轮的数据当作假设来源，而不是结论来源。比如A组首图和标题都换了，数据更好，那就下一轮只保留首图变化、标题回退到基线，单独验证首图是不是真正的贡献项。这里会涉及一个和高客单页延迟切换调优类似的思路：变量隔离不是为了好看，是为了让下一轮决策有据可依。
最小样本观察窗口：不是跑够天数就行
很多投放手习惯用“跑三天”作为观察窗口，但天数本身不是样本量的替代品。日均曝光五百和日均曝光五万，三天的信息量差了两个数量级。
用转化事件数倒推窗口
比较务实的口径是看转化事件数，而不是看天数。行业里常用的经验值是每组至少积累到二三十个转化事件，再去看点击率或转化率的差异。如果转化稀疏，比如一天才两三个，那窗口就得拉长到一周以上。
具体操作上可以这样排：
- 先估这条计划一天能拿到多少转化事件
- 用目标事件数除以日均事件数，得到理论最短窗口
- 如果理论窗口超过一周，考虑先放宽定向或提高出价把样本跑起来
- 窗口内不做关停动作，只记录数据
观察窗口内要不要中途看数据
可以看，但不要依据中途数据做关停。中途数据波动大，上午A领先、下午B反超是常事。我的习惯是每天固定时间记录一次，但不做调整，等窗口结束再统一判定。
判定时容易忽略的两个干扰项
样本跑够了、变量也控住了，判定还是可能出错。常见干扰有两个：时段分布不均和落地页版本不一致。如果A组集中在上午跑、B组集中在晚间跑，那两组面对的流量质量本身就不一样。判定前先核对两组的时段分布是否接近。差距大就按同一时段切片再比。
落地页版本漂移
素材测试期间如果落地页版本发生了切换，A组和B组可能承接了不同版本的页面。这时候素材差异和页面差异混在一起，结论不可用。测试期间建议锁定页面版本，相关一致性保障可以参考分流采样率的动态阈值调优里关于版本稳定判定的部分。
一个双行业投放的复盘
有个团队同时在金融和教育两条线跑素材测试，金融线日均点击一千二三，教育线只有四百左右。他们一开始用同一套三天窗口判定，结果教育线频繁出现“今天A赢、明天B赢”的情况，来回关停浪费了不少预算。
后来调整成按转化事件数定窗口：金融线三天够用，教育线拉到七天。同时把落地页版本在测试期内锁死。调整后教育线的判定稳定性明显改善，虽然单轮测试周期变长了，但误关停带来的预算漏损少了很多。
小结
素材A/B测试判定的核心就两件事：变量控得住，样本跑得够。变量控制决定你能不能归因，样本窗口决定结论能不能站住。判定前先核对时段分布和页面版本，避免把干扰项当成素材效果。窗口内管住手，窗口后再做关停和预算调整。
常见问题
素材A/B测试跑两天就下结论可以吗？
这个要看情况。如果两天内每组已经积累了足够的转化事件，比如各自都有二三十个转化，那可以初步判断。但如果转化稀疏，两天的数据波动太大，结论很容易翻车。说白了，看事件数比看天数靠谱。
两组数据差距多大才算显著？
没有一刀切的标准，但差距太小的时候要谨慎。如果点击率只差几个百分点，很可能在正常波动范围内。差距明显且样本足够时，结论才相对可信。
测试期间可以调整出价吗？
不建议。调出价会改变流量结构和竞争环境，等于引入了新变量。测试窗口内尽量保持出价、预算、定向稳定，把变化留给下一轮。
落地页版本在测试中途切换了怎么办？
这一轮的数据就要打折扣看。素材差异和页面差异混在一起，没法单独归因。稳妥的做法是锁定版本重跑一轮，或者至少把切换前后的数据分开分析。
延伸阅读
如果你在投放中涉及百度渠道的流量适配，这篇内容可以帮你补充不同平台下的策略差异：百度斗篷投放策略与流量适配要点
