本文系统性拆解分流日志采样偏差的完整实操要点。
后台看板上某个分支的命中数连续几天稳定在几百,可广告后台的点击量明明是这个数的好几倍。上个月一个做小语种培训的客户就碰到这种情况:投放人员以为是规则没生效,把关键词跳转条件来回改了三遍,最后发现规则本身没问题,是分流日志的采样偏差把统计口径带歪了。分流日志的采样偏差不是小事,它直接决定了投放人员对规则命中率、版本覆盖面的判断,看板上的数字一旦失真,后面所有调优动作都建立在错误前提上。
采样偏差从哪来:三个容易被忽略的环节
多数人理解的采样是"按比例抽一部分请求记日志",实际链路里的偏差往往不在比例本身,而在比例之外。
采样发生在判定之前还是之后
如果采样开关放在请求入口,先按百分比决定"这条请求要不要记日志",再走判定逻辑,那么被采样到的请求和未采样的请求在分布上并不等价。首访请求、带完整指纹的请求、走了兜底分支的请求,它们的耗时和路径长度都不同,随机数落在入口处,等于给不同分支赋予了不同的被记录概率。
更稳的做法是把采样点放在判定完成之后,先算出结果再决定是否落盘。这样至少保证"被记录的请求"都是完整走完决策链的,分支归属是准确的,只是总量按比例缩水,后续用系数还原即可。
采样对象是请求还是会话
按请求采样,同一个访客的多次访问可能只有一次被记录;按会话采样,一个会话内的所有请求要么全记要么全不记。前者适合看单次判定的分支分布,后者适合看版本覆盖的连续性。很多团队把两种口径混在一张看板上对比,数字自然对不上。
落盘链路里的二次丢失
日志写入磁盘或转发到采集端的过程中,队列满、批量提交超时、轮转切分都可能丢记录。这类丢失不是均匀的:高峰时段丢得多,低谷时段丢得少,于是采样偏差在时间维度上又被放大了一层。看板上"晚间命中率偏高"的结论,有时只是晚间日志丢得少而已。
条件采样和全量计数该怎么分工
采样偏差没法彻底消除,但可以把"看趋势"和"看总量"拆成两条链路。
- 全量计数链路:只记极简字段,比如分支编号、版本标识、时间戳,不落请求头、不落指纹摘要。单条记录很小,写入开销可控,用来还原各分支的真实命中总量。
- 条件采样链路:按分支或按异常状态触发,比如只对走了兜底分支的请求、或指纹采集为空的请求记完整快照。这类日志量小但信息密度高,用来做具体案例的回溯。
两条链路的统计口径要分别定义清楚:全量计数回答"有多少",条件采样回答"为什么"。把两者塞进同一张报表,是很多统计对不上的根源。
一次统计口径校准的复盘
回到开头那个客户。他们的业务是东南亚小语种课程投放,日均点击一千二三,服务器是单台四核八G,规则链大约二十来条。投放人员反馈某个关键词分支的命中数只有点击量的三成左右,怀疑规则被高优先级条件截走了。
排查顺序是这样的:先确认规则链本身,把该分支的条件单独抽出来做空跑比对,命中路径正常;再看日志配置,发现采样开关设在请求入口,比例设的是百分之三十,而且按请求采样。到这里问题基本清楚了——三成的比例恰好和看板上的比例吻合,说明规则没被截,是采样系数没被还原。
调整分两步走。第一步把采样点挪到判定之后,比例暂时保持三成,观察一天,确认各分支的记录比例一致;第二步补上全量计数链路,只记分支编号和时间戳,用这条链路的数据除以采样系数去核对条件采样链路的分布。调整后看板上的分支占比和广告后台的点击分布基本能对上,投放人员后续再调关键词跳转条件时,参照的就是真实的比例了。
顺带说一句,这个案例里还有一个细节值得记:他们最初的日志里带了完整请求头,单条记录偏大,高峰期写入队列确实出现过积压。后来做字段瘦身,只保留判定用到的几个字段,积压才消掉。字段取舍的思路可以参考分流判定请求快照怎么建,里面把哪些字段该进快照、哪些该截断讲得比较细。
校准统计口径的配置顺序
如果准备动手改,建议按这个顺序推进,避免改一半看板更乱:
- 先冻结看板口径,明确每个指标对应哪条链路、是否已乘采样系数,写进配置注释。
- 把采样点从入口挪到判定之后,比例不变,观察一个完整业务周期。
- 补全量计数链路,字段压到最小,先只记分支编号。
- 用全量计数校正条件采样的分布,确认两者在各时段的比例偏差在可接受范围内。
- 再调采样比例,调一次观察一天,不要和规则改动同批上线。
第5步尤其重要。采样比例和规则条件同时改,出问题时根本分不清是统计变了还是判定变了。规则链本身的求值开销和分组方式也会影响日志分布,相关取舍可以对照规则链条件分组策略来看,分组粒度粗,单条日志覆盖的分支就多,统计口径也要跟着调。
小结
分流日志的采样偏差,本质是"记录"和"判定"的先后关系没理清。采样点放在判定之后、按会话而非按请求采样、全量计数与条件采样分工,这三件事做到位,看板上的命中统计才有参照价值。规则写得再准,统计口径歪了,调优也是在雾里开车。
常见问题
分流日志采样比例设多少比较合适?
这个要看情况。只做趋势观察,百分之十到二十就够;要做分支级别的对比,建议不低于三成。比例越低,短时间窗口内的波动越大,看板上的曲线会显得很"毛"。
采样偏差会导致规则判定结果本身出错吗?
不会。采样只影响日志记录,不影响判定链路。但如果采样开关放在判定之前并且带了额外开销,极端情况下会拖慢判定,那是性能问题不是逻辑问题。
为什么高峰期和低谷期的命中率看起来差很多?
多半是落盘链路在高峰期丢了记录,或者队列积压导致部分日志延迟写入。先查写入队列的积压情况,再对比两个时段的记录总量。说白了,先确认数据全不全,再谈比例。
全量计数链路会不会把服务器压垮?
字段压到最小之后,单条记录只有几十字节,日均几千次请求的量级完全扛得住。真正吃资源的是带完整请求头的快照日志,那种才需要采样。
看板上的命中数和广告后台点击量差多少算正常?
没有固定阈值。两边统计的对象本来就不同,广告后台算的是点击,分流日志算的是到达判定链路的请求,中间还有跳转、缓存命中、重复请求等环节。差一倍以内可以先不动,差出几倍就要查采样系数和落盘丢失了。
延伸阅读
日志采样解决的是"看得到多少",而分流系统整体怎么运转、各环节如何衔接,可以顺着这篇总览往下读:斗篷系统技术原理与工作流程。