上个月有个做金融投放的团队碰到个怪事,分流判定偶尔会把高意向访客送进默认版本。他们去翻日志想看看那段时间到底命中了什么规则,结果发现命中记录恰好被采样丢掉了。最后只能靠猜。这事儿根子不在规则本身,出在规则链命中日志的采样策略上——记多了磁盘扛不住,记少了排障没证据。对日均请求几十万量级的系统来说,这个取舍直接决定故障定位是十分钟还是一整天。
先定判断标准:日志是给谁看的
在动手选采样策略之前,有个问题得先回答清楚:这份日志到底主要给谁用?是实时监控、事后排障,还是规则调优?这三种用途对完整性的要求差得很远。实时监控嘛,它只要聚合指标,单条日志丢了根本不触发告警;事后排障就不一样了,出问题的那条请求必须能完整还原出来;规则调优呢,需要足够多的命中样本去统计条件分支的分布情况。
把用途排个优先级,判断标准自然就清晰了:排障优先则保关键路径全量,调优优先则保样本均匀,监控优先则只留计数。 我见过不少团队把三种需求混在一份日志里,结果既贵又不好用。还有个隐性标准是排障窗口。团队如果习惯当天发现当天查,日志保留24小时就够用,采样可以放宽一些;要是跨天回溯是常态,保留周期就得拉长,那单位时间的写入量必须压下来。
方案一:全量落盘,代价在IO不在磁盘
全量落盘最直观的好处,就是任何一次判定都能完整还原:请求进入时的信号快照、命中了哪条规则、走了哪个分支、最终返回哪个页面版本,一条不落。
代价主要出现在写入侧。按每条命中日志约300字节估算,日均五十万次请求就是一百五十兆左右的原始文本,加上索引和轮转副本,磁盘占用其实还在可接受范围。真正吃紧的是IO。日志和判定服务要是共用一块盘,高频同步写会直接抬高判定链路的尾延迟,表现就是P99响应时间抖动。
缓解办法有三个方向。一是异步写,把日志推进内存队列由独立进程落盘,代价是进程崩溃时会丢最后一批;二是单独挂一块盘或者独立分区,隔离IO竞争;三是按天轮转加压缩,控制单文件体积。
全量落盘适合请求量中等、排障要求高的场景,比如高客单业务,一次误判的损失远大于存储成本。
方案二:条件采样,难点在采样规则设计
条件采样不是简单地按百分比丢弃,而是按条件决定记不记。常见的做法有几类:
- 按判定结果采样:命中默认分支、兜底分支的请求全记,命中主路径的按比例记。异常路径才是排障重点。
- 按信号完整度采样:请求头缺失、指纹采集失败的请求全记,正常请求抽样。
- 按访客分层采样:新访客全记一段时间,老访客按比例记,兼顾冷启动观察。
- 按规则版本采样:规则库刚热更新后的短窗口内全记,稳定后降采样。
这套方案能把日志量压到全量的百分之几,但代价是调优统计会出现偏差。如果采样规则和业务结果相关,比如只记异常路径,那统计出来的分支分布就不能代表真实流量。做规则调优时,得另开一个均匀采样的通道,不能复用排障日志。
另一个坑是采样开关本身出问题。有团队把采样率配置写死在代码里,想临时调成全量得重新发版;也有团队采样条件写得太复杂,判定链路为了决定记不记日志多跑了一轮计算,反而拖慢了主流程。采样判断要足够轻,更好只依赖已有字段。
混合方案与选择边界
多数生产系统最终会落到混合模式:异常路径全量、正常路径低比例采样、关键窗口临时全量。 具体怎么配,看三个边界条件。请求量级是第一道边界。日均十万以下,全量落盘配合异步写入基本没有压力,没必要引入采样复杂度。日均百万以上,全量日志的IO开销会开始影响判定链路,必须上条件采样。中间地带看服务器规格,单独挂盘就能撑住的,优先保完整性。
排障习惯是第二道边界。如果团队依赖日志回放做回归验证,那回放所需的字段和样本必须完整,采样会直接破坏验证前提。这种情况下宁可牺牲保留周期,也不要在采样上省。最后是合规与成本约束。日志里可能带访客标识类字段,保留越久、记录越全,数据管理责任越重。这种情况下,缩短保留期比降低采样率更安全。
有个做教育投放的团队踩过一次坑:他们把采样率设成百分之五,平时够用,结果规则库热更新后出现小范围误判,受影响请求占比不到百分之三,采样后几乎没留下记录,等发现时窗口已经过了。后来改成热更新后一小时内全量、之后降采样,才把这类问题兜住。这个调整的本质是把采样率和变更事件挂钩,而不是固定一个值。
配置上,采样判断尽量放在日志模块内部,用已有的判定结果字段做条件,避免回查数据库或重新计算指纹。落盘路径单独分区,轮转周期和保留份数按排障窗口倒推。
小结
规则链命中日志的采样取舍,核心是分清这份日志服务谁。排障要完整性,调优要均匀性,监控只要聚合值,三者不该共用一份策略。全量落盘赢在还原能力,输在IO竞争;条件采样赢在成本,输在统计偏差。混合模式的关键是让采样率和系统变更事件联动,而不是设一个固定百分比然后忘记它。
常见问题
规则链命中日志采样会影响判定速度吗
这个要看情况。采样判断本身如果只读已有字段,开销可以忽略;但如果为了决定记不记日志去回查缓存或重算指纹,就会拖慢主链路。稳妥的做法是把采样逻辑放在异步落盘那一侧,判定主流程只负责把事件推进队列。
日志量不大是不是就不用采样了
请求量小的时候,全量落盘通常更划算,因为省掉了采样规则的设计和维护成本。但要注意保留周期,日志再少,放半年不清理也会累积成负担。顺带说一句,我一般还会给日志目录单独设个容量告警,比设采样率更省心。
临时要查历史日志但被采样丢掉了怎么办
这种情况只能靠提前预留的全量通道。如果系统支持按规则版本或时间窗口临时开启全量,发现异常后第一时间打开,能捞回一部分现场。已经丢掉的样本找不回来,所以对变更频繁的规则库,热更新后的短窗口全量记录是值得的投入。
延伸阅读
日志采样解决的是记录多少的问题,而分流系统与常规竞价投放的配合方式,涉及的是流量怎么用的问题,两篇对照着看能补上策略层的视角。