预生成和即时判定这两条承接路径,到底该走哪条,其实就看一件事:首字节延迟预算和命中率要求,哪个更硬。上个月有个做教育投放的客户来问我,说他们页面版本切换总是慢半拍,审核通过之后流量爬坡那阵子尤其明显,问是不是该把预生成队列开大一点。我没直接答,先让他把延迟预算和命中率这两个指标摆出来。这俩数一摆,路径基本就定了,真的。
判断标准先给出来。预生成适合什么场景?命中率高、访客画像稳定。代价呢,队列资源要占着,版本新鲜度会滞后。即时判定适合流量结构多变、版本规则频繁调整的情况,代价是每次请求都得走完整判定链路,首字节延迟自然就抬上去了。这两者的分界线不在技术实现上,在你能容忍多少延迟、版本漂移有多频繁。
延迟预算先定:首字节卡在多少毫秒以内
投放侧对首字节延迟的容忍度,一般是从落地页加载体验倒推出来的。移动端首屏超过两秒半,跳出率就有明显抬升,所以判定链路留给自己花的预算,通常不超过一百五十毫秒。预生成路径在这个预算下就从容多了。页面版本在请求到达之前就算好了,请求进来主要是查表返回,快。即时判定不一样,访客信号采集、规则链求值、版本映射,全得走完,哪一环抖一下都吃预算。这里可以参考分级超时预算还是统一阈值里的拆法,把预算按环节切开,别一个总数卡死。
判断标准很直接:判定链路在峰值时段的P95延迟已经逼近预算上限了,预生成是更稳的选择。链路延迟还有三成以上余量,那即时判定的灵活性才值得拿。
命中率再看:预生成的收益来自重复命中
预生成的经济性,说白了就建立在命中率上。队列里提前算好的版本,十次请求里有七八次能直接命中,资源就没白花。命中率只有三成呢?剩下七成还是得回落到即时判定,等于两条链路都养着,成本翻倍。某金融投放团队踩过这个坑。日均点击量一千二三,访客画像以高消费人群为主,版本规则按受众分层设了六套。一开始预生成队列按全量开,结果版本规则一天改两三次,队列里的快照很快过期,命中率掉到三成出头,延迟反而比纯即时判定还高。后来把预生成收敛到两套稳定版本上,其余分层走即时判定,命中率回到七成左右,首字节延迟也压下来了。
这个案例说明什么?预生成的命中率,靠版本规则稳定换来的,队列开大换不来。规则越常改,预生成越不划算。
版本漂移频率:被低估的取舍变量
多数讨论只比延迟和命中率,版本漂移频率这个变量经常被漏掉。预生成队列里的版本快照有保鲜期,规则一改,旧快照要么失效,要么带病返回。
你们投放要是处于审核通过后的爬坡期,版本映射还在调整,预生成队列的批次窗口设得越长,快照过期越严重。这种时候即时判定反而更合适,它每次读的是当前规则版本。反过来,进入稳定放量期、规则冻结了,预生成的优势才真正兑现。这个判断可以对照预生成与即时判定来看,时序上的错位往往就是漂移频率高导致的。
混合路径的衔接点设在哪
纯预生成和纯即时判定之间还有混合路径:稳定版本走预生成,动态分层走即时判定。衔接点怎么设?按版本规则的变更频率分桶。变更周期长于队列批次窗口的走预生成,短于窗口的走即时判定。衔接点不要按流量比例切,要按规则稳定性切。按流量切会出现同一分层时而命中预生成、时而回落即时判定,版本一致性反而难保证。
选择边界:什么条件下该换路径
把判断标准收拢成几条边界。
- 峰值P95延迟逼近预算上限,且版本规则日变更少于一次,选预生成。
- 版本规则日变更超过两三次,或处于审核通过后的映射调整期,选即时判定。
- 预生成命中率连续低于五成,先收敛版本规则,再决定是否保留队列。
- 流量结构突变、分层比例大幅波动时,即时判定的自适应能力更值钱。
这几条边界不是互斥的,混合路径可以同时满足前两条。关键是别在规则高频变更期硬开预生成,那是最容易两头不讨好的组合。
小结
预生成与即时判定的取舍,本质是拿延迟确定性换版本灵活性。延迟预算紧、规则稳,预生成划算;规则常动、流量结构在变,即时判定更稳。先量延迟余量,再算命中率,最后看版本漂移频率。三个数摆齐,路径自然清楚。
常见问题
预生成队列开大一点能降低首字节延迟吗
这个要看情况。队列开大只影响覆盖范围,不改变单次查表的速度。如果命中率本来就低,开大只是多占资源,延迟改善很有限。先把版本规则收敛,命中率上去了,队列才有意义。
即时判定是不是一定比预生成慢
不一定。规则链短、信号采集轻的时候,即时判定也能压在一百毫秒内。它慢是慢在链路长且环节多,不是慢在判定本身。链路裁剪做得好,差距没那么大。
版本规则一天改好几次,还能用预生成吗
说白了,这种节奏不太适合。快照保鲜期跟不上规则变更,命中率会很难看。建议这段时间走即时判定,等规则冻结再切回预生成。顺带说一句,切回之前更好空跑比对一轮,确认快照和当前规则一致。
混合路径会不会让版本一致性更难保证
会有这个风险,所以衔接点要按规则稳定性切,不按流量比例切。同一分层固定走一条路径,版本来源就单一了。另外日志里要把路径标记带上,出问题时能快速定位是哪条路径返回的版本。
延伸阅读
本文讨论的是路径选择层面的取舍,如果你更关心判定链路在缓存失效时的排查顺序,下面这篇按失效位置拆解的清单可以补充排查思路。