本文系统性拆解三阶段核验项的完整实操要点。
上个月一个做教育投放的客户问我:服务器到底买多大才够?他手上是一套刚搭好的斗篷系统,日均点击一千二三,准备放量到三倍,纠结是按当前峰值配还是按预估峰值配。这个问题本质上不是买几核几G,而是容量水位该定在哪个位置——定高了浪费钱,定低了放量当天就被打回原形。我的回答方向是:别拍脑袋估峰值,先把上线前、运行中、异常后三个阶段的核验项走一遍,用检查项倒推资源边界。
上线前:把容量基线算出来再谈冗余
上线前的核验不是走形式,每一项都对应一个运行期的故障模式。容量这块最容易犯的错,是拿「日点击量÷86400」当QPS用,忽略了投放的脉冲特征。
峰值系数比日均值更值得关注
投放流量的分布不是均匀的。分时出价系数一调,早高峰和晚高峰的瞬时请求可能是日均值的三到五倍。核验时应该拉出近七天的分时曲线,取最高的那一个小时折算QPS,再乘一个安全系数。安全系数怎么定?如果是新账户、没有历史数据,我一般建议按三倍留;有稳定投放历史的,一点五到两倍就够。这个系数不是拍出来的,是拿「最高小时请求量÷日均小时请求量」算出来的实测比值再上浮。
单请求的资源开销要单独测
光有QPS不够,还得知道每个请求吃掉多少CPU和内存。跳转插件的判定链路里,指纹采集、规则匹配、缓存查询这几步的开销差别很大。核验方法是:在测试环境用固定规则集压一批请求,观察PHP-FPM进程的常驻内存和单请求CPU时间。这里有个细节容易被忽略——规则链越长,单请求开销越非线性增长,因为条件求值有短路收益,但嵌套深了反而拖慢。可以参考规则链条件求值顺序调优里的思路,先把规则结构收敛再测容量。
冗余比例按故障恢复时间倒推
CPU和内存的冗余留多少,取决于你希望故障后多久恢复。如果是一主一备的部署,单机故障时另一台要扛全量,冗余就得留到百分之五十以上;如果是多节点负载均衡,单节点掉线影响面小,冗余留百分之二十到三十即可。核验时要把这个比例写进部署文档,而不是嘴上说「留点余量」。
运行中:水位监控看的是趋势不是绝对值
上线后最容易松懈,但运行中的核验项恰恰是发现容量拐点的关键。
三个水位指标要一起看
CPU使用率、内存占用、PHP-FPM进程池的活跃进程数,这三个要联动看。单看CPU百分之七十好像没事,但如果活跃进程数已经顶到pm.max_children的上限,新请求就开始排队了,首字节延迟会悄悄爬升。核验节奏我一般建议每十五分钟采一次点,连续观察放量前后的曲线拐点。
队列积压是容量不足的早期信号
斗篷系统的请求合并队列如果开始出现持续积压,说明后端处理能力跟不上入口流量。这时候别急着加机器,先确认是规则判定慢还是回源慢。可以对照回源请求超时的分层排查的方法,把代理层和后端响应时间拆开看。如果是判定层慢,加机器有用;如果是后端慢,加机器只是把瓶颈往后推。
日志采样率要跟着水位调
流量上来以后,全量日志落盘会成为新的IO瓶颈。运行中要核验采样率是否还匹配当前量级,采样率调低会影响命中统计的准确性,这个取舍在日志采样率配置里有详细拆解。核验项是:确认采样开关的调整有记录,且调整后命中统计的偏差在可接受范围内。
异常后:容量相关的复盘要落到配置项
异常发生后的核验,目的是把这次故障转化成下一次的容量基线。
先分清是容量打满还是单点故障
同样是跳转变慢,可能是整体容量不够,也可能是某一台机器或某一个PHP-FPM池出了问题。复盘第一步是看异常时段的节点级指标:如果所有节点同时水位升高,是容量问题;如果只有单节点异常,是单点故障。这两种情况的处置方向完全不同,混在一起复盘就白做了。
扩容动作要有回退预案
临时加机器或调大进程池参数之后,要核验回退条件有没有写清楚。比如进程池从静态改成动态,内存占用会先升后稳,如果没设观察窗口就急着回退,反而会造成二次抖动。异常后的核验项里必须包含:本次调整的参数、生效时间、观察窗口、回退触发条件。
把本次峰值写进下一轮基线
每次异常都是一次真实的压力测试。复盘结束前,把这次的峰值QPS、单请求开销、触发瓶颈的配置项记下来,作为下一轮容量测算的输入。这样下一次放量前,容量水位就不是估出来的,而是有历史锚点的。
小结一下:容量水位的定法不是一道算术题,而是三阶段核验项的串联。上线前算基线、运行中看趋势、异常后落配置,每一步的检查项都对应一个具体的故障模式。把这套核验走顺了,放量当天的底气就来自清单,而不是运气。
常见问题
斗篷系统容量测算要不要把爬虫请求算进去?
要算,但比例不高。爬虫请求一般只占入口流量的一小部分,不过它们往往不走缓存、直接打到判定链路,单请求开销反而比真实访客高。测算时按入口总请求量算就行,不用单独放大。顺带说一句,如果爬虫占比突然升高,先查特征库是不是漏判了。
上线前压测用真实流量还是模拟流量?
这个要看情况。有真实流量的话,用灰度节点接一小部分生产流量最准;没有的话,模拟流量也能用,但规则集要和生产保持一致,不然测出来的开销对不上。模拟压测容易漏掉的是参数组合的多样性,真实请求的参数分布更散。
PHP-FPM进程池参数调大就能扛更高并发吗?
不一定。进程数上去内存也跟着上去,如果物理内存不够,反而会触发swap,延迟更糟。调进程池之前先算清楚单进程常驻内存乘以最大进程数,别超过物理内存的七成。另外数据库连接数也可能成为新瓶颈。
运行中水位一直不高,还需要保留冗余吗?
需要。水位不高说明当前容量够用,但冗余是给突发和故障留的。投放计划一改、出价系数一调,流量结构可能说变就变。冗余比例可以按实际趋势微调,但别归零。
异常后复盘发现是容量问题,下次放量前要提前多久扩容?
建议至少提前一个投放周期。扩容本身不复杂,复杂的是扩容后的观察和验证。提前扩完,留出时间跑一轮压测和灰度,比放量当天临时加机器稳妥得多。
延伸阅读
容量核验走完之后,如果还想把判定链路上的缓存失效位置排查清楚,可以接着看这篇按失效位置拆解的验证清单:Cloak判定链路缓存穿透排查顺序。