上个月有个客户,凌晨切换完新规则库,第二天早上九点流量一上来,PHP-FPM 进程池瞬间就打满了。Nginx 那边开始吐 502,跳转判定超时,兜底分支全被推了出来。事后一查,服务器规格其实不算小,问题出在上线前压根没做过容量压测,运行中也没设水位监控——资源余量一直是个盲盒。这篇就顺着容量压测和水位监控这条线,把上线前、运行中、异常后三个阶段该检查什么、为什么要查,讲一遍。
上线前:压测基线怎么定,压什么
容量压测的目的,说白了不是跑一个好看的 QPS 数字出来交差,它要回答的是这么一个问题:当前这套配置下,判定链路的延迟拐点到底在哪。斗篷系统的请求处理链路比普通页面服务要长——入口得先做 UA 与指纹判定,中间查规则、走缓存,最后才返回页面版本。哪一段慢了,整体延迟都会被拉上去。
压之前先把基线定下来。我一般用生产环境的规则库副本,参数结构按真实比例造请求,别拿空参数在那空跑,那样跑出来的数字没什么参考价值。目标延迟按 P95 卡,比方说判定链路 P95 控制在 80ms 以内,过了这个值就说明某一段开始排队了。压的时候按阶梯加并发:50、100、200、400 一档一档往上走,每档稳定跑五分钟,记录三个数——P95 延迟、PHP-FPM 活跃进程数、Nginx 等待队列长度。
这里有个点特别容易忽略:压测得覆盖缓存冷启动的场景。规则缓存和指纹缓存都是热了才快,冷缓存下首访请求的回源开销,可能是热态的好几倍。所以我的习惯是分两轮压,一轮预热之后跑,另一轮把缓存清空直接跑。后面这轮才是流量突增时最接近真实情况的数字。
还有个检查项是进程池参数的匹配。pm.max_children 怎么设,要跟压测出来的单进程处理能力对齐。设小了,请求排队;设大了,内存先崩。压的时候盯着每个子进程的常驻内存,乘以最大子进程数,再留出百分之三十的余量给系统和其他服务,这个数就是内存侧的安全线。
运行中:水位监控看哪几个指标
压测给的是静态基线,运行中要看的是动态水位。斗篷系统的水位监控其实不用铺得很全,盯住四个指标就够了。
- PHP-FPM 活跃进程占比:活跃进程数除以 pm.max_children,持续超过七成就要预警。这个比例反映的是处理能力还剩多少余量,比单看 CPU 直接得多。
- 判定链路 P95 延迟:按分钟聚合,跟压测基线对比着看。延迟缓慢爬升往往比突然飙高更危险,说明有资源在悄悄泄漏。
- Nginx upstream 等待队列:队列一开始堆积,说明后端处理不过来了。这时候前端再扩容也没用,瓶颈在 PHP 层。
- 缓存命中率:命中率掉十个点以上,回源请求就会成比例增加,延迟跟着就上去了。命中率下滑这事儿,经常和规则库更新、缓存键变更同时发生。
监控阈值建议分两级。预警线设在压测基线的七成水位,告警线设在九成。预警只记录不打扰,告警才发通知。阈值设太紧的话天天误报,最后没人看,等于白设。顺带说一句,水位监控的采样粒度别太粗。五分钟一采会漏掉短时尖峰;一分钟一采对斗篷系统这种请求量级完全扛得住,存储成本也不高。
异常后:从水位回溯到根因
水位报警之后,排查顺序按"先看入口、再看后端、最后看配置"走。先拉报警时间点前后十分钟的 Nginx 日志,看 502 和 504 的比例。502 偏多指向进程池打满,504 偏多指向后端响应超时,这俩根因不一样,别搞混。再看 PHP-FPM 的 slowlog。把 request_slowlog_timeout 设成一个略高于 P95 基线的值,比如基线 80ms 就设 200ms,慢请求会自动落栈,直接告诉你卡在哪个函数上。要是没开 slowlog,异常后基本只能靠猜。
配置侧的回溯重点是最近的变更。规则库更新、缓存键调整、进程池参数改动,这三类变更最容易引起水位突变。可以对照跳转动作参数影响范围里的联动清单逐项核对,确认变更没有波及判定链路的求值开销。
有一次复盘我印象很深:某团队报警后查了半天代码,最后发现是规则库更新后条件分支多了一层嵌套,单请求求值开销涨了三成。进程池参数没动过,水位却整体上移了。这类问题压测能提前暴露,前提是压测用的规则库跟生产一致。
压测与监控的衔接:一份可执行的最小清单
把上面三个阶段收拢成一份最小清单,落地时按这个顺序推:
- 压测前锁定规则库版本与缓存配置,记录基线环境快照。
- 阶梯并发跑两轮(热缓存、冷缓存),记录 P95 延迟与进程水位。
- 按压测结果反推 pm.max_children 与内存安全线,写入部署文档。
- 上线后开启四项水位监控,预警线七成、告警线九成。
- 每次规则库或缓存键变更后,观察二十四小时水位曲线再决定是否继续放量。
这套清单的价值,说白了就是把"感觉服务器够用"换成可对比的数字。容量问题从来不是上线那一刻才冒出来的,它一直在水位曲线里待着,只是没设监控就看不见罢了。
常见问题
压测要把并发打到多高才算够?
按业务峰值的一点五倍到两倍打。先估出日常峰值请求量,换算成每秒请求数,再乘冗余系数。打不到拐点没关系,关键是确认目标延迟内系统不排队。
水位监控会不会本身拖慢判定链路?
这个要看情况。指标采集放在 Nginx 日志和 FPM 状态页层面,对请求链路几乎零侵入。别在判定逻辑里埋同步打点,那才会拖慢。
缓存命中率突然掉了先查什么?
先查最近有没有改缓存键结构或规则库版本。命中率下滑多半是键变了导致旧缓存全部失效,等缓存重新热起来会恢复。如果热了还不恢复,再看回源请求的分布。
进程池打满能不能靠加机器解决?
能缓解但不治本。加机器前先看单请求的处理开销有没有异常上涨,如果是规则求值变慢导致的,加机器只是把问题摊薄。先把开销压回去再加,成本差很多。
小流量账户也需要做容量压测吗?
需要,但规模可以小。小流量账户的峰值往往集中在投放起量那几天,压测重点放在冷缓存首访场景,确认突发流量进来时不会因为缓存没热而排队。
延伸阅读
压测和监控解决的是资源侧的问题,页面跳转本身的实现选型会影响单请求开销,可以配合这篇一起看:页面跳转技术完整指南。