上个月有个客户跑来找我,说日均点击一千二三,LNMP独立部署,验收标准是首屏响应稳稳压在800ms以内。结果上线第三天开始,跳转插件隔一阵子就卡住,两三秒才返回。他第一反应是PHP-FPM进程数不够,直接加了两个worker。加完之后队列积压反而更明显了。这事儿挺典型的——斗篷系统请求队列积压,毛病往往不在后端算力够不够,而是入口分流跟后端等待之间的那条边界没划清楚。下面我按不同前提分开讲。
什么时候队列积压是入口判定的锅
监控上Nginx的active connections看着不高,但请求还没进PHP就开始排队了,这种大概率是入口层有同步阻塞的判定动作。我见过的情况大概三类:
- 在
access阶段调外部接口查UA或者IP,超时用的还是默认那个5秒; - 指纹采集写成同步等待,每个请求都得等设备信号回来才往下走;
- 规则链里串了好几个HTTP回源校验,一个请求被放大成好几次外呼。
这类场景有个共同特征:积压发生在流量波峰刚起来那几秒,过一会儿自己又恢复了。说白了就是同步等待把瞬时并发放大成了队列长度。
适用条件:日均请求量不算大但波峰陡、入口层有外呼动作、后端CPU占用其实不高。
不适用条件:后端CPU已经打满了,PHP-FPM的listen queue持续非零,那问题在后端处理能力上,跟入口没关系。
下一步检查:在Nginx日志里加上$request_time和$upstream_response_time两个字段,对比差值。差值大,说明等待发生在入口到后端的传递环节;差值小但总时长高,那是判定逻辑本身耗时间。
什么时候该怀疑后端等待超时设得太保守
另一个分支正好反过来:入口判定很快,但后端页面渲染或者回源拉取慢,请求就堆在队列里了。
有个做教育投放的团队,落地页版本要实时从规则库拉配置,他们给这个拉取设了3秒超时。平时没事,一到晚上八点流量上来,规则库响应从80ms涨到400ms,队列就开始排了。他们一开始以为是规则库挂了,查了半天发现是超时设得太宽,慢请求把worker占住,新请求只能干等。
适用条件:后端依赖外部存储或接口、超时值明显大于P95响应时间、积压跟流量时段强相关。
不适用条件:后端依赖本身已经不可用了,调超时只是延缓症状,得先做依赖降级。下一步检查:把后端依赖的响应时间分位数打出来。P95如果超过超时值的一半,就该考虑收紧超时并且加上降级分支。
队列长度和并发数怎么配才不互相拖累
队列积压的根因经常是队列长度和worker并发没对齐。Nginx的listen backlog、PHP-FPM的listen.backlog、还有pm.max_children,这三者是一条链上的:
- 先看
pm.max_children,它决定同时能处理多少请求; - 再看
listen.backlog,它决定排队上限; - 最后看Nginx的
backlog,它决定连接层能挂多少。
max_children是10,backlog设了511,那多出来的501个请求就在那儿排队,前端感知就是卡。合理的做法是让backlog略大于max_children,通常1.5到2倍,留一点缓冲但不至于堆太多。
这里有个细节:队列积压的时候别急着加worker。加worker等于把队列前移,瓶颈要是在外部依赖上,只会让更多请求同时打到依赖上,反而把延迟放大了。先确认瓶颈位置,再决定是扩并发还是收紧超时。
分场景的排查顺序
按流量结构和部署环境分,排查顺序不一样:小流量独立部署:先查入口判定有没有同步外呼,再查后端依赖超时。这类环境资源有限,队列积压多半是某个同步动作拖住了。
大流量多节点:先看单节点队列分布是否均匀。如果只有一台积压,可能是负载均衡权重或者会话粘性把流量引偏了。相关排查可参考分流判定缓存穿透修复里的逐跳思路。
验收要求严格:把P99响应时间作为验收项,而不是只看平均值。队列积压往往不影响均值,但会把P99拉高。如果排查中发现是规则链本身求值顺序导致等待,可以对照规则链条件求值顺序调优里的取舍方法,把过滤型条件前置、决策型条件后置,减少不必要的等待。
一个容易忽略的回退顺序问题
队列积压时,很多配置会触发回退,但回退顺序没定好,会把积压放大。
比如:判定超时后回退到默认页面,但默认页面本身也要走一遍规则链,等于又排一次队。正确的顺序应该是:超时后直接走静态兜底版本,不再进入判定流程。这个顺序要在配置里显式声明,不能靠默认行为。
下一步检查:模拟一次后端超时,看回退路径是否真的绕开了判定链。可以用空跑日志验证,方法参考跳转插件日志回放验证里的空跑比对。
小结
请求队列积压的排查,核心是分清积压发生在入口判定、后端等待还是回退路径。入口同步外呼、后端超时过宽、队列与并发不匹配,是三个最常见的分支。调整顺序上,先定位瓶颈再动参数,盲目加worker往往适得其反。
常见问题
斗篷系统请求队列积压会影响落地页加载速度吗
会。队列积压的直接表现就是请求在worker之前排队,用户侧感知为白屏或卡顿。不过这个要看情况,如果积压只发生在波峰的前一两秒,对整体加载速度的均值影响不大,但P99会明显变差。
队列积压时加PHP-FPM worker有用吗
不一定有用。如果瓶颈在入口同步等待或外部依赖,加worker只是让更多请求同时打到瓶颈上,延迟可能更高。先确认瓶颈位置再决定,顺带说一句,我一般还会顺便看一眼backlog和max_children的比例是否合理。
怎么判断积压是入口判定还是后端等待造成的
对比Nginx日志里的$request_time和$upstream_response_time。两者差值大,说明等待在入口到后端的传递环节;差值小但总时长高,说明判定或后端处理本身耗时。这个对比方法不需要改代码,加两个日志字段就能看。
延伸阅读
队列积压排查完之后,如果还在犹豫这套系统值不值得投入运维精力,可以看看下面这篇关于投入与风险权衡的讨论。