回源请求超时这事儿,能不能搞定,关键看你能不能把耗时归属判断对。调参本身真不是重点。我见过太多人一看到504,第一反应就是去加PHP-FPM的max_execution_time,或者把Nginx的proxy_read_timeout从60秒拉到120秒,折腾半天请求照样超时,只不过超时时间从10秒变成了20秒。说白了,问题出在把「回源慢」当成一个整体了,没拆开看代理层和后端各花了多久。上个月一个做教育投放的团队就踩了这个坑,日均两三万点击的规模,回源超时占比从百分之一出头涨到百分之五点几,运维第一反应是后端扛不住,加了两台机器,超时率纹丝不动。后来把链路拆开计时,发现七成时间耗在Nginx到PHP-FPM的建连等待上,跟业务代码几乎没关系。这篇就把回源请求超时的归属判断和调整次序讲清楚。
误解从哪来:把「回源」当成一个黑盒
回源请求在多数人的心智模型里就是一句话,「Nginx转发给PHP,PHP返回页面」,所以超时自然就被归因成「PHP慢」。这个误解之所以这么普遍,其实是因为Nginx的错误日志只给你一行upstream timed out,它不会告诉你时间到底花在建连、发送、等待还是读取上。日志粒度不够,人就会用最省事的假设去填这个空白。
还有一个推波助澜的因素,调参见效快。你把超时阈值拉大,错误日志确实安静了,看上去问题解决了,实际上只是把失败推迟了,请求仍然在队列里排队,首字节延迟继续恶化。真正该做的是在代理层加计时变量,把一段请求拆成若干段分别观察。
分段计时:把一次回源拆成四段耗时
判断归属的第一步,是让Nginx把各段耗时写进日志。通用写法是在log_format里加$upstream_connect_time、$upstream_header_time、$upstream_response_time和$request_time四个变量,前三个对应建连、首字节、完整响应,最后一个是从收到请求到返回客户端的全程。
$upstream_connect_time偏高:问题在连接建立,通常是PHP-FPM进程池排满,新连接在listen队列里等。$upstream_header_time偏高而connect正常:后端已经接住请求,但在业务逻辑里卡住,比如回源查库或调第三方接口。$upstream_response_time远大于header_time:响应体传输慢,多见于大页面或带宽打满。$request_time明显大于$upstream_response_time:时间花在Nginx自身,比如rewrite规则过多或日志落盘阻塞。
这四段一摆出来,「后端慢」这个笼统结论基本就站不住了。前面那个教育投放的案例,日志跑了一天,$upstream_connect_time的中位数到了八百多毫秒,而$upstream_header_time只有一百多毫秒,指向非常明确。
连接排空为什么会被误读成后端慢
PHP-FPM的进程池在请求高峰会被占满,新连接进不来,Nginx侧的connect_time就会堆高。这个等待发生在业务代码执行之前,从应用层看什么都正常,从客户端看就是超时。判断方法很直接:在高峰时段看php-fpm的listen queue和max children reached计数,如果队列非零且频繁触顶,就是进程池容量问题,跟代码性能无关。顺带说一句,这一段的耗时归属和跳转规则参数改动里讲的影响面判断是一个道理,先定位再动手。
调整次序:先扩池还是先调超时
定位到连接排空之后,调整顺序有讲究。先扩pm.max_children,再观察connect_time是否回落,最后才考虑动超时阈值。反过来做,先拉超时会让排队请求等更久,进程池压力反而更大。
扩池的幅度按并发估算,不要拍脑袋翻倍。一个粗略口径是max_children约等于可用内存除以单进程常驻内存,再留一成余量。扩完之后盯两个指标:connect_time的中位数是否降到百毫秒以内,以及max children reached是否归零。两个都达标,才说明容量够了。
至于超时阈值本身,它是兜底不是调节手段。proxy_connect_timeout可以设得比proxy_read_timeout短,让建连失败快速返回,避免请求在连接阶段空等。这种分段设置超时的思路,和兜底分支提前降级里讨论的预算分配是同一套逻辑,只不过一个在应用层一个在代理层。
一次回源超时的复盘路径
回到开头那个团队。第一步加计时变量跑一天日志,确认connect_time是主因;第二步核对PHP-FPM配置,发现pm.max_children还是按早期低流量设的固定值,高峰排队严重;第三步按内存口径把进程数扩了约四成,同时把proxy_connect_timeout从默认的60秒收到5秒,让建连失败快速暴露而不是干等;第四步观察两天,超时占比回落到百分之一点几,首字节延迟中位数降了约三成。整个过程没改一行业务代码。
这个复盘的价值在于顺序:先测再改,先容量再阈值。跳过任何一步,都会回到「调了没用」的循环里。
小结
回源请求超时的排查,核心是把「回源」拆成建连、首字节、传输、代理自身四段,用Nginx日志变量把耗时归属钉死,再按「先容量、后阈值」的次序调整。把这套方法固化成巡检项,比每次出事临时拉超时阈值靠谱得多。
常见问题
回源请求超时一定要调大proxy_read_timeout吗
不一定,多数情况调大只是把失败推迟。先去日志里看$upstream_connect_time和$upstream_header_time,哪一段高就查哪一段,阈值是最后才动的兜底项。
PHP-FPM进程池扩了还是超时怎么办
这个要看情况。扩池之后如果connect_time回落但header_time上去了,说明瓶颈转移到了业务逻辑或下游依赖,得换方向查。扩池不是万能药。
回源超时和规则链复杂度过高有关系吗
有关系但通常不是主因。规则链求值在PHP进程内完成,耗时计入header_time,如果这一段偏高且规则数量大,可以看看规则链求值顺序决里关于短路顺序的说明。
超时率忽高忽低,是配置问题还是流量问题
说白了先看流量曲线。如果超时峰值总跟着点击高峰走,就是容量问题;如果跟流量无关而是周期性出现,再怀疑配置或下游依赖抖动。两者排查路径完全不同。
代理层和后端都正常,为什么客户端还是超时
检查Nginx自身的$request_time是否明显大于$upstream_response_time。rewrite规则过多、日志同步落盘、gzip压缩大页面都可能吃掉时间,这部分耗时不在upstream里体现。
延伸阅读
如果回源超时的根子在第三方接口抖动而非进程池容量,这篇按决策维度拆解的降级配置清单可以补充判断口径:第三方风控接口超时降级配置