本文系统性拆解先定位的完整实操要点。
回源请求超时的成败取决于代理层与后端的时间预算是否对齐,而非单纯把超时值调大。上个月一个做教育投放的客户把 proxy_read_timeout 从 30s 提到 120s,接口超时确实少了,但分流判定延迟从 200ms 涨到 1.8s,爬虫与真实访客的区分度反而下降。这说明超时问题的核心不在"等多久",而在"谁在等谁、等的东西是否值得等"。下面按超时发生的三个位置分支拆解。
先定位:超时到底发生在哪一段
回源链路通常分三段:Nginx 接收访客请求 → 转发给上游 PHP-FPM → PHP 调用内部判定服务或数据库。超时日志里如果只有 upstream timed out,说明 Nginx 等 PHP 超时了;如果 PHP 日志里出现 curl timeout,说明 PHP 等下游服务超时。两者调法完全不同。
什么情况下先查 Nginx 侧: 错误日志出现 upstream timed out (110: Connection timed out) while reading response header from upstream,且 PHP-FPM 的 slowlog 里没有对应记录。这多半是 PHP 进程池满了,请求排队等待,Nginx 等不到响应头。此时调大 proxy_read_timeout 只会让等待队列更长。
什么情况下先查 PHP 侧: PHP 错误日志出现 Maximum execution time of 30 seconds exceeded 或 curl 相关超时。这说明 PHP 自己等下游等挂了,需要看判定服务的响应时间与连接池配置。
下一步检查: 在 Nginx 配置里临时打开 proxy_next_upstream_tries 0,关掉重试,让超时直接暴露在访问日志的 upstream_response_time 字段里。连续观察十分钟,看这个值是否稳定超过 1 秒。
代理转发层的超时参数该按什么顺序调
Nginx 与上游之间有三个关键超时:proxy_connect_timeout、proxy_send_timeout、proxy_read_timeout。调的顺序应该是先连接、再发送、最后读取,因为连接超时反映的是网络可达性与进程池状态,读取超时反映的是后端处理能力。
- proxy_connect_timeout 先压到 3s 以内。 默认 60s 太长,如果 PHP-FPM 进程池打满,连接会一直挂着。改成 3s 能快速失败并触发重试或降级。
- proxy_read_timeout 按后端 P99 响应时间 × 2 来设。 假设判定接口 P99 是 400ms,那设 1s 足够;设成 30s 只会让慢请求拖死连接池。
- proxy_send_timeout 通常不需要动。 请求体很小,除非 POST 大 body 做指纹上报,否则保持默认。
这里有一个容易踩的坑:proxy_read_timeout 设得比 PHP 的 max_execution_time 还短,会导致 Nginx 先断开,PHP 还在跑,日志里两边都报错但对不上。正确做法是 Nginx 读取超时略大于 PHP 执行超时,留 2-3 秒缓冲。
如果回源流量本身占比过高,超时频发只是症状之一,可以先参考回源流量占比优化的思路从缓存命中率入手。
后端响应慢的两种性质:算得慢还是等得慢
PHP 侧超时通常分两类。算得慢是判定逻辑本身复杂,比如指纹特征提取做了同步阻塞的远程调用;等得慢是下游服务或数据库响应慢,PHP 只是在等。
- 算得慢的特征:CPU 使用率高,slowlog 里函数调用栈集中在特征计算。处理方式是异步化,把非关键特征放到请求结束后再采集,参考特征提取时机取舍。
- 等得慢的特征:CPU 不高,但 PHP-FPM 进程都处于忙碌状态,实际上是卡在 IO。处理方式是加连接池、设短超时、失败后走兜底分支。
什么情况下不适用调超时: 如果 PHP-FPM 的 pm.max_children 已经打满,且队列长度持续大于 0,调任何超时值都只是把问题往后推。这时该做的是扩容进程池或降低单请求耗时。
配置示例(通用写法,不绑定具体框架):
BLOCK0
进程池侧对应调整:
BLOCK1
request_terminate_timeout 要比 Nginx 的 fastcgi_read_timeout 稍大,避免 PHP 还在写日志时被 Nginx 断开导致日志截断。
超时发生后的降级路径怎么定
超时一旦发生,分流决策需要有一个明确的兜底动作。常见做法是返回标准页版本,而不是直接 504。因为 504 对爬虫和真实访客的体验都差,且会拉低页面质量评分。
适用场景: 判定服务偶发超时(比如每分钟一两次),走兜底分支返回标准页,不影响整体投放。
不适用场景: 判定服务持续超时(每分钟几十次),说明下游已经不可用,兜底分支也会被拖垮。这时应该先摘掉判定服务,全部走静态版本,等恢复后再逐步放量。这一步的切换顺序可以参考上线三阶段检查项,把回滚点提前设好。
一个客户的复盘:他们做金融投放,回源判定服务部署在同一台机器上,PHP-FPM 和判定服务抢 CPU,每天下午三点左右超时集中爆发。后来把判定服务拆到独立节点,Nginx 侧 read_timeout 从 10s 降到 2s,超时率从百分之三降到千分之几。数字不精确,但量级变化很明显。
小结
回源请求超时的调整顺序是:先定位超时发生在代理层还是后端,再区分后端是算得慢还是等得慢,最后决定是调参数还是改架构。参数调整的优先级是连接超时 → 读取超时 → 进程池终止时间,每一步都要留缓冲,避免两层日志对不上。降级路径必须提前定义好,不能用 504 硬扛。
常见问题
回源超时调大后分流判定变慢,是什么原因?
这个要看情况。超时值调大后,慢请求不会被及时切断,连接池里的连接被占用的时间变长,后续请求排队等待,整体判定延迟就上去了。说白了,超时值是一个"容忍上限",不是"性能优化项"。
代理层和 PHP 层的超时值应该谁大谁小?
Nginx 的读取超时应该比 PHP 的执行超时略大一点,留 2 到 3 秒缓冲。如果反过来,Nginx 先断开,PHP 还在跑,两边的错误日志会对不上,排查时容易误判方向。
回源超时会导致爬虫误判率升高吗?
会的。超时后如果直接返回 504 或错误页,爬虫拿到的响应与真实访客不一致,特征库更新时容易把这类响应归到异常类。更好的做法是超时后返回标准页版本,保持响应结构一致。顺带说一句,我一般还会在超时日志里单独标记一个字段,方便后续和爬虫访问日志做交叉比对。
什么时候不该继续调超时参数?
当 PHP-FPM 的活跃进程数持续接近 max_children,且队列长度大于零时,调超时没有意义。这时应该先看是哪个下游调用最慢,把它改成异步或加缓存,或者直接扩容进程池。
延伸阅读
本文讲的是超时参数的分层调整,如果你还在评估整套斗篷系统值不值得投入、风险与成本如何权衡,下面这篇从投入产出角度做了梳理。