本文系统性拆解误解从哪来的完整实操要点。
上个月一个客户,日均点击一千二三,LNMP单机部署,PHP-FPM开了16个worker。他们改了一条分流规则,把某个关键词的落地页版本从A切到B,后台点了"热更新",页面提示成功。但接下来两天,后台看日志,那条关键词的请求还是一半走A一半走B。运维第一反应是规则写错了,反复检查条件表达式,没问题。又怀疑是缓存,清了Redis,还是老样子。最后发现,问题根本不在规则本身,而在"热更新"这三个字——他们以为的热更新,和系统实际做的热更新,不是一回事。
这篇文章就从这次复盘切入,把分流规则热更新后旧版本仍生效的排查路径拆开讲。
误解从哪来:热更新不等于所有进程立刻换掉规则
很多团队对"热更新"的理解是:点一下按钮,所有正在跑的请求立刻用新规则判定。实际部署中,规则加载到执行,中间隔着好几层。
PHP-FPM是多进程模型,每个worker进程有自己的内存空间。规则文件被修改后,只有重新加载或重启的worker才会读到新内容。如果热更新机制只是写文件、发信号,但信号没覆盖到全部worker,或者worker正在处理长请求没来得及响应信号,旧规则就会继续在部分进程里生效。
这次客户的系统,热更新走的是"写文件 + 向master发USR2"。但他们的PHP-FPM配置里,process_control_timeout设得比较短,部分worker在收到信号时正处于请求处理中,平滑重启没完成就被跳过了。结果就是:新请求打到已经重启的worker上走新规则,打到没重启的worker上走旧规则。日志里看起来就是"一半新一半旧"。
所以第一个要纠正的认知是:热更新是否生效,不能看后台提示,要看实际执行判定的进程有没有加载到新规则。
排查第一层:确认规则文件真的落盘且内容正确
先做最笨但最必要的检查。
- 登录服务器,直接
cat规则文件,确认修改后的内容在文件里,不是只改了内存或数据库。 - 检查文件权限和属主。如果PHP-FPM以
www-data运行,规则文件属主是root且权限是600,worker进程根本没权限读,会静默回退到上一次成功加载的规则或默认规则。 - 看文件修改时间。
stat一下,确认时间戳和你在后台点更新的时间对得上。有些系统的"保存"和"发布"是两个动作,只保存没发布,文件根本没变。
这一步能排掉相当一部分"看起来更新了其实没更新"的情况。
排查第二层:进程有没有真正重新加载规则
文件对了,接下来看加载。
检查worker进程的重启时间
用ps -eo pid,lstart,cmd | grep php-fpm看每个worker的启动时间。如果热更新后,部分worker的启动时间还是旧的,说明这些进程没重启,它们内存里还是旧规则。
这次客户的情况就是:16个worker里,有5个的启动时间停留在两天前。这5个进程一直在处理请求,旧规则也就一直在生效。
检查信号是否送达
如果是通过信号触发重载,确认master进程有没有收到。可以看PHP-FPM的error log,正常重载会有received SIGUSR2之类的记录。没有这条记录,说明信号没发出去或者发错了进程。
检查opcache
如果规则文件被opcache缓存了,即使文件更新、进程重启,opcache可能还拿着旧副本。opcache.validate_timestamps如果设为0,PHP不会检查文件时间戳,永远用缓存。这时候需要手动opcache_reset()或重启PHP-FPM。
排查第三层:共享内存和外部缓存的残留
有些分流系统会把规则编译后放进共享内存(如APCu、Swoole Table),或者Redis里做一层规则缓存。
热更新时如果只更新了文件,没同步刷新共享内存或Redis里的规则副本,执行判定的代码从共享内存读,拿到的还是旧规则。这种问题最隐蔽,因为文件是对的,进程也是新的,但数据源不对。
检查方法:
- 如果用了APCu,写个临时脚本
apcu_fetch('rule_key')看取出来的是什么版本。 - 如果用了Redis,直接
GET对应的规则key,比对内容。 - 确认热更新的代码逻辑里,有没有"先删缓存再写文件"这一步。顺序反了,或者删缓存失败没重试,都会导致旧规则残留。
一次完整的验证顺序
把上面的排查点串起来,推荐按这个顺序走:
- 看文件:内容、权限、时间戳。
- 看进程:worker启动时间是否全部更新。
- 看缓存:opcache、APCu、Redis里的规则副本是否刷新。
- 看日志:分流判定日志里,实际命中的规则版本号是哪个。
- 做验证:构造一个只应命中新规则的请求,看返回的页面版本是否符合预期。
这次客户按这个顺序走到第三步,发现Redis里还存着旧规则,热更新逻辑里删缓存的代码被一个异常跳过了。修掉之后,新规则十秒内全量生效。
小结
热更新后旧版本仍生效,多数时候不是规则写错,而是加载链路里某一环没走通。文件、进程、缓存三层,任何一层断了,都会表现为"改了没用"。排查时别急着改规则,先确认新规则到底有没有到达执行判定的那个进程。
常见问题
热更新后所有进程都重启了,为什么还有旧版本?
这个要看情况。进程重启只保证内存里的规则是新的,但如果规则数据是从Redis或共享内存读的,那还得确认这些数据源也刷新了。另外,如果前端有CDN或Nginx层缓存了页面内容,用户拿到的还是旧页面,这跟规则本身没关系。
怎么快速确认某个请求用的是新规则还是旧规则?
最直接的办法是在规则里加一个版本号字段,判定日志里把命中规则的版本号打出来。这样看日志就能分辨。如果日志里没有版本号,可以临时在规则动作里加一个不影响业务的标记,比如在响应头里带一个自定义字段,用curl测一下就能看到。
热更新需要重启PHP-FPM吗?
不一定。如果系统设计的是平滑重载,理论上不用重启整个服务。但平滑重载本身有完成时间,worker多的时候可能要几秒到十几秒。如果对生效时间要求很紧,可以配合共享内存方案,让所有worker从同一块内存读规则,更新时只改内存,不依赖进程重启。顺带说一句,我一般还会在热更新后加一个自动校验,隔几秒检查一次所有worker的规则版本是否一致,不一致就告警。
延伸阅读
如果你还在选型阶段,想对比不同方案在规则热更新和缓存刷新上的实现差异,可以看看这篇:百度斗篷工具对比与选型参考。