本文系统性拆解上线前检查项的完整实操要点。
上个月一个客户,日均点击一千二三,用的是两台4核8G的机器跑LNMP,跳转插件自己开发,验收要求很具体:上线后首字节不能超过300毫秒,版本切换后十分钟内分流必须稳定。他们之前吃过一次亏,部署完觉得一切正常,结果第二天放量时发现某条规则分支根本没生效,白跑了大半天预算。这次他们学乖了,把检查拆成上线前、运行中、异常后三段来做,每项检查都要写清楚"不查会怎样"。下面就把这套三阶段检查项和背后的原因拆开讲,适合准备独立部署或刚部署完还在观察期的团队对照使用。
上线前:配置冻结与链路通断核验
上线前的检查核心不是"功能有没有",而是"状态有没有被冻结"。很多团队部署完直接开量,配置在部署过程中被顺手改过,事后根本追溯不到。
配置冻结清单怎么定
冻结的对象要覆盖三层:Nginx的server块与location规则、PHP-FPM的进程池参数、跳转插件的规则库版本号。冻结不是不改,而是改之前必须记录当前快照。具体操作上,部署完成后先导出一份规则库版本号和缓存键的对应关系,再比对Nginx配置的md5。这一步的原因很直接:跳转链路的判定结果依赖规则版本与缓存键的联动,两者不同步时会出现"改完配置但旧分支还在命中"的情况,站内规则库版本与缓存那篇拆过这个链路,这里不展开。
- 规则库版本号与缓存键前缀是否一致,不一致先对齐再开量
- Nginx配置是否已reload且worker进程全部更新,用
nginx -T输出比对 - PHP-FPM的
pm.max_children是否按预估并发留了余量,别等502了再调 - 跳转插件的日志落盘路径是否存在且可写,路径错了等于没日志
链路通断怎么验
链路核验不能只看健康检查接口返回200。健康检查走的是短路径,跳转判定走的是完整链路,两者覆盖范围不一样。实操上建议用带完整请求头的样本请求走一遍:构造一个带UA、带Cookie、带Referer的请求,看返回的版本标记是否符合规则预期。这一步的原因是判定链对请求头字段有依赖,字段缺失时会走回退分支,而回退分支的结果往往看起来"正常",掩盖了主分支没生效的问题。站内跳转插件部署后跳转不生效的排查顺序可以参考,重点看信号采集到动作执行那几跳。
运行中:水位、日志与版本一致性巡检
运行中的检查项要围绕"变化"来设,静态配置不用天天看,会变的东西才需要盯。
三类水位指标
第一类是连接水位,看Nginx的active connections和PHP-FPM的active processes,两者比例失衡说明某一层在排队。第二类是判定耗时水位,看跳转判定的P95耗时,不是平均值,平均值会被大量缓存命中拉低,掩盖慢请求。第三类是日志写入水位,看日志文件增长速度,突然翻倍往往意味着某条分支被频繁命中,可能是规则写宽了。
这三类指标的原因各不相同:连接水位反映容量,耗时水位反映链路健康,日志水位反映规则命中结构。混在一起看容易误判。
版本一致性巡检
运行中最容易出的事是热更新后部分节点还跑旧版本。检查方法很简单:在每台机器上请求一个带版本标记的探针接口,比对返回的规则版本号。不一致时不要急着重启,先看热更新是推送到文件还是推送到常驻进程,两种方式的生效边界不一样。某团队的做法是每半小时跑一次探针比对,连续三次一致才认为热更新收敛完成,这个节奏偏保守但省心。
异常后:先比对快照再动手
异常发生后的第一反应不该是改配置,而是取快照。原因在于异常现场一旦被改动覆盖,后面所有排查都失去基准。
具体顺序是:先导出当前规则库版本号、缓存键、Nginx配置md5三样东西,再比对最近一次正常时的快照,找出差异项。差异项里优先看版本号和缓存键,这两项不同步引发的分流异常占比最高。如果快照比对没发现差异,再去看请求级别的日志,按时间窗口截取异常发生前后的判定记录,看命中分支有没有跳变。
动手修复时遵循一个原则:一次只改一个差异项,改完用同样的样本请求验证,验证通过再改下一个。多个差异项一起改,出了问题又分不清是谁引起的。回滚点的设置可以参考从零搭建斗篷系统,把回滚点设在配置冻结之后、开量之前,回滚才有意义。
小结
三阶段检查的价值不在检查项本身,而在每项背后的原因:上线前查冻结是为了保住基准,运行中查水位是为了提前发现容量与规则结构的变化,异常后查快照是为了不丢现场。把原因写进检查清单,执行的人才知道哪项能省、哪项不能省。检查项可以按团队规模裁剪,但冻结、探针比对、快照留存这三件事建议一项都别砍。
常见问题
上线前检查项太多,小团队能不能只做核心几项?
可以裁,但冻结配置和链路通断核验这两项别省。小团队人手少,可以把巡检频率降下来,比如探针比对从半小时一次改成两小时一次。说白了,检查项是给流程兜底的,不是给检查的人加活。
运行中巡检要盯哪些指标才算够?
连接水位、判定耗时P95、日志增长速度这三类基本够用。这个要看情况,如果业务有明显的时段峰值,再补一个峰值时段的连接数对比。顺带说一句,我一般还会看一眼缓存命中率的变化趋势,突降往往比突升更值得警惕。
异常后为什么不能先改配置再排查?
改配置会把异常现场覆盖掉,后面比对快照时找不到基准。正确的顺序是先导快照再动手,哪怕你已经猜到问题在哪,也先把现场留住。这个习惯在多人协作时尤其重要,你改的东西可能不是别人要查的东西。
热更新后版本不一致,重启能解决吗?
重启能解决大部分不一致,但会丢连接,高峰期要慎用。先确认热更新的推送方式,如果是文件推送,检查文件是否全部同步到位;如果是常驻进程推送,检查进程是否收到信号。重启是最后手段。
检查清单需要每次上线都完整走一遍吗?
首次上线和重大变更时完整走,日常小改动可以走裁剪版。判断标准是改动是否触及规则库版本号或缓存键,触及了就按完整流程走。不触及的话,跑一遍探针比对加日志落盘检查就够了。
延伸阅读
本文讲的是检查项与原因,如果你想把规则变更本身的可追溯性做得更细,可以看下面这篇关于规则归因审计的内容,它把决策链路的可解释性拆到了字段级别。
Cloak技术决策链路可解释性与规则归因审计