本文系统性拆解信号加权求和的完整实操要点。
上个月一个做教育投放的团队来找我们看配置,约束条件很具体:日均点击一千二三,服务器是单台4核8G的LNMP,验收要求是同一访客十分钟内两次请求必须落到同一个页面版本,误判率不能超过百分之三。他们最初的规则链是十几条条件平铺,每条带权重打分,跑起来之后发现两个问题:一是同一批流量在早晚高峰判定结果不一样,二是加一条新规则就得把所有历史权重重新校一遍。这就是判定链路结构选型没做对——信号到底是加权求和,还是逐级过滤,决定了后面所有的调优成本。本文就把这两种结构从一次请求的完整链路拆开看。
一次请求进入判定层时,两种结构分别拿到什么
请求到达判定层时,可用的输入大致是固定的:UA与请求头字段、IP归属、Cookie里的会话标识、设备指纹摘要、访问时间与频次。区别在于这些输入被组织成什么形态。
加权求和结构把每个信号先转成分值,再乘以权重累加,最后拿总分和阈值比。它的输入形态是一张信号分表,每个字段都要有明确的量化口径,比如UA命中爬虫特征记0分、命中真实浏览器特征记1分,指纹完整度按字段覆盖比例折算。这种结构对输入的完整性要求高,缺一个字段就得有默认分兜底。
逐级过滤结构把信号排成有序的判断节点,每个节点只回答是或否,命中就走向下一个节点,不命中就落到对应分支。它的输入形态是一条判定路径,每个节点只需要自己关心的那一个字段。UA节点不看指纹,指纹节点不看IP,字段之间解耦。
两种结构对同一批请求拿到的原始数据是一样的,差别在于数据被消费的方式。加权求和是横向铺开,逐级过滤是纵向收窄。
加权求和:分数怎么来,阈值怎么定
加权求和的核心工作量在权重标定。一个可操作的起步做法是:先给每个信号定一个基础分区间,再按业务经验分配权重,最后用历史请求做回放校准。比如UA特征权重0.4、指纹完整度0.3、IP归属0.2、访问频次0.1,总分超过0.7判为真实访客版本,低于0.4判为标准页版本,中间区间走兜底。
这个结构的好处是平滑。单个信号异常不会直接翻转结果,只是把总分拉低一点。代价是可解释性差——判定错了,你得回溯所有信号的分数才能定位是哪一项拖累的。另一个代价是权重漂移:业务加了新信号,旧权重不重新校准,阈值就失准。前面那个教育团队早晚高峰结果不一致,根因就是访问频次信号在高峰时段天然偏高,把总分整体抬过了阈值,而权重表里没有时段归一化项。
调优时优先动阈值而不是动权重。阈值是一个数,权重是一组数,改一个数的回归验证成本远低于改一组。真要动权重,按影响面排序,一次只改一项,改完用请求快照回放比对结果。
逐级过滤:节点顺序就是策略本身
逐级过滤的判定结果高度依赖节点排列。同样四个信号,先判UA再判指纹,和先判指纹再判UA,走到兜底分支的请求比例可能差出十几个百分点。原因是短路:前面的节点一旦命中分支,后面的节点根本不会执行。
节点排序的一般原则是:先放区分度最高、开销最低的信号。UA和请求头字段解析成本几乎为零,放在最前;指纹采集有计算开销,放在中间;需要查库的IP归属和频次统计放后面。这样大部分请求在前两个节点就被分流,后面的重开销节点只服务少数请求。
但区分度高不等于该放前面。如果某个信号误判代价大——比如指纹缺失被误判成爬虫——它就不该做第一道闸,否则一个采集失败就会把真实访客挡在标准页。这类信号应该放在有前置证据之后再判,或者给它单独的豁免分支。
逐级过滤的可解释性好:判定日志里记录走到了第几个节点、哪个节点命中,出问题直接看路径。代价是规则链越长,维护越像走钢丝,加一个节点要考虑它和所有已有节点的先后关系。相关排查思路在规则链求值顺序决里有更细的路径拆解。
混合结构:什么时候该把两种拼起来
纯加权和纯过滤都有明显短板,实践中更常见的是混合:先用逐级过滤做粗筛,把明显爬虫、明显异常请求挡掉;剩下的请求进入加权求和做细判,用分数决定页面版本。粗筛阶段只放误判代价低的节点,细判阶段才引入多信号累加。
混合结构的关键边界在粗筛的放行率。粗筛挡得太狠,细判样本不够,权重校准失去意义;粗筛放得太松,细判阶段要处理的请求量翻倍,延迟扛不住。一个经验做法是把粗筛放行率控制在七成到八成五之间,低于七成说明粗筛节点误伤偏多,高于八成五说明粗筛没起到减负作用。
那个教育团队最后改成了两层:第一层用UA加请求头做过滤,挡掉特征库明确命中的爬虫;第二层对剩余请求做加权求和,但把访问频次信号改成按时段归一化后的相对值。改完之后早晚高峰的判定一致性问题消失,误判率落回百分之二上下。调整过程里他们还踩过一个坑:第一层过滤节点最初把指纹缺失也当成爬虫特征,结果移动端弱网环境下大量真实访客被挡,后来把指纹缺失从过滤条件里摘出来,改到第二层做降权处理。
结构选型的判断依据
选哪种结构,看三个约束:信号数量、误判代价分布、变更频率。信号少且区分度集中,逐级过滤就够,链路短、好排查。信号多且单个信号都不可靠,加权求和更稳,但要接受可解释性下降。规则变更频繁的场景,过滤结构的维护成本随节点数线性上升,加权求和反而只需要重校阈值。
还有一条容易被忽略:判定链的输出要能回放。不管哪种结构,每次判定都应该留下输入快照和路径标记,否则调优就是盲调。快照字段怎么取舍,可以参考一次请求的版本决策,里面讲清楚了哪些字段值得落盘、哪些截断即可。
小结
加权求和与逐级过滤不是先进与落后的关系,是两种不同的信号消费方式。前者把判断摊平成分数,靠阈值收口;后者把判断串成路径,靠顺序收口。选型时先看信号可靠性和变更频率,再决定要不要混合。无论哪种,判定链的可回放性和阈值调整的回归验证,都比结构本身更影响长期稳定性。
常见问题
加权求和结构的阈值应该多久校准一次?
这个要看情况。信号分布稳定的账户,一个季度校一次就够;投放结构变化大、新增流量来源多的,建议每两周用请求快照回放比对一次阈值命中比例。阈值偏移通常先表现为兜底分支占比升高,看到这个信号再校准也不迟。
逐级过滤的节点顺序调整后,历史判定结果还能对比吗?
能对比,前提是判定日志里记录了路径标记。只记最终版本不记节点命中情况的日志,调完顺序就没法回溯差异。顺带说一句,我一般还会在调整前先冻结一份旧路径的判定快照,改完用同一批请求空跑一遍,逐条比对落点变化。
混合结构里粗筛放行率偏低,先改节点还是先改条件?
先看是哪个节点挡掉的。如果集中在单一节点,改那个节点的条件边界;如果分散在多个节点,说明粗筛整体过严,应该把误判代价高的节点整体后移。改条件比改顺序的影响面小,优先从条件入手。
两种结构对服务器资源的要求差多少?
逐级过滤因为短路,平均每个请求执行的判定步骤少,CPU开销通常更低;加权求和要算完所有信号,开销相对固定。但差距主要体现在指纹采集这类重操作上,纯字段判断的差异不大。单台4核8G跑日均一千多的点击,两种结构都绰绰有余,瓶颈一般不在这里。
延伸阅读
如果想把判定链放到更大的架构里看,比如规则引擎和推理加速怎么配合,可以接着读这篇:规则引擎与推理加速架构设计。