上个月有个做教育投放的客户找过来,说账户连着三天出怪事:白天跑得好好的,一到晚上八点以后,系统就把一批明显是真人用户的请求判成爬虫,直接返回标准页。他们一开始以为是爬虫特征库更新出了岔子,翻了大半天日志才反应过来,特征库根本没动,动的是判定阈值的比较方式——两周前有人把访客判定阈值从动态基线切成了固定值,测试环境里看着一切正常,量一上来就兜不住了。这篇就借这事儿,把访客判定阈值调优里固定值和动态基线这两条路该怎么选,掰开讲一讲。
判断标准:什么时候才该动阈值
阈值这东西,很多人当它是一个“调大调小”的旋钮。其实不太对,它更像一个参照系。参照系本身选错了,你旋钮怎么拧都是错的。
那怎么判断该不该从固定值切到动态基线?我平时主要看三条:
- 流量结构稳不稳。账户每天进来的来源、设备分布、访问时段如果高度一致,固定值就够用了,甚至更省心。可要是跨行业混投、多时段放量、多地区并行,那固定值就是在赌运气。
- 误判是不是扎堆出现在某些时段或来源。误判集中爆发,通常说明阈值没跟着环境走。这时候该看的是“变化的那部分到底是什么”,先别急着把阈值整体调松。
- 有没有足够的历史样本撑起基线。动态基线不是凭空冒出来的,它要靠近期窗口内的判定得分分布来算。样本太少,基线自己就抖,那还不如固定值稳。
这三条里,只要第二条成立、第一条又不成立,基本就可以考虑上动态基线了。
固定值的代价:省事,但风险都攒在后面
固定值最大的好处就是确定性。配置里写死一个数,比如指纹置信度得分低于某条线就判可疑,逻辑简单,排查也简单,出问题一眼能看出是哪条线卡住了。
但代价是隐性的。
- 环境漂移没人感知。设备指纹的采集质量会跟着浏览器版本、系统更新、网络环境一起整体偏移。今天合适的分数线,过一个月可能整体偏严,也可能偏松。固定值不会提醒你这件事。
- 分时段一刀切。晚间流量里移动端占比往往更高,指纹采集完整度天然就比白天桌面端差一截。同一条线,白天刚好,晚上就偏严。
- 调整全靠人肉。每次动固定值,都得有人先发现异常、再手动改配置、再盯着观察。发现晚一步,损失就已经发生了。
说白了,固定值是把“调参”这件事从系统里挪到了人身上。人盯得过来就没事,盯不过来就出事。
动态基线的条件:不是所有账户都养得起
动态基线的思路,是让阈值跟着近期得分分布走。比如取过去一段时间窗口内判定得分的某个分位数,作为当天的参考线,再叠一个偏移量上去。环境整体漂移时,线也跟着漂。听着挺美,但它有几个前置条件:
- 窗口长度得选对。窗口太短,基线会被个别异常请求带偏;窗口太长,环境都变了基线还没跟上。常见做法是按天滚动,再配一个短窗口做突变检测。
- 离群点要剔掉。得分分布里总有极端值,直接算分位数会被污染,得先把明显异常的样本清出去。
- 兜底必须有。基线算不出来、样本不足、计算超时的时候,必须回落到一个安全的固定值。不能因为基线缺失就把请求全放行或者全拦截。
这里就牵出一个常见的衔接问题:基线算不出来时回落到哪条线、回落后隔多久重新尝试动态计算。这块的处理顺序,跟兜底分支触发时机的取舍逻辑是相通的,都是“不确定时先求稳”。
另外,动态基线对判定链路的时序有要求。基线计算是放在请求链路里同步算,还是提前算好缓存起来,会直接影响响应延迟。如果你们链路已经比较长,建议先看一眼跳转判定分支裁剪原理,把不必要的分支砍掉再上动态基线,否则延迟会叠加。
选择边界:三条线帮你定
把两条路线摆在一起,边界其实不复杂。第一条线:日均请求量。 日均低于一千多的点击量,样本稀疏,动态基线算出来抖动大,用固定值加人工巡检更划算。日均稳定在几千以上,动态基线才有统计意义。第二条线:流量结构复杂度。 单一行业、单一地区、单一时段为主的账户,固定值的“一刀切”代价很小。跨行业、跨时区、跨设备的账户,动态基线的收益明显。
第三条线:运维响应能力。 有没有人能每天看一次误判报表、能不能在误判升高后一小时内做出调整。有,固定值可控;没有,就让系统自己跟。三条线里,只要第二条指向“复杂”,第一条和第三条又不太差,就选动态基线。反过来,流量简单、量也不大,别为了追新去上动态基线,那是在给自己造故障点。
一次误判集中后的调优复盘
回到开头那个教育客户。他们的背景是:日均两千出头的点击,跨两个时区投放,晚间移动端占比六成以上。问题出在他们把阈值改成了固定值,而且改的时候只看了白天的测试数据。晚间移动端指纹采集完整度低,得分整体下移,固定线就把这批用户切掉了。
调整分了三步:
- 先回退。把阈值改回动态基线,但基线窗口从原来的七天缩短到一天滚动,减少环境变化带来的滞后。
- 加分段。把判定按设备类型分成两条基线,桌面端和移动端各算各的,不再混在一起。
- 补兜底。基线计算失败时回落到回退前那版固定值,并记录回落事件,方便后续统计。
改完之后,晚间误判集中现象消失,白天判定结果没有明显变化。他们后来复盘说,最大的教训不是“动态基线更好”,而是当初改固定值的时候,没人问过一句“晚间和白天是不是同一批人”。
顺带说一句,他们那两周还顺手把规则库的版本比对做起来了,避免下次又有人在测试环境改完直接同步到生产。这块可以参考动态规则库版本管理实战里的版本比对思路。
小结
固定值和动态基线没有绝对优劣,只有匹配不匹配。流量简单、量不大、有人盯,固定值足够稳。流量复杂、跨时段跨设备、没人实时盯,动态基线更合适,但要把窗口、离群剔除和兜底都配齐。最怕的是两头都不占:流量复杂还硬用固定值,或者流量稀疏还硬上动态基线。
常见问题
访客判定阈值设成固定值会影响判定准确率吗
会,但影响的方向取决于你的流量结构。流量单一、环境稳定的时候,固定值的准确率其实不差。流量跨时段跨设备的时候,固定值会把环境造成的整体偏移也算进判定里,准确率就下来了。
动态基线的窗口设多长比较合适
这个要看情况。一般建议按天滚动,再配一个更短的窗口做突变检测。窗口太长,环境变了基线跟不上;窗口太短,个别异常请求就能把线带偏。可以先从一天起步,观察误判报表再调。
基线算不出来的时候怎么办
必须有一个固定的回落值,不能空着。回落值建议用你历史验证过比较稳的那条线,同时把回落事件记下来。回落频繁说明样本量或计算资源不够,得先解决那个问题。
动态基线会不会拖慢判定响应
如果放在请求链路里同步算,会。建议提前算好缓存起来,请求来了直接读。基线更新的频率不用很高,按小时甚至按天都行,没必要每个请求都重算。
延伸阅读
如果你想从更宏观的角度理解判定阈值在整个分流体系里的位置,可以看看这篇关于斗篷技术整体设计的梳理。