爬虫UA误判这事儿,修起来快不快,其实就看你愿不愿意把识别逻辑倒过来跑一遍。上个月有个做跨境独立站的客户来找我们,说标准页曝光量连着涨了三天,可后台真实用户的停留时长压根没动。这两条曲线一起出现,基本上就能下结论了:有一部分本该看到完整页的访客,被系统当成爬虫给拦了。
这种情况我见得太多了。大部分团队配爬虫UA识别的时候,眼睛只盯着“有没有漏掉哪个爬虫”,很少有人反过来问自己一句:我这规则命中的请求里面,到底有多少是真人?这种单向思路带来的后果就是——特征库越加越长,误判率悄悄地往上爬。下面要聊的,就是怎么用特征库反向验证这个思路,把爬虫UA误判从“凭感觉加规则”变成一套有据可查的配置流程。
为什么特征库越全,误判反而越多
这里得先理解一个基本矛盾。爬虫UA特征库的更新,永远追不上爬虫本身的迭代速度。你今天加进去的特征串,明天人家改一个字符就绕开去了;可与此同时,你为了“保险”加的那些模糊匹配规则,正在把一部分真实访客的UA也圈进来。
误判最常见的来源有三类。一类是包含模式过宽,比如拿“bot”做包含匹配,结果某些浏览器插件注入的UA、还有部分安卓WebView的默认标识,全被命中了。另一类是版本号通配,像Chrome/1\*这种写法,本意是想覆盖旧版本,实际上把大量正常用户的UA也划进了排除范围。第三类最隐蔽——移动端UA的碎片化,某些厂商浏览器会在UA里拼接自家标识,要是特征库里恰好有一条短串跟它重合,误判就触发了。
这三类问题有个共同点:它们在配置界面上看起来都挺“合理”的,只有把命中日志拉出来反向看,你才会发现不对劲。
反向验证的核心操作:从命中样本倒查规则
反向验证的逻辑不复杂:别问“这条规则能不能拦住爬虫”,要问“被这条规则拦住的请求,长什么样”。具体操作分三步。在跳转插件或者分流服务的日志配置里,把UA匹配命中的请求单独打个标记位。这里注意别用全量记录,那会把磁盘写满。我的习惯是按请求量的百分之五到百分之十做条件采样,只记录命中排除规则的请求的UA原文、IP段、请求时间,以及最终返回的页面版本。日志保留三到五天就够了,目的是拿到足够样本做人工抽检。
如果你发现日志里缺少UA字段,可以先检查采样开关和落盘路径,具体排查思路可以参考跳转日志缺失排查那篇的路径拆解。
把采样日志按“命中的规则ID”分组,每组随机抽二十到三十条,人工看UA原文。重点看两类:一类是明显正常的浏览器UA被误命中,另一类是同一个规则命中的请求里,UA分布极其分散——这说明规则太宽了。这个动作听起来笨,但它是唯一能让你看到“规则实际在拦谁”的方法。自动化的误判率统计当然可以做,可初期你连误判长什么样都不知道,统计口径都定不出来。
第三步:把确认的误判样本反写成排除白名单
抽检确认的误判样本,别急着删规则,先把这些UA特征提取出来,写成一条优先级更高的白名单规则。白名单的匹配条件要尽量精确,比如用完整的版本号段加设备标识组合,而不是再写一条模糊串。这里有个顺序问题:白名单规则的优先级必须高于排除规则,否则不生效。关于条件命中顺序的配置逻辑,在规则冲突定位与动里有更细的拆解,这里不展开。
排除模式与包含模式的取舍边界
反向验证做完之后,你会面临一个配置选择:到底该用排除模式还是包含模式来管爬虫。排除模式的逻辑是“默认放行,命中特征才拦”。它的好处是误判影响面小——最坏情况是漏掉几个爬虫,而不是把真人挡在外面。缺点是特征库需要持续维护,爬虫换UA你就得跟着更新。
包含模式的逻辑是“默认拦截,命中白名单才放”。它的好处是拦截彻底,但风险极高:一旦白名单覆盖不全,真实访客就会大面积看到标准页。对于大多数投放团队,我的建议是排除模式为主、白名单为辅。具体做法是:用排除模式处理已知爬虫特征,同时维护一份精确的真实浏览器白名单,白名单优先级最高。这样即使排除规则写宽了,白名单也能兜住大部分真实访客。
有一类场景需要特别注意:当你的流量来源中包含大量移动端WebView或应用内浏览器时,UA的变体极多,排除模式的模糊匹配很容易误伤。这种情况下,白名单的覆盖范围要比平时扩大百分之二三十,并且每周做一次白名单命中率检查。
一次误判修复的配置顺序复盘
回到开头那个跨境独立站的案例。他们的误判原因是特征库里有一条“包含模式:Android.*wv”的排除规则,本意是拦住安卓WebView里的爬虫请求,但实际上把大量真实用户的安卓应用内浏览器请求也拦住了。修复过程按这个顺序走:
- 先开启UA命中采样日志,采样率设百分之八,跑了三天
- 按规则ID分组抽检,确认“Android.*wv”这条规则的命中样本中,约六成是真实用户
- 不删规则,而是在它上面加了一条白名单:匹配完整的应用包名标识段
- 把原排除规则的匹配范围从“包含”改为“精确匹配已知爬虫特征串”
- 观察四十八小时,标准页曝光量回落,真实用户停留时长恢复
整个修复没有动其他规则,也没有重启服务。关键动作是第三步——先用白名单兜住误判,再收窄排除规则,而不是反过来。
常见问题
爬虫UA特征库多久更新一次比较合适
这个要看你的流量里爬虫占比和变化速度。一般投放账户,两周过一次特征库就够了。如果发现标准页曝光量异常上涨,那就临时加一次反向验证,不用等周期。说白了,特征库更新频率不是重点,重点是每次更新后有没有做命中样本抽检。
白名单规则会不会把真爬虫放进来
有可能,但概率很低。白名单的条件写得越精确,放错的可能性越小。我一般会把白名单的匹配条件控制在三个字段以上的组合,比如UA完整版本号加设备标识加请求头特征,单独一个UA串就能命中的白名单,风险太高。
反向验证需要停掉线上分流吗
不需要。采样日志和线上分流是并行的,开日志不影响判定结果。但要注意采样率别设太高,超过百分之十五可能会对日志写入造成压力。顺带说一句,如果你用的是共享服务器,开采样前更好看一眼磁盘IO。
延伸阅读
如果你正在做爬虫识别的整体选型,或者想对比不同工具在UA特征库维护上的差异,这篇工具对比可以帮你补充选型视角下的判断依据。