本文系统性拆解访客判定回退顺序的完整实操要点。
上个月一个做跨境独立站的客户来问:分流后台里爬虫占比突然从两成涨到四成,可广告后台的点击量没变,钱也没多花,这多出来的"爬虫"是哪来的?他们第一反应是把爬虫特征库再收紧一档。我看了一眼日志就发现方向反了——新增的"爬虫"里有一大半是真实访客,问题出在请求头缺失时的判定回退顺序上。请求头字段不全就判爬虫,是访客判定里流传最广的误解之一,这篇就把这个误区拆开讲清楚。
误解是怎么来的:把"字段少"等同于"不像人"
这个误解的形成有它的历史原因。早期做流量识别时,工具链简陋,能拿到的信号就那么几个,User-Agent 几乎是唯一稳定的判据。那时候的自动化脚本确实粗糙,UA 要么是空的,要么是 curl/7.x、python-requests/2.x 这种一眼假的字符串。久而久之,"请求头字段少、UA 可疑"就被固化成一条经验规则,写进了很多规则库的默认配置里。
问题是浏览器生态这十年变了很多。现在的真实访客请求里,请求头缺失是常态而非异常:
- 隐私浏览器与插件拦截:部分浏览器默认裁剪
Referer,广告拦截插件会移除跟踪类字段,Sec-CH-UA系列客户端提示头在旧版本里压根不存在。 - App 内嵌 WebView:很多投放流量来自社交 App 的内置浏览器,这类 WebView 的请求头集合和标准 Chrome 差异很大,
Accept-Language常常只有单值,Sec-Fetch-*系列可能整体缺失。 - 企业网络与代理:公司出口代理会重写或剥离部分头字段,尤其是
X-Forwarded-For之外的转发头。 - 移动网络运营商网关:部分地区的运营商网关对请求头做压缩或改写,字段顺序和大小写都可能变。
换句话说,请求头缺失反映的是"这条请求经过了什么链路",不是"发起者是不是人"。把前者当后者用,误判就必然发生。
正确判断方法:先定字段可信度,再排回退顺序
要修正这个误区,关键不是删掉请求头判定,而是给每个字段定一个可信度等级,并明确缺失时往哪退。
字段可信度分级
按"被篡改难度"和"真实访客缺失概率"两个维度,可以把常用请求头粗分三档:
- 高可信、低缺失:
User-Agent主体结构、Accept的 MIME 序列、Accept-Encoding。这些字段真实浏览器几乎必带,脚本也容易伪造,所以可信度体现在"缺失即异常",不体现在"存在即真实"。 - 中可信、中缺失:
Accept-Language、Referer、Sec-Fetch-Site。真实访客会因隐私设置缺失,脚本也能补,单独缺失不构成判据。 - 低可信、高缺失:
Sec-CH-UA-*客户端提示、DNT、各类X-自定义头。这些字段缺失是常态,只能作为加分项,绝不能作为扣分项。
配置时的原则很直接:只有第一档字段缺失才允许触发"疑似自动化"标记,第二、三档缺失只记录不判定。
回退顺序怎么排
当第一档字段也缺失时,不要一步跳到"判爬虫",而是按下面的顺序逐级回退:
- 查
User-Agent是否为空。为空时先看Accept是否存在且包含text/html,存在则降级为"待定"而非"爬虫"。 - 待定请求进入指纹补采:看 JS 执行能力、屏幕参数、时区与语言的一致性。这一步能捞回大量 WebView 流量。
- 指纹也采不到(比如禁用了 JS),再看行为侧信号:请求间隔、页面停留、滚动与点击事件。真实访客即使禁 JS,行为分布也和脚本不同。
- 以上全部无信号,才落到兜底分支,返回标准页版本,同时打标记供人工复核。
这个顺序的核心思想是:请求头只是入口信号,不是终审判决。 判定链路的每一级都应该有"不确定"这个出口,而不是非黑即白。关于判定依据在链路中的传递损耗,可以参考规则命中证据链拆解里的逐跳分析。
一次误判集中后的配置调整复盘
回到开头那个客户。他们的规则库里有条默认规则:Accept-Language 缺失即标记为自动化流量。这条规则在桌面端问题不大,但他们七成流量来自移动端 WebView,而某社交 App 的安卓版内置浏览器在部分机型上确实不带这个头。
调整过程分三步:
- 第一步,先观测不改判定。把这条规则从"命中即判爬虫"改成"命中只打标签",跑了两天,发现被打标签的请求里,有百分之五点几最终完成了加购行为——真实访客无疑。
- 第二步,改回退顺序。
Accept-Language缺失时不再直接判定,而是转入指纹补采分支,补采失败的再进行为判定。改完后爬虫占比从四成回落到两成出头。 - 第三步,补一条正向规则。对
Sec-Fetch-*系列完整的请求给一个轻量加分,抵消部分误伤。
他们踩的坑很典型:把一条在特定流量结构下"看起来有效"的规则,当成了通用判据。流量结构一变(移动端占比上升),规则就从保护变成了误伤源。类似的结构性误判,在爬虫特征库误伤真实访客的排查路径里也有对照。
配置时的几个边界提醒
别把"缺失"和"异常值"混为一谈。 字段存在但值可疑(比如 UA 声称是 Chrome 120 却带着早已废弃的头组合),和字段根本不存在,是两类问题。前者可信度更高,后者要走回退。
回退层级不要超过三层。 每多一层回退就多一次判定开销,首字节延迟会累积。三层之内拿不到结论的请求,直接进兜底分支比继续深挖更划算。超时预算的分配逻辑可以参考分级超时预算的取舍边界。
规则改动要留观测期。 任何涉及"缺失即判定"的规则调整,先改成只打标签跑一两天,看标签命中里的真实转化占比,再决定是否恢复判定。这个习惯能挡掉大部分误伤。
字段顺序和大小写别当判据。 HTTP 头本身不保证顺序,大小写也不敏感。拿字段顺序做指纹是另一回事,但用它做"是否爬虫"的判据,误判率会很高。
小结
请求头缺失是链路特征,不是身份特征。访客判定的正确姿势是给字段分可信度、给回退排顺序、给不确定留出口。把"缺失即爬虫"改成"缺失先待定、逐级补信号",误判率能压下来一大截,而且不需要动特征库本身。
常见问题
请求头缺失就一定是爬虫吗?
不一定,而且大概率不是。真实访客因为隐私设置、WebView、企业代理等原因缺字段很常见。判断时看缺失的是哪一档字段,高可信字段缺失才值得警惕,中低档缺失记录就行,别直接下结论。
回退层级设几层比较合适?
三层左右。第一层看高可信字段,第二层补指纹,第三层看行为信号,三层还定不下来就进兜底。层数再多,判定开销涨得比准确率快,不划算。顺带说一句,我一般会在第三层加个采样开关,方便事后回看。
改了回退顺序,爬虫占比反而降了,正常吗?
正常。原来被误判成爬虫的真实访客回到了正常流量里,占比自然回落。这个要看情况,回落幅度大说明之前的规则误伤严重,回落不明显说明流量结构本来就以自动化为主,得再查特征库覆盖度。
延伸阅读
请求头判定只是入口环节,字段序与大小写归一化这类细节在联调时同样容易出问题,下面这篇把校验口径讲得更细:请求头字段序与归一化校验。