上个月有个客户,分流层从三台扩到五台。扩容当天晚上我们回访了一下,页面版本跳变率从百分之二点几,直接干到百分之十一。后台翻日志,同一批 Cookie 在两小时内被分到了三个不同的判定节点上,缓存键全失效,每次回访都走完整判定链。你说这是规则配错了吗?不是。问题出在哈希环扩容的时候,重映射没收敛。这事儿值得单独拎出来讲,因为它不报错,就是让判定延迟和版本不稳定一起往上抬,量一上来整条链路的可信度就没了。下面我按一次扩容请求的完整链路,把一致性哈希重映射的每一步输入、判断和结果拆开说。
哈希环重映射的输入是什么
扩容这个动作,说白了只是改了节点列表。但环上的变化远不止加两个节点这么简单。分流节点选择一般都用一致性哈希:每个物理节点映射成若干虚拟节点,按哈希值撒到 0 到 2^32 的环上,请求拿自己的缓存键算哈希,顺时针找第一个虚拟节点。这一步的输入有三样:节点列表、每个节点的虚拟节点数、请求缓存键。
扩容时节点列表变了,虚拟节点就得重新撒。这里容易搞混的地方在于,虚拟节点数如果按物理节点等分,新节点一进来,环上的区间会被切得更碎,原本落在一个区间里的请求就被重新分配了。这不是均匀分配,是区间被二次切割。一个节点扩到五个节点,如果虚拟节点总数不变,每个物理节点持有的环区间比例就会变,原来稳定映射的请求有相当比例换了归属。
判断点在于:扩容后哪些请求的哈希值还落在原节点的区间内。只有落在未变动区间的请求才保持稳定,落在被切割区间的,就会漂移。漂移率理论上等于新节点占环比例,但实际会更高,因为虚拟节点撒点不均匀会放大局部切割。
这里有个容易忽略的输入:请求缓存键的构成。缓存键里如果包含节点标识或分片编号,扩容后键本身就变了,哈希值跟着变,漂移率会远超环比例。这也是为什么缓存键设计误区里反复提,缓存键不要绑节点信息。
虚拟节点分配怎么放大漂移
虚拟节点数是重映射的核心参数,但它经常被当成固定值配死。三节点时每节点 150 个虚拟节点,扩到五节点时如果还是每节点 150 个,总虚拟节点从 450 涨到 750,环上撒点密度变了,相邻虚拟节点的间距重新分布,原本落在一个虚拟节点区间里的请求就会被新插进来的虚拟节点截走。
更隐蔽的是权重问题。如果节点规格不一样,虚拟节点数按权重配,比如高配节点 200 个、低配 100 个,扩容时新增节点如果按默认值给 150 个,环上的权重比例就被打破了,请求分布会向新节点倾斜。倾斜本身不一定是坏事,但它带来的漂移是集中的,不是均匀的,某些老节点的区间被大面积覆盖,那批请求全部换节点。
判断点在于扩容前后每个物理节点实际持有的环区间比例。这个比例不能靠估算,要在环上按虚拟节点排序后逐段累加。如果扩容后某节点的区间比例变化超过百分之二十,漂移就会集中爆发。
处理方式是扩容时保持虚拟节点总数不变,按物理节点数重新均分,让每个节点的虚拟节点数随节点数增加而减少。这样环上撒点密度不变,只是归属重新划分,漂移率能压到接近理论值。代价是每个物理节点的虚拟节点数变少,节点故障时的负载转移粒度变粗,需要在漂移和容错之间取平衡。
取模切换到哈希环的时序陷阱
有些分流层早期用的是简单取模,节点数变了直接对请求哈希值取模,漂移率百分之百。迁移到一致性哈希时,如果切换时序没控制好,会出现两种算法并存的状态。一部分请求走取模,一部分走哈希环,同一批 Cookie 在不同入口被分到不同节点,版本判定结果打架。
这个时序陷阱的输入是入口列表和切换开关。判断点是每个入口的算法标记是否一致。如果切换是逐台发布的,发布间隙内新旧算法同时在线,漂移会集中在发布窗口期。
处理顺序上,先停写入再切算法,或者用双读比对过渡:新算法先只读不写,比对两套算法的映射结果,确认漂移在可接受范围后再切写。这个思路和规则库版本热切换里的差异比对顺序是一样的,先看差异清单再决定切换节奏。
双读比对时要注意缓存键的一致性。两套算法如果对同一个请求算出不同节点,比对结果会全是差异,这时候要区分是算法差异还是缓存键差异。缓存键里如果有时间戳或随机因子,比对就失去意义。
缓存键重建与判定链的衔接
哈希环只决定请求落到哪个判定节点,节点内部的缓存键决定判定结果能不能复用。扩容后节点变了,如果缓存键里包含节点信息,缓存全部失效,每个请求都走完整判定链。缓存键重建的输入是请求特征和节点归属。判断点是缓存键是否与节点解耦。解耦的做法是缓存键只由访客特征构成,比如 Cookie 标识加指纹摘要,节点归属只影响缓存的物理位置,不影响键值。
衔接上有个细节:扩容后新节点上的缓存是空的,第一批落到新节点的请求全部回源。如果扩容是突然全量切,回源峰值会集中。稳妥的做法是扩容后先按小比例把流量引到新节点,让新节点缓存预热,再逐步提高比例。这个预热顺序和分流判定采样窗口的调优逻辑类似,都是先用小窗口观察再放大。
回源峰值还和判定链的耗时有关。如果判定链本身要查外部接口,缓存击穿时接口压力会成倍上涨。所以扩容窗口要避开投放高峰,选在流量低谷期做。
一次扩容漂移的收敛复盘
背景是某团队做跨行业投放,分流层三节点扩到五节点,用的是每节点固定 150 个虚拟节点的配置。扩容当晚回访版本跳变率从百分之二点几升到百分之十一,判定延迟从平均 18 毫秒涨到 40 毫秒出头。
排查发现两个叠加因素。一是虚拟节点总数从 450 涨到 750,环上撒点密度变了,老节点的区间被新节点切割,漂移率超出预期。二是缓存键里带了节点分片编号,扩容后键值全变,缓存命中率从九成掉到三成,回源请求把判定链压满。调整分两步。先把虚拟节点总数锁回 450,按五个物理节点重新均分,每节点 90 个虚拟节点,环上密度恢复,漂移率降到百分之四左右。再把缓存键里的节点分片编号去掉,只保留访客特征,缓存命中率回到八成以上,延迟回到 22 毫秒上下。
遗留问题是新节点预热不够,扩容后第一天新节点缓存命中率只有五成,第二天才追平。后来改成扩容后先引一成流量,跑满两小时再逐步加到全量,预热问题就没再出现。
小结
哈希环扩容的漂移根因不在扩容动作本身,在虚拟节点分配和缓存键结构这两个输入上。虚拟节点总数变动会改变环上密度,缓存键绑节点会让漂移率翻倍。收敛顺序是先锁虚拟节点总数,再解耦缓存键,最后按小比例预热新节点。判断扩容是否收敛,看两个指标:回访版本跳变率和缓存命中率,前者反映重映射稳定性,后者反映判定链压力。
常见问题
一致性哈希扩容后漂移率多少算正常
理论上漂移率约等于新节点占环比例,五节点里加两个新节点,新节点占四成环,漂移率上限就在四成左右。但实际能压到百分之五以内就算收敛得好,因为虚拟节点撒点均匀度和缓存键结构会额外放大漂移。超过百分之十就要查虚拟节点总数和缓存键了。
虚拟节点数设多少合适
这个要看情况,没有固定值。节点数少的时候,每节点一百到两百个虚拟节点能让撒点比较均匀。节点数多了之后,要反过来控制虚拟节点总数,让每个物理节点持有的虚拟节点数随节点数增加而减少。说白了就是保持环上撒点密度稳定,而不是保持每个节点的虚拟节点数稳定。顺带说一句,我一般还会在扩容前先跑一遍环区间累加,看每个节点的区间比例变化,超过两成就不扩。
扩容时缓存预热要跑多久
要看判定链的耗时和缓存 TTL。判定链快、TTL 短,预热一两个小时就够;判定链要查外部接口、TTL 长,得留半天到一天。预热比例从一成起,观察新节点的缓存命中率和判定延迟,两项都稳了再往上加。别一次性全量切,回源峰值会把判定链压出超时。
延伸阅读
哈希环扩容只是分流一致性的一环,如果还想从整体上理解分流系统的技术架构和风险边界,可以顺着下面这篇继续看。