毕加昊
2026年11月9日 15:48
上个月做了个签到活动,本来以为是个小事。
这个活动的规则简单得不能再简单:每天点一次,连续签满七天给一点积分,积分可以换一点小东西。做它的初衷也不复杂,就是想看看能不能让人多回来几次。
报名的人比预估多了二十倍。活动开始那个点,后台曲线直接竖起来,我坐在电脑前,看着 P99 从 80 毫秒一路爬到 4 秒,中间还夹着几条 500。
最开始我以为这是网络抖动,刷新了一下,发现不是。那一刻我才意识到,我之前所有的测试,都建立在一个我从来没有认真检查过的假设上:同时点这个按钮的人不会很多。
先说说第一版是怎么写的。
请求进来,先查这个人今天签过没有,如果没有,就往签到表里写一条记录,然后把用户表里的积分加一,最后返回一个成功。整个流程四步,代码一共二十几行,测试环境里跑了一百遍,一点问题都没有。
这段代码在单人的时候是对的,在十个人的时候也是对的。它在八百个人的时候就不对了,但它不会报错,它会安静地多给你记几次。
问题不在于并发量大,在于我把判断和写入分成了两步。中间那段空隙,就是所有重复的来源。两个人几乎同时进来,都查到“没签过”,然后都写了进去,数据库不会拦,因为它不认识“一天只能签一次”这件事。
我第一次看到重复记录的时候,还以为是用户手动刷新了几次,后来按时间排序一看,两条记录相差 47 毫秒。47 毫秒里,一个人不太可能点两次,但两台服务器处理同一个请求,太可能了。
更麻烦的是,我一开始用 SETNX 加 EXPIRE 两条命令做去重,看着像对的,实际上这两条命令之间还有一个窗口:如果进程刚好在中间挂掉,key 就永远没有过期时间,这个人以后再也签不了。
这种错误不高级,但特别常见,而且测试环境永远不会告诉你。因为测试环境里的进程不会在两条命令之间挂掉,它只会在你想不到的地方挂掉,比如半夜三点,比如活动刚开始的那个整点。
我先做了压测,因为我不想在生产环境上一边改一边试。
压测工具用的是 k6,脚本很简单,虚拟用户登录、拿 token、然后循环请求签到接口。数据准备了五万个账号,提前灌进去,避免压测的时候读的全是空表。
压测机是一台独立的小机器,跟我本地电脑没关系。这一点很重要,我见过有人在自己电脑上一边跑压测脚本一边看监控面板,然后得出一个结论说机器不行,其实是他自己在抢 CPU。
第一轮压到五百并发,QPS 卡在三百多上不去,延迟已经开始飘。我先怀疑是数据库,把慢查询打开,发现确实有一条查询在扫全表,因为签到表上根本没有建索引。
补上索引之后 QPS 到了八百,然后再往上加压,QPS 反而不涨了,延迟继续涨。
我又怀疑是连接池不够,把连接数从二十调到一百,结果更糟,数据库直接开始拒绝连接。调回五十之后稳定了一点,但曲线还是平的。
真正的原因是我第三次才想到去看的地方:系统层面。连接数、TIME_WAIT 的堆积、文件描述符的上限。我看到机器上 TIME_WAIT 的数量已经堆到两万多,新连接建不上,请求全在排队。
这跟业务代码一点关系都没有。它是内核参数和短连接的问题,但表现得很像业务问题,因为用户看到的就是慢。
这件事教了我一个很朴素的排查顺序:先看系统,再看中间件,最后看代码。因为系统层的东西便宜、直接、没有歧义,而代码层的东西你可以怀疑一整天。
搞明白之后我开始改方案,思路一共三条。
第一条,把判断和扣减合成一个原子操作,放进 Redis 的 Lua 脚本里执行。
脚本本身很短,逻辑就是:先看这个人的 key 在不在,在就返回 0,表示今天签过了;不在就用一条带过期时间的 SET NX 写进去,返回 1,表示这次让他过。
为什么要写成脚本而不是直接在客户端调 SET NX,因为 SET NX 加过期时间这件事,虽然在新版本里可以用一条命令完成,但在很多老代码里它还是被拆成两条。这两条之间就是那个窗口。脚本的好处是整个逻辑在 Redis 内部执行,中间不会被别的命令插进来,也不会有进程挂掉的空隙。
脚本里还有一个细节:过期时间我设成到当天 24 点,而不是固定的 24 小时。因为“今天”是一个自然日的概念,如果用户 23 点 59 分签到,固定 24 小时会让他在第二天 23 点 59 分之前都签不了,用户会觉得你的站坏了。
还有一件事我一开始踩了:我们的 Redis 是集群模式,Lua 脚本里如果操作多个 key,这些 key 必须落在同一个 slot,不然脚本直接报错。解决办法是在 key 里加 hash tag,让同一个用户相关的 key 都落在同一个节点上。这个问题在单机 Redis 上永远不会出现,一上集群就冒出来。
第二条,数据库不再是第一现场,只是最终落库的地方。
请求先拿到 Redis 的裁决,拿到 1 的才丢进队列,由后台的消费者异步写库。这样高峰期的写压力被削平了,数据库看到的是队列的匀速输出,而不是一整面墙同时拍过来。
队列用的是 Redis 的 List,一个生产者,多个消费者,消费者用阻塞的方式取任务。没有上 Kafka 那种重型的东西,因为对这个量级来说,多一个组件就是多一个半夜会挂的东西。
消费者写库的时候必须做幂等。我的做法是把“用户 id 加日期”当成业务主键,写之前先看这条记录在不在,不在才插。但光靠查一次是不够的,因为查和插之间还是有窗口,所以我最后在数据库上加了一个唯一索引。
第三条,唯一索引是最后一道保险。
字段就是用户 id 加日期,唯一约束。哪怕 Redis 因为主从切换丢了数据,哪怕队列重投了两次,写库这一步也会被数据库自己挡住,不会产生第二条记录。写的时候捕获唯一键冲突,直接当成“已经签过”处理,不报错,不重试。
很多人觉得有了 Redis 就不需要数据库的唯一约束了,我不这么看。缓存层的承诺是“快”,数据库的承诺才是“准”。这两个东西不能互相替代,一个是性能手段,一个是正确性底线。性能手段可以失效,底线不能。
顺带说一句,主从切换丢数据这件事不是理论。Redis 默认是异步复制,主节点写完就返回,从节点还没来得及同步,主挂了,那一条就没了。这个时间窗口很小,但只要你的活动有几十万人参加,概率就不是零。
然后是限流,做了两层。
第一层在 nginx,按 IP 做漏桶。配置里定一个每秒的速率,再给一个突发额度,超出的直接返回 503。这一层挡掉的是那些明显不是人的流量:脚本、扫描器、还有那种一秒点二十次的。
第二层在业务层,按用户 id 做令牌桶。超出的不返回错误,返回一个排队页,让人等。这个体验上的差别很大,一个错误页面会让人关掉就走,一个排队页会让人愿意等三秒。
为什么要两层,因为它们的职责不一样。nginx 那层不认识用户,它只能按 IP,而很多用户其实在同一个出口后面,学校、公司、运营商的大内网,按 IP 限流很容易误伤一整栋楼。业务层认识 uid,判断更准,但它的成本比 nginx 高,不能放在最前面。顺序是成本决定的,不是喜好决定的。
阈值也不是拍的。我先用压测把单机能扛住的 QPS 摸出来,然后按这个数的六成设限,剩下四成留给突发和重试。限流阈值定得太紧,正常用户会被误杀;定得太松,等于没有。
队列消费者开几个,这个问题我没有拍脑袋。
我先测了单个消费者每秒能处理多少条写库,大概是四百条。按预估峰值的每秒一千五百次签到算,理论上四个人就够。我开了六个,多出来那两个是给重启和抖动留的余量。
消费者之间没有竞争问题,因为 Redis 的 List 出队本身是原子操作,谁拿到算谁的。但要注意的是,出队之后如果消费者挂了,这条任务就丢了,所以我又加了一步:出队的同时把任务写一条“在途”记录,处理完再删掉。进程启动的时候先扫一遍在途记录,把超过一分钟还没处理完的重新丢回队列。
这套机制听着复杂,其实就是一次 ack 的简化版。真正成熟的消息队列都自带这个,我不用它们,是因为这个体量下自己写反而更可控,出了问题我看得懂每一行。
监控指标我也只留了四个:队列长度、消费者处理速率、写库失败率、Redis 命中率。多了看不过来,少了会瞎。上线前我给队列长度设了个告警线,超过一万条就发消息给我,因为这个数基本等于“消费者已经跟不上了”。
上线之前我做了一次降级预案。
预案的内容很土:如果 Redis 挂了,所有请求直接走数据库,唯一索引保证不出重复,但会慢;如果队列积压超过一万条,消费者扩容,同时把反馈改成“稍后到账”;如果整体 QPS 超过阈值,活动入口自动切到静态页,只显示一句话,让人过两分钟再来。
写这份预案花了一个小时,比我改代码的时间还长,但它是唯一能让我上线那天晚上睡着一点的东西。
上线那天晚上我还是没敢睡。
活动开始前十分钟,我把所有监控页面都开好,盯着三个数:QPS、P99、队列长度。开始那一分钟,QPS 从几十跳到一千二,P99 从 40 毫秒涨到 90,然后稳住。队列长度爬到三千多,消费者把积压吃掉,十分钟后回到两位数。
我盯着看了半个小时,中间喝了两杯水,什么都没做。那种“什么都没做”的感觉其实比修 bug 还累,因为你不知道下一秒会不会有事。
凌晨两点,我把 Redis 的标记数和数据库的记录数拉出来对了一遍,四万三千多条,差三条。
三条不多,但我不敢放过。查下来都是异步写库重试耗尽留下的,不是逻辑错误,是队列的边界情况:消费者取到任务之后进程重启,任务既不在队列里也没写进库,就这么丢了。
处理方式是把重试次数用完的任务丢进一个死信队列,不再无限重试,然后每天跑一个补偿脚本,把死信里的记录重新过一遍。补进去之后数字就平了。
那次排查的方式也值得记一下:我按 uid 分组,把重复的记录拉出来,发现全部集中在一百多毫秒的窗口里,说明不是随机出错,是特定时序下的问题。这个特征直接把我引到了队列重试的逻辑上,比盲翻日志快得多。
对账这件事我后来做成了定时任务,每天凌晨跑一次,差异超过阈值就给我发消息。不是为了好看,是因为只要有两套存储,就一定会有一天不一致。你要做的不是假设它不会错,而是让它错了也能被发现。
现在回头看,整个改造的核心其实就一句话:想清楚哪一步必须是原子的,哪一步可以晚一点。
签到这件事,判断和占位必须原子,所以放 Redis;真正落库可以晚,所以走队列;而正确性不能靠队列,所以压一条唯一索引。三层各干各的事,谁都不越界。
代码量比第一版还少,但每一行都知道自己为什么在那儿。
我不太喜欢“高并发”这个词,因为它容易让人以为这是一场性能的战争,比谁的 QPS 高。其实大多数线上事故不是被量打死的,是被自己没想到的时序打死的。
真正难的是在压力来之前就想到这些窗口。而这件事没什么捷径,只能靠被坑过,或者靠看别人被坑过。
所以我把它写下来。