返回首页
毕加昊
一次 502,排查了六个小时。 事情是从群里一句话开始的:你那个站打不开了。 我当时正在吃饭,随手点开链接,转了几秒,502。第一反应是 CDN 抽风,这种事以前有过,等两分钟自己就好了。等了十分钟,还是 502。 于是回宿舍开机,登录后台。nginx 的错误日志刷得很快,全是上游超时。把后端容器重启了一下,页面回来了。我给群里回“修好了”,然后安安心心去洗澡。 半小时后,又 502。 第二次我就不敢说修好了。开始认真查:CPU 正常,磁盘还有一半,连接数不高。把容器重启,好三分钟,然后又挂。到这我已经开始怀疑代码,怀疑是不是最近改的那个接口漏了什么东西,一路翻提交记录翻到上周。 转折出现在查系统日志的时候。我看到一条被反复记录的进程被杀信息,时间是整点。再往上看,整点有个定时任务在跑,做全量重建索引。它一跑,内存直接顶到天花板,系统把进程杀了,而容器没有配置自动拉起,于是前端就只能对着一个空的上游等超时。 也就是说,不是崩了,是被自己人干掉的。 那天我做的三件事:把定时任务挪到凌晨低峰,给它加了内存上限,给容器加上自动重启策略。做完再看,前后不到半小时。 但排查花了六个小时。真正解决问题的信息,一直躺在我最后一个才去看的日志里。我第一小时就看 nginx,第二小时看容器,第三小时看代码,第四小时开始怀疑 CDN 的缓存配置,第五小时甚至去 ping 了一遍机房。系统日志,是第六小时才想起来的。 这事之后我改了个习惯:出问题先看三个地方——系统日志、磁盘、内存。这三个地方便宜、直接、不需要猜。 写下来是提醒自己,绝大多数故障都不高级,它们只是藏在我们不愿意先看的那一页。
上一篇宿舍断电那晚,我忘了给自己的服务器留一条退路。 晚上下一篇凌晨四点,我从宿舍出来买咖啡。 这个点开着的只有楼下
手机打开体验更佳