定时巡检负责发现问题,探针负责在两次巡检之间兜底,故障分级决定谁在多少分钟内接手,维护窗口决定什么时候改代码。这套机制最长有 12 小时的盲区,我们没打算把它说成 24 小时不间断——但盲区有多长、由谁来补,下面写得清楚。
每天 03:00 与 15:00 各跑一次全站巡检,覆盖片库索引、播放链路、登录、支付共 47 项;另有探针每 5 分钟请求一次播放接口,连续 3 次超时自动升级为 P1 并呼叫值班工程师。
故障分 P0 到 P3 四级:P0 全站打不开,5 分钟响应、2 小时恢复;P1 播放或登录不可用,15 分钟响应、4 小时恢复;P2 单节点异常 1 小时响应;P3 体验问题 3 个工作日内排期。
每周二 02:00–04:00 是固定维护窗,用于发版与数据库变更;每月第一个周二为大版本窗口,最长不超过 4 小时。窗口外不发版,紧急修复走热更新,一般 20 分钟完成。
任何一次巡检异常、热更新和计划维护,都会同步到 App 内公告条与状态页,每 30 分钟更新一次进展,恢复前 10 分钟推送通知。状态页独立部署,主站挂了它照样能打开。
下面是近 12 个月的实际运行数据,不是目标值
下面三个人都在故障发生的第一分钟就受了影响,评价里保留了对我们不利的部分:补偿需要自己开口问、维护偶尔超出预告时间、晚高峰的线路优化反应偏慢。这些我们没有删掉,因为下一次可能还是这样。
去年 11 月 3 号晚上全站打不开,我在群里 @ 了一下,7 分钟后有人回,说在回滚数据库,23 分钟之后能播了。扣分项也有:那天补偿的 1 天会员是我自己去群里问才给的,不主动发。
周二凌晨维护正好撞上我熬夜追剧。屏幕上是带倒计时的维护页,进度条卡在"验证"那一步多停了 20 分钟,比预告晚了半小时。不过没有报错弹窗,知道自己在等什么,比黑屏好受多了。
P1 我遇到过一次,单集反复缓冲。提交后 12 分钟有人回,40 分钟给我换了节点。但它不改线路的时候是真不改——晚高峰 21 点到 23 点还是偶尔卡,这点别指望它变成零缓冲。
以下 5 个问题都来自真实的用户提问,主要是维护期间的边界情况和事后的补偿规则,逐条给了具体做法。