【工程共建问题,不对应具体事故】 这条不问“有没有备份”,只问最近一次完整恢复。数据库任务每天绿色,不代表换一台机器就能把服务拉起来:对象存储里还有附件,密钥在另一套系统,恢复后的库也可能连得上却跑不通关键业务。 如果安排一次不碰生产的演练…
跨分类查找相同技术或经历下的讨论。
一个报表转换服务,Pod 的 RSS 会从 300MB 慢慢涨到 1.2GB。先入为主觉得是泄漏,但几次 heap profile 都没有看到持续增长的对象。 后来把注意力放回任务本身:最多四十个并发,每个都要解压一份不小的文件。任务结束后…
两周里半夜被叫醒四次,真正需要立刻处理的只有一次。其余是磁盘趋势和一个会自动恢复的任务,早上看也来得及。 我和同事商量后,把这两种从电话降成群消息。按下去的时候还是心虚,怕哪天真漏掉前兆。纸面上有值班补休,实际第二天的会通常照开,这件事也还…
上个月交接一套现场系统,我写了三十页文档,目录、截图、流程都有。接手同事第一天还是来问:发布开关到底从哪个入口进。 我一开始有点烦,后来让他从一台空电脑完整走一遍,才发现文档写了“打开发布页面”,没写页面地址;写了“使用证书”,没写权限找谁…
给订单表补了一个联合索引,测试库查询从一秒多降到几十毫秒。线上灰度时接口确实快了,但磁盘 IO 突然顶满,复制延迟也起来了,只能先停。 现在能确定的不是“索引有问题”,而是建索引的窗口刚好撞上备份和一批对账任务。测试库数据量接近,写入节奏却…
父亲临时住院,我请了三天假。第二天下午同事打电话,不是催我回去,是问一个补丁怎么发到客户现场。那套流程有文档,但证书位置、回滚顺序和一个必须手工确认的开关只有我知道。 我在医院走廊里把版本发完了。事情解决后,我没有成就感,只觉得这套系统很危…
不是问接口文档,是“当时为什么非要这么写”这种东西。 我们现在有四个地方:Confluence、仓库里的 ADR、群公告、工单评论。结果就是知道有记录,但不知道去哪找。每件事都写 ADR 也试过,很快变成没人看的作文。 目前我只想先解决一件…
那晚不是严重故障,是日志盘报警。处理完已经三点多,早上九点产品又来问能不能顺手补一个统计字段。我以前大概率会说行,然后靠咖啡撑一天。 这次我说下午不接新需求,先补觉,变更顺延。发出去以后我盯着聊天框看了很久,觉得自己不职业。结果也没人批评,…