「1024 TiDB AIGC 黑客松」一次运维误操作后的 TiDB / TiKV 数据抢救实录

【作品名称】《SST归途》——一次运维误操作后的 TiDB / TiKV 数据抢救实录
【选择的创作方向】使用场景呈现
【作品形式】漫画
【作品介绍/描述】一次运维误操作,让原本正常运行的 TiDB 集群陷入不可用状态。业务中断,客户最关心的只有一个问题:“数据,还能回来吗?”

本作品以真实数据抢救经历为原型,采用“总图 + 分页漫画”的形式,讲述从保全现场、排查组件,到尝试恢复 PD、抢救集群,再到转向 TiKV 底层 SST 文件、解析 MVCC 版本、结合 Schema 还原业务数据,最终经过核验让业务重新运转的过程。

故事既呈现救援中的紧迫、受阻与转机,也把组件分工、多副本、SST、MVCC 和 KV 解码等技术知识融入剧情。希望读者看完后,不仅记住“数据被救回来了”,还能理解恢复为什么困难,以及备份验证、恢复演练和操作复核为什么值得认真对待。
【作品链接/文件】随帖上传漫画总图及 8 张分页图片

使用 AI 辅助完成故事编排、分镜设计、对白组织和漫画图像生成,并围绕标题、叙事顺序、技术表达与分页形式进行多轮调整。作品采用统一的深蓝科技漫画风格,以故障时的冷色与告警、恢复后的晨光形成视觉呼应。

总图用于快速了解完整故事

8 张分页用于按顺序阅读技术细节:








故事从一句话开始

“系统打不开了,数据还在吗?”

对工程师来说,屏幕上是异常日志、组件状态和底层文件;对客户来说,眼前只有一件事:业务停了,什么时候才能继续?

我想把这次经历画成漫画,不是为了展示几条“神奇命令”,也不是把误操作当成追责的戏剧冲突,而是记录一次困难情况下的技术判断:先保护现场,弄清损坏范围;常规恢复受阻后,继续寻找保留下来的数据线索。

从“救集群”,到“救数据”

故事的前半段,大家希望把原集群重新连起来。检查 PD、梳理 TiKV 与 Region 状态,每一次尝试都带来一点希望,也暴露出新的障碍。

真正的转折,发生在看到那些 SST 文件时。

原集群暂时无法恢复,目标随之改变:不再只盯着“让服务启动”,而是深入磁盘文件,尝试把底层记录重新解释成业务能够使用的数据。

但读到字节还不够。哪些版本应该保留?这些 KV 属于哪张表、哪一行?怎样对齐字段结构?导出之后,又如何验证结果?这些问题,构成了漫画后半段真正的技术挑战。

最终的高潮,也不只是屏幕上的一个成功提示,而是客户重新打开系统,确认数据与业务结果,让停下来的工作能够继续。

希望读者带走的,不只是一个结局

这部漫画有两条线:一条是救援故事,让人跟着现场的变化走下去;另一条是技术认知,让读者理解从 SQL 到底层文件之间,那些平时不容易被看见的联系。

作品更想留下这样的提醒:不要把一次抢救成功,当成平时可以省略备份、验证和演练的理由。救援经验的价值,不只在于这次解决了问题,还在于能否帮助下一次更早发现风险、更稳妥地处理事故。

留给社区的一句话

把一次救援留下来,让下一位同行少走一段弯路。

操作要复核,备份要验证,恢复要演练。

创作说明:作品根据真实恢复经历改编,人物、对白及部分场景为艺术化表达。技术示意经过简化,不作为生产环境操作指南。SST 底层抢救属于非常规恢复路径,不意味着文件存在就一定能够完整恢复;恢复范围与结果应以实际核验为准。

非常认同!灾备很重要!
恭喜老师您的作品审核通过,可进入下一阶段社区投票~ 期待创作更多有意义的作品!

感谢您参与 1024 AIGC 黑客松并分享这么精彩的作品!温馨提醒:在您的图文/视频作品中,如果使用了外部素材(如特定字体、网图、视频片段或背景音乐),请注意确认其商用/开源授权。建议优先使用开源免费可商用素材(如思源黑体、阿里普惠体、Unsplash 等),或保留素材来源说明。尊重版权,让我们的创意走得更远,祝您取得好成绩!