TiKV 磁盘占满,集群所有写入操作阻塞故障

线上 TiDB 集群运行一段时间后,新增、修改、删除语句全部卡住无法执行,查询读取操作可以正常运行,监控显示 TiKV 节点磁盘使用率达到 100%。已确认无硬件故障,近期无大批量数据导入操作。

从Dashboard入手最快,Top SQL和慢查询面板直接显示问题。

先排查是否是tidb占用的。
gc停滞导致版本不能清理,空间激增。

磁盘使用率100%,已经无法再刷盘了,到tikv的日志目录和数据目录下看看存储情况,是否日志文件占用太多还是什么原因

长事务 / 慢读挡住 GC 删不掉历史版本、删除只打标记不立刻清空间

检查下tikv,TiKV 磁盘满后 Raft 日志、SST 文件无法落地

最终方案还是要扩容tikv磁盘,降低磁盘使用率的解决问题

kv磁盘空间没了。
要么加空间 要么加kv实例。

多为GC 停滞、长事务 / 慢查询导致历史数据版本无法清理,Raft 日志、SST 文件堆积

这个是空间使用率到了100%?还是IO繁忙度到了100%?

通过 Dashboard 查看 Top SQL、慢查询,定位长事务与慢读语句并优化;
检查 TiKV 数据、日志目录,清理无用文件,排查并恢复正常 GC;
如果是磁盘空间不足,临时释放空间后,扩容 TiKV 磁盘或新增 TiKV 节点,从根本上解决磁盘容量不足问题。

如果是空间使用率到了100%,可以看看是哪个文件占用的,大概率是日志类的文件。因为tikv有默认参数限制low-space-ratio,高于80%,pd就不往这个节点分配region了。

TiKV 磁盘占满导致 DML 阻塞、读正常,多为 Raft 日志堆积、MVCC 版本过多或 Compaction 卡死,先清空间止血,再排查副本、GC、压缩任务

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。