tikv 频繁报 async write too slow

Raymond · 2026 年5 月 7 日 01:20

tikv的日子几乎每分钟都在报这个日志
async write too slow, write_kv: 0s, write_raft: 0.001082086s, send: 0.00001171s, callback: 0.0000029s thread: store-writer-0"] [takes=1] [thread_id=235]
但是看了下，好像没有write stall的现象，怀疑是写rocksdb 慢

xfworld · 2026 年5 月 7 日 01:33

看下 grafana 关于磁盘 IO 的指标

TiDBer_sheldon · 2026 年5 月 7 日 01:55

IO有没有限流了

TiDBer_sheldon · 2026 年5 月 7 日 01:57

如果不是stall只能认为是IO慢

Augenstern · 2026 年5 月 7 日 02:03

优先查 TiKV-Details → Storage → Async Write Duration 与 Raft → Append Log Duration 监控

wbslxw · 2026 年5 月 7 日 02:56

检查下，是不是磁盘压力大

hush · 2026 年5 月 7 日 07:16

建议排查磁盘I/O瓶颈：IOPS/吞吐打满、await高、%util高

Royce1220 · 2026 年5 月 7 日 14:47

可能是刷盘延迟了，还是要看操作系统的io指标

TiDBer_AHjy0eKV · 2026 年5 月 7 日 23:12

maybe disk error

独善其身 · 2026 年5 月 8 日 01:26

IO性能指标有异常吗

菩提老祖 · 2026 年5 月 8 日 16:49

典型的排队等待耗时，不是执行耗时。
可能是磁盘瓶颈，内存瓶颈，cpu瓶颈，

随缘天空 · 2026 年5 月 9 日 03:40

优先检查磁盘 I/O ：这是最可能的瓶颈点。
查看 CPU 使用率：确认是否是计算资源不足。
分析 Region 分布：是否存在热点。

TiDBer_AHjy0eKV · 2026 年5 月 10 日 23:37

看下硬盘是否io慢

TiDBer_aaaaa · 2026 年5 月 12 日 02:40

日志是 TiDB 最典型的底层 RocksDB 写入延迟高，和业务报错、write stall 无关，100% 是 RocksDB 压不住、磁盘 / IO 瓶颈。

Royce1220 · 2026 年5 月 12 日 15:02

这方面有没有什么办法优化呢

TiDBer_00001 · 2026 年5 月 12 日 16:30

该告警多为RocksDB 后台压实 / 刷盘阻塞，无写 stall 多是 IO 吞吐、后台压缩线程争抢导致，优先排查磁盘 IO 与 RocksDB 参数。

TiDBer_AHjy0eKV · 2026 年5 月 12 日 23:21

存储引擎层的写入性能瓶颈。这个告警意味着 TiKV 将数据异步写入底层 RocksDB 的耗时超过了预期，通常会直接导致业务写入延迟（Write Latency）升高。