Tikv扩容好几天了,磁盘IO一直近100%

一个好的问题描述有利于社区小伙伴更快帮你定位到问题,高效解决你的问题

【TiDB 使用环境】生产环境
【TiDB 版本】7.5.1
【部署方式】机器部署
【操作系统/CPU 架构/芯片详情】
【机器部署详情】32CPU/64内存/磁盘3T
【集群数据量】
【集群节点数】3pd、4tidb、8tikv
【问题复现路径】通过scale-out命令扩容了2个tikv节点,上周四晚上开始的,这几天新增的tikv节点看监控IO一直繁忙的,重启也一样。




磁盘有问题吧,nvmeSSD磁盘50MB/s,IO就满了,这个不太应该啊

配置的什么类型的磁盘?

好奇怪的,不管写入高还是低都是100%


但是我测试文件写入速度好像又是正常范围
image


nvme的

是新部署的集群吗?近期突然IO涨起来,还是新部署IO就这么高?

已有tidb集群下,扩容了2个tikv节点,就这个两个新节点的IO特别高,其他的节点是正常的

早上业务来了,毛刺都没有了,,,


其他节点:

1 个赞

数据同步完成了没有

1 个赞

从上周四晚上就开始,后面几天感觉数据量都没变化了,按理是应该同步好了,但是我无法完全肯定

1 个赞

看你的IO监控是读多写少,应该不是数据均衡的问题。可以看看region的分布情况

1 个赞

2个tikv节点的内存水平如何,会不会是内存配的太小了。?

1 个赞

感觉实际io并不是太大,但是却占满了带宽啊


配置是一样的

多少数据在做平衡?

NVME 不会这么拉胯的,除非受了 Raid 阵列的影响,有可能…


因为磁盘大小不一样,所以有分上下两条线

水桶效应,磁盘大小最好一致

8个tikv节点,每个400、500G的样子。。

阵列的影响吗?我查查

磁盘不统一的问题,暂时不好处理,资源受限。小磁盘是普通的ssd TAT

tikv 用不同的大小的磁盘的话,需要分别指定不同磁盘的可用空间