tidb 读取延迟高

[leoones]

【概述】 场景 + 问题概述
tidb 查询延迟非常高，业务侧写入较多，并发事务操作居多。

【TiDB 版本】
tidb v5.4.1

【附件】 相关日志及监控

[xfworld (魔幻之翼)]

在多提供点信息看看，

目前你怀疑的问题点在哪？

PD 的性能是否能达到你的预期？

[leoones]

Apply Wait 耗时高

[h5n1]

是一直这样还是突然变高了？看系统tidb server 的cpu利用率 和tikv磁盘IO情况，如果SQL执行计划都正常的情况下 ，应该需要扩容集群了

[Raymond]

是不是有很多慢语句，先从慢语句开始排查吧

[裤衩儿飞上天]

是用的ssd吗？

[zhouzeru]

随着数据量增大，单条写入所需的内存越来越大，修改下配置，底层复制协议的默认值给大一点

[leoones]

一直都这样的，tidb cpu利用率不高，16c32g的配置，

[leoones]

NVMe SSD盘

[裤衩儿飞上天]

重点看看这条绿线所在的tikv，跟其他节点比，个人感觉明显有问题

[leoones]

这个机器的io繁忙率比其他的都要高，CPU使用率也很高。

commit延迟非常高

[xfworld (魔幻之翼)]

热点问题吧…

通过dashboard 狠容易查阅到问题点的… 到底是那个库的什么表…

[leoones]

写入字节量

[xfworld (魔幻之翼)]

鼠标放上去，可以看细节…

找找，如果不是热点问题，则有可能是硬件有可能有故障…

[leoones]

cpu负载高的 tikv节点疯狂刷如下日志： commit_ts is too large, fallback to normal 2PC

其余2个tikv节点日志如下

[xfworld (魔幻之翼)]

恭喜找到问题了

[leoones]

怎么优化这个ommit_ts is too large 呢

[xfworld (魔幻之翼)]

commit_ts is too large, fallback to normal 2PC

【 TiDB 使用环境】生产 【 TiDB 版本】5,4,2 上游为tidb，ticdc同步 【遇到的问题】 频繁出现 [2022/07/29 18:40:19.936 +08:00] [WARN] [prewrite.rs:613] [“commit_ts is too large, fallback to normal 2PC”] [lock=“Lock { lock_type: P…

可以参考这个帖子，基本上就是配置不足…