TIKV leader region被驱逐

🪐 TiDB 技术问题
1

【TiDB 使用环境】生产环境
【TiDB 版本】V4.0.13
【部署方式】机器部署
【集群数据量】单副本5T
【问题复现路径】发起备份，在备份过程中出现TIKV region leader被驱逐
±---------±-------------------+
| STORE_ID | ADDRESS |
±---------±-------------------+
| 2804133 | 10.40.64.250:17106 |
| 4689880 | 10.40.65.4:17106 |
±---------±-------------------+

Clipboard_Screenshot_1788335191
Clipboard_Screenshot_17883351911300×646 66.1 KB

2

pd-主.txt (115.0 KB)
tikv-10.40.64.250.txt (144.6 KB)
TIKV-10.40.65.4日志.txt (107.9 KB)

3

Clipboard_Screenshot_1788335499
Clipboard_Screenshot_17883354992346×954 493 KB

Clipboard_Screenshot_1788335528
Clipboard_Screenshot_17883355282410×890 412 KB

4

用什么工具备份的

5

BR工具，限制了备份的线程。

6

从截图看，你的集群只有2个TiKV节点，但备份时出现leader驱逐，大概率是备份工具（如BR）触发了TiKV的限流或磁盘压力导致心跳超时。V4.0.13版本较老，建议先检查以下几点：

  1. 看TiKV日志，搜索leader transfer或liveness，确认是主动迁移还是因心跳超时被判定失联。
7

4.0的版本太老了 升级吧

8

备份本身会对 TiKV 产生较大压力（磁盘 IO、CPU），负载上来后 PD 调度会把 Leader 从过忙的节点上驱逐转移，监控里 “下降后回升” 就是这个驱逐→重新选举→恢复的过程，一般会自愈，但期间有抖动。升级下版本吧，这个版本太老

9

看状态是磁盘IO压力引起的

10

日志里没有找到liveness 相关的日志，但是keepalive watch dog应该可以判断为是网络的问题，出现这个报错之后，PD日志里吗就开始驱逐region ，导致耗时较大。BR备份期间 集群所在主机整体负载20以上 日常就是4-5左右。有什么办法可以规避这个情况吗？BR备份已经进行了限速

11

磁盘读写性能看看，官方建议用nvme磁盘