tikv节点leader数量为0

🪐 TiDB 技术问题
1

【TiDB 使用环境】生产环境
【TiDB 版本】8.5.5
【部署方式】自建虚拟化主机
【操作系统/CPU 架构/芯片详情】 CPU32C 内存128G 磁盘1.5T
【机器部署详情】CPU大小/内存大小/磁盘大小
【集群数据量】
【集群节点数】4个tikv节点
【问题复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
tikv节点从3个库容到4个后，新增的节点leader 数量为零，全部被驱逐走了。

{“used_size”:“568.9GiB”,“leader_count”:0,“leader_score”:0,“region_count”:21965,“slow_trend”:{“cause_value”:251324.54882154881,“cause_rate”:0,“result_value”:0,“result_rate”:0}}
{“used_size”:“638.6GiB”,“leader_count”:10041,“leader_score”:10041,“region_count”:22506,“slow_trend”:{“cause_value”:251347.3409893993,“cause_rate”:0,“result_value”:16874,“result_rate”:-164736.69669056256}}
{“used_size”:“639.2GiB”,“leader_count”:10033,“leader_score”:10033,“region_count”:22593,“slow_trend”:{“cause_value”:251487.9930313589,“cause_rate”:0,“result_value”:14948.5,“result_rate”:-152674.61262029724}}
{“used_size”:“647.1GiB”,“leader_count”:10040,“leader_score”:10040,“region_count”:23285,“slow_trend”:{“cause_value”:251207.01630434784,“cause_rate”:0,“result_value”:23326,“result_rate”:-177647.8415998655}}

调度被balance-leader-scheduler禁用了
scheduler describe balance-leader-scheduler
{
“name”: “balance-leader-scheduler”,
“status”: “pending”,
“summary”: "3 store(s) StoreScoreDisallowed; 1 store(s) StoreRejectLeader; ",
“timestamp”: 1789631900
}

新节点如被标记为StoreRejectLeader，如何破解？

3

已解决。
[root@lst-tidb-ops ~]# tiup ctl:v8.5.5 pd --pd http://11111:2379 scheduler show
Starting component ctl: /root/.tiup/components/ctl/v8.5.5/ctl pd --pd http://11111:2379 scheduler show
[
“balance-hot-region-scheduler”,
“balance-leader-scheduler”,
“balance-region-scheduler”,
“evict-slow-store-scheduler”,
“evict-stopping-store-scheduler”
]

[root@lst-tidb-ops ~]# tiup ctl:v8.5.5 pd --pd http://11111:2379 scheduler config evict-slow-store-scheduler
Starting component ctl: /root/.tiup/components/ctl/v8.5.5/ctl pd --pd http://11111:2379 scheduler config evict-slow-store-scheduler
{
“disabled”: false,
“recovery-duration”: 1800,
“evict-stores”: [
724077
],
“enable-network-slow-store”: false,
“paused-network-slow-stores”: ,
“evicted-network-slow-stores”: ,
“batch”: 3
}

[root@lst-tidb-ops ~]# tiup ctl:v8.5.5 pd --pd http://11111:2379 scheduler remove evict-slow-store-scheduler
Starting component ctl: /root/.tiup/components/ctl/v8.5.5/ctl pd --pd http://11111:2379 scheduler remove evict-slow-store-scheduler
Success!

[root@lst-tidb-ops ~]# tiup ctl:v8.5.5 pd --pd http://11111:2379 scheduler show
Starting component ctl: /root/.tiup/components/ctl/v8.5.5/ctl pd --pd http://11111:2379 scheduler show
[
“evict-stopping-store-scheduler”,
“balance-hot-region-scheduler”,
“balance-leader-scheduler”,
“balance-region-scheduler”
]

4

新扩容的TiKV节点leader为0，一般是PD的调度策略或节点状态问题，按下面几项排查：

  1. 先看节点状态：
pd-ctl store

确认新节点状态是Up还是Offline，如果是Offline说明之前被下线过，需要重新上线。

5

leader 被拒但 region 照常迁入，说明不是 “没数据”，而是 PD 判定新节点 “不适合当 leader”—— 先 df -h 确认虚拟化磁盘有没有给足（最可能），再看 CPU；找到原因后再处理，不要直接绕过调度器 “破解”，否则节点带着异常状态上线容易出问题。

6

新节点实际数据盘小于预期
或
新版本 PD 对节点健康 / 负载的打分判定

7

盘满pd才拒leader，df看容量或调权重

8

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。