排查思路很清晰了,就是 TiKV 之间的 gRPC 连接池没就绪,reload 之后能恢复说明是连接卡死在池子里,不是算法本身坏了。
可以先看 TiKV-Details 的 Raft IO 面板里 tikv_raft_client_grpc_conn_pool_conn_num,故障时段贴着上限就是连接池不够。然后调 grpc-concurrency 和 raft-client 的连接数,这里有版本差异:8.5.4 起默认值是 grpc-raft-conn-num * 3 + 2,8.5.3 及之前默认只有 5,你是 8.5.1 默认很小,可以手动调到 8~16 试试。
JuiceFS 元数据这种小事务高 QPS 的场景,删文件量大的时候连接压力会集中爆发,建议把 keepalive timeout 和重连日志也盯一下。