TiDB Lightning 物理导入报 region-concurrency 超限

【 TiDB 使用环境】Poc
【 TiDB 版本】v6.6.0
【复现路径】

  1. 待导入单表数据量2亿行,CSV源文件大小120G
  2. 采用Lightning物理导入模式执行数据导入
  3. 未调整region并发相关参数,直接执行导入任务
    【遇到的问题:问题现象及影响】
    导入过程中抛出 too many pending regions 错误,导入任务中断,数据导入不完整,压测工作无法继续开展。
    【资源配置】
    TiKV节点×6,单节点配置 16C64G

导入数据量大,默认region-concurrency等 Region 相关并发参数过小,导致待处理 Region 数量超限。

报错核心是瞬时批量生成 Region → 副本同步 pending peer 打满 PD/TiKV 限流阈值。 四层解决方案:

  1. PD 放宽 pending 副本、调度并发限流;
  2. 表打散行 ID + 预拆分 Region,消除导入实时分裂风暴;
  3. Lightning 降低导入并发,平缓 SST 生成速度;
  4. TiKV 调小 SST 粒度,减轻快照同步压力。 按以上方案改造后,2 亿行 120G CSV Lightning 导入不会再触发该中断报错。
1 个赞

重建带分片参数的空表;
执行 PD 阈值放宽命令;
用调低region-concurrency的配置启动 Lightning 导入;
导入完成后恢复 PD 默认限流参数。

跨版本问题源于优化器规则和存储引擎层变更。

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。