TiDB 集群

🪐 TiDB 技术问题
1

随着 TiDB 集群在业务中规模化落地，传统手工执行 Dumpling 导出的方式逐渐暴露出诸多问题：

  1. 使用门槛高：运维人员登录服务器执行命令，业务方自助导出困难，操作不规范；
  2. 无租户隔离：多业务线共用导出能力，资源互相抢占，数据权限无法管控；
  3. 对接成本高：第三方系统、数据平台需要数据文件，缺少标准化 API，集成繁琐；
  4. 存储分散：导出文件散落本地磁盘，难以统一归档，无法对接主流对象存储；
  5. 运维缺失：缺少任务监控、失败重试、操作审计、用量统计，故障排查困难。

基于以上痛点，我们决定基于 Dumpling 内核，搭建一套企业级、服务化、多租户的数据导出平台。

1 个赞
2

深有同感！我们之前也是一直手工跑 Dumpling 导出，不仅操作麻烦，多业务共用还会互相抢资源

1 个赞
3

导入性能跟目标表的结构也有关，如果表上有二级索引，导入时会同时维护索引，建议导入前先删掉索引，导入完再加回来，会快很多。

1 个赞
4

:clap: 点赞~

1 个赞
5

确实手工导出问题不少，操作门槛高还不好管控。

6

哪里可以用

7

点赞支持~

8

TiDB Lightning 的导入原理是直接生成 SST 文件写入 TiKV，绕过了事务提交流程，所以比 INSERT 方式快得多。但它对目标表的约束（外键、唯一索引）处理方式不同，导入前要做好数据校验。

9

是单独一个产品还是集成到tidb中？

10

实际上使用习惯了也一样,功能多了之后意味着故障点就多了

11

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。