TiDB数据库

在 c 生产运维、数据流转、离线备份、跨系统数据同步场景中,数据导出是高频刚需。官方工具 Dumpling 性能强劲、一致性表现优异,但原生仅支持命令行调用,缺少租户隔离、权限管控、任务调度、远端存储对接等企业级能力。

结合业务实际需求,我们基于 Dumpling 内核 二次封装,搭建了一套多租户 TiDB 数据导出平台。平台以 Redis 实现异步任务队列,原生对接全品类 S3 兼容对象存储,对外提供标准化 RESTful API,搭配双重身份认证、资源配额、审计监控与 React 可视化管理后台,完美适配多团队、多集群、大规模企业级使用场景。

1 个赞

说得特别实在!数据导出在运维、备份、数据同步这些场景里用得特别多,Dumpling 本身性能和数据一致性都没得说,但纯命令行模式确实缺了企业级必备的能力。

1 个赞

完美解决了多团队、多集群环境下的大规模数据导出难题

1 个赞

感谢老师分享

1 个赞

认同!Dumpling 导出能力很强,但原生功能满足不了企业复杂场景。

业务场景对dump的需求不同

性能瓶颈要从 TiDB 的架构分层来分析:TiDB Server 是计算层,TiKV 是存储层,PD 负责调度。建议先确认瓶颈在哪一层——TiKV 慢可能是 RocksDB 的 compaction 压力大,TiDB 慢可能是优化器选错执行计划。用 keyvisual 可以直观看到 Region 的热点分布。

这个产品可以解决数据导出的很多疼点

期待这个产品

性能瓶颈要从 TiDB 的架构分层来分析:TiDB Server 是计算层,TiKV 是存储层,PD 负责调度。建议先确认瓶颈在哪一层——TiKV 慢可能是 RocksDB 的 compaction 压力大,TiDB 慢可能是优化器选错执行计划。用 keyvisual 可以直观看到 Region 的热点分布。

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。