Fanchen
(Ti D Ber Uoi Hnf Zw)
1
在 c 生产运维、数据流转、离线备份、跨系统数据同步场景中,数据导出是高频刚需。官方工具 Dumpling 性能强劲、一致性表现优异,但原生仅支持命令行调用,缺少租户隔离、权限管控、任务调度、远端存储对接等企业级能力。
结合业务实际需求,我们基于 Dumpling 内核 二次封装,搭建了一套多租户 TiDB 数据导出平台。平台以 Redis 实现异步任务队列,原生对接全品类 S3 兼容对象存储,对外提供标准化 RESTful API,搭配双重身份认证、资源配额、审计监控与 React 可视化管理后台,完美适配多团队、多集群、大规模企业级使用场景。
1 个赞
wbslxw
(Ti D Ber Cl S0j Eng)
2
说得特别实在!数据导出在运维、备份、数据同步这些场景里用得特别多,Dumpling 本身性能和数据一致性都没得说,但纯命令行模式确实缺了企业级必备的能力。
1 个赞
完美解决了多团队、多集群环境下的大规模数据导出难题
1 个赞
认同!Dumpling 导出能力很强,但原生功能满足不了企业复杂场景。
性能瓶颈要从 TiDB 的架构分层来分析:TiDB Server 是计算层,TiKV 是存储层,PD 负责调度。建议先确认瓶颈在哪一层——TiKV 慢可能是 RocksDB 的 compaction 压力大,TiDB 慢可能是优化器选错执行计划。用 keyvisual 可以直观看到 Region 的热点分布。
性能瓶颈要从 TiDB 的架构分层来分析:TiDB Server 是计算层,TiKV 是存储层,PD 负责调度。建议先确认瓶颈在哪一层——TiKV 慢可能是 RocksDB 的 compaction 压力大,TiDB 慢可能是优化器选错执行计划。用 keyvisual 可以直观看到 Region 的热点分布。
system
(system)
关闭
11
此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。