结合TiDB Dumpling工具,实现应用业务系统的大数据量导出

一个基于 Dumpling 的多租户 TiDB 数据导出平台,支持将数据导出到 S3 兼容存储,并且提供对外API。

功能特性

  • 多租户架构 - 完整的租户隔离和配额管理
  • 灵活导出 - 支持 CSV、SQL 格式,支持 Gzip/Snappy/Zstd 压缩
  • S3 集成 - 直接上传到各种 S3 兼容存储(AWS S3、MinIO、阿里云 OSS 等)
  • 高性能 - 基于 Dumpling 的 TiDB 数据导出
  • 双重认证 - JWT + API Key/Secret 认证机制
  • 异步任务 - 基于 Redis 的任务队列,支持优先级和自动重试
  • 管理后台 - 现代化的 React 管理界面
  • 监控审计 - 内置统计报表和审计日志

Github地址

抛砖引玉,希望能帮助到有相同使用场景的人


1 个赞

目前只支持S3吗?OSS支持不?

1 个赞

点赞一个,生态又得到扩展了

感谢你的分享

支持,阿里云 oss是通的

感谢大佬分享

牛牛牛