JuiceFS使用的txnKV,数据备份问题

既然 JuiceFS 的元数据完全存储在 TiKV 中,而 TiKV 底层基于 RocksDB,利用底层存储或云厂商的块存储快照 功能是最高效的“增量”替代方案。

2 个赞

快照是全量方案吧,增量不知道有啥好办法没

2 个赞

没使用过

JuiceFS+TiKV 元数据用的是 txnKV(事务 KV)tikv-cdc、TiDB-CDC 均不支持 txnKV,只能消费 rawKV / 表数据。

1 个赞

推荐br备份

txnKV 无官方增量备份,仅 tiup br txn 全量(实验特性),生产只能定期全量,暂无稳妥增量方案。

1 个赞

目前 TiDB/TiKV 官方 CDC(TiCDC /tikv-cdc)确实不支持 txnKV(事务化 KV)的增量订阅,而 JuiceFS 用 TiKV 做元数据时走的正是 txnKV,所以不能直接用 CDC 做增量备份。

1 个赞

官方推荐使用 ‌BR(Backup & Restore)工具 ‌ 进行物理快照备份,支持全量/增量、断点续备、限速控制,备份数据直接写入对象存储(如 S3、GCS、Ceph)

1 个赞

定期 BR 全量 + 快照增量;
直接 TiKV 物理备份 Raw 数据;
启用 JuiceFS 自身快照;
等待 txn-CDC 正式发布。

1 个赞

个人建议直接使用 tidb 集群,有完善的自动备份方案,txnkv 社区用法比较少,遇到问题可能比较难定位。

常规运维选 BR;底层容灾用 Raw 备份;存卷部署可用快照;实时增量同步等 CDC 落地。