为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【概述】 你好,我们现在准备部署tidb,我们现在希望把原始数据备份到cfs里边,做永久储存,请问应该是使用tidb生态里的哪个工具
【TiDB 版本】
5
为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【概述】 你好,我们现在准备部署tidb,我们现在希望把原始数据备份到cfs里边,做永久储存,请问应该是使用tidb生态里的哪个工具
【TiDB 版本】
5
从 TiCDC 写入到 Kafka ,然后落盘到 CFS
多谢多谢
cdc支持指定时间范围的备份吗,我们现在业务是这样的,每天导入数据,总共大概是2周的,分析完成后希望把原始数据放进cfs,把分析过后的数据留下。cdc支持这样做吗
这块主要是增量数据,全量还需要自己做一下数据的 ETL ,目前没有工具可以 TiDB 到 CFS 全量数据,可以找一下开源工具,比如 DataX 这类 ETL 工具。
我又看了一遍自己说的,我自己都看的有点没明白,我再描述一遍吧。我们现在是每天导入数据,导入的数据保留大概两周,我们分析过后,这些原始数据就放到cfs里,不在tidb里存放了。比如1-14日的数据,我们在10日的时候,会分析1-7日的数据,完成后,1-7日的原始数据就放进cfs里,不在tidb里保留了。这样的每7天一轮。这种需求用cdc可以完成吗
完成不了,需要自己做一层数据分析的逻辑
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。