v5.4.0集群主从同步问题,求教!

【问题】v5.4.0集群主从同步到v7.1.3集群,ticdc使用v5.3.0,由于有个表数据量非常大,出现了同步不推进问题,现在想使用v6.5.0的ticdc来做主从同步,不知道有没有坑。

有没有大佬有相关的经验传授下!

ticdc 版本要和集群版本保持一致

:innocent:
可以试试,有问题再说

维度 评估
能否解决大表同步不推进 大概率能解决,大事务拆分为核心改进
版本兼容性风险 中等风险,跨大版本需谨慎测试
推荐升级版本 建议直接上 v6.5.10+,不要用 v6.5.0 初始版
升级复杂度 中等,需要重建 changefeed、重新测试
业务影响 需评估事务原子性丢失的影响

建议先确认v5.4.0到v7.1.3的CDC兼容性。v5.3.0的CDC本身就不匹配,换v6.5.0理论上可行,但注意:

  1. 检查TiCDC版本与上下游集群的兼容矩阵,v6.5.0支持v5.4.0作为上游。
  2. 大表同步慢可以试试调整worker-countchangefeedbatch-size参数,比如--sink-uri里加worker-count=32
  3. 如果数据量极大,建议先做全量导出导入,再用CDC增量同步,避免卡死。

建议保持版本一致

不建议只替换 TiCDC 版本直接尝试。先确认上游 TiDB 5.4 与目标端 7.1.3 的兼容矩阵,排查大表卡在 scan、sorter 还是 sink;升级前建议测试环境完整验证。

换个版本试试呢

??? TiCDC 6.5 ??? 5.4 ??? TiCDC ??? TiDB ??? 5.4 ? 7.1.3??? MySQL ?? sink??? TiCDC ???

??? cdc cli changefeed query?processor ???checkpoint-ts?resolved-ts?sorter ??? GC safepoint??? checkpoint ???

??? 6.5??? DDL???/??? GC??? changefeed?

上游 v5.4 TiDB、下游 v7.1 TiDB,使用 v6.5 TiCDC 是官方兼容区间,但跨两个大版本 + 超大表场景有风险。

建议在测试环境先做一下测试,可以在生产时规避一些问题

我们生产环境冲V3迁移到V7时,是一点点往上升的,没有直接跳到最终版本

生产环境还是按照官方建议来,跨大版本不建议。

嗯,这些都尝试过,可能这个版本的cdc本身就有缺陷,所以才想着试下其他版本

感谢各位大佬解答!

cdc 使用最好在 tidb 6.5 最新版本以上。
低于这些版本问题比较多。

你 5 的版本可以考虑用 binlog 过度来迁移升级。

v6.5.0 的 TiCDC 在稳定性和大表同步性能上优于 v5.3.0,完全可以用来解决当前的同步卡顿问题

OOM