不安装ticdc组件可以进行实时同步吗

问ai说可以通过tidb内置cdc来实时同步数据到doris之类的数据库,问下过来人的可行性

1 个赞

实时同步是指数据同步进来,还是作为数据源数据同步出去?

1 个赞

作为数据源同步到doris

1 个赞

我们都是单独部署CDC来将数据同步出去,不了解内置CDC

1 个赞

好的感谢,麻烦问您一下,您的同步方式是将数据推到kafka,再通过flink消费吗?还是其他

1 个赞

同步到kafka,下游有各种方式消费

1 个赞

了解了,非常感谢

1 个赞

为啥不用呢, ticdc几乎不需要写代码,运维成本相对较低,且稳定性经过了大量生产环境验证

1 个赞

cdb是什么

1 个赞

有文档介绍吗

1 个赞

通过 tidb-binlog功能

1 个赞

:joy:AI说的应该就是TiCDC吧。尽信AI,不如无AI。

1 个赞

没搞懂之前没搞懂ticdc组件和内置cdc,看他说的好像通过内置cdc+flinkcdc连接器也能实现?

1 个赞

AI说的不会是这个吧。

1 个赞

从工作量和成本上来说,都不如直接部署TiCDC方便。如果是想做二开,可以根据TiCDC的文档进行开发。
https://docs.pingcap.com/zh/tidb/stable/ticdc-open-api-v2/#ticdc-openapi-v2

2 个赞

ETL工具应该也可以考虑一下吧

1 个赞

不安装 TiCDC 组件,无法通过 TiDB “内置 CDC” 实现向 Doris 的实时同步

1 个赞

确实,自己研究不一定搞得定

mysql binlog

TiDB Binlog 的原生同步