问ai说可以通过tidb内置cdc来实时同步数据到doris之类的数据库,问下过来人的可行性
1 个赞
实时同步是指数据同步进来,还是作为数据源数据同步出去?
1 个赞
作为数据源同步到doris
1 个赞
我们都是单独部署CDC来将数据同步出去,不了解内置CDC
1 个赞
好的感谢,麻烦问您一下,您的同步方式是将数据推到kafka,再通过flink消费吗?还是其他
1 个赞
同步到kafka,下游有各种方式消费
1 个赞
了解了,非常感谢
1 个赞
为啥不用呢, ticdc几乎不需要写代码,运维成本相对较低,且稳定性经过了大量生产环境验证
1 个赞
cdb是什么
1 个赞
有文档介绍吗
1 个赞
通过 tidb-binlog功能
1 个赞
AI说的应该就是TiCDC吧。尽信AI,不如无AI。
1 个赞
没搞懂之前没搞懂ticdc组件和内置cdc,看他说的好像通过内置cdc+flinkcdc连接器也能实现?
1 个赞
从工作量和成本上来说,都不如直接部署TiCDC方便。如果是想做二开,可以根据TiCDC的文档进行开发。
https://docs.pingcap.com/zh/tidb/stable/ticdc-open-api-v2/#ticdc-openapi-v2
2 个赞
ETL工具应该也可以考虑一下吧
1 个赞
不安装 TiCDC 组件,无法通过 TiDB “内置 CDC” 实现向 Doris 的实时同步
1 个赞
确实,自己研究不一定搞得定
mysql binlog
TiDB Binlog 的原生同步
