ticdc同步到kafka,consumer过滤一些特定ddl、dml,然后消费写入到镜像库里

【TiDB 使用环境】生产环境 /测试/ Poc
【TiDB 版本】
【操作系统】
【部署方式】云上部署(什么云)/机器部署(什么机器配置、什么硬盘)
【集群数据量】
【集群节点数】
【问题复现路径】
【遇到的问题:问题现象及影响】我有一个需求是ticdc同步到kafka canal-json格式,consumer过滤一些特定ddl、dml,然后消费写入到镜像库里,对于源端增减字段不想改消费者代码去适配,我能想到的一个方案是消费逻辑里做tidb各种数据类型的转换,然后动态拼接sql,但是感觉处理起来比较麻烦容易遗漏细节,想请教下有没有更好的解决方案 :smiley:
【资源配置】
【其他附件:截图/日志/监控】

1 个赞

Schema Registry 同步表结构?

1 个赞

之前,我们是这样做的。。消费端研发同学是写代码去适配过滤。

1 个赞

cdc直接就可以过滤的,具体看文档:https://docs.pingcap.com/zh/tidb/v7.5/ticdc-filter/#event-filter-事件过滤器-span-classversion-mark从-v620-版本开始引入span

1 个赞

能向目标端做自动的添加字段ddl操作吗