ticdc每日5点左右出现Changefeed checkpoint lag延迟,该如何优化?

【TiDB 使用环境】生产环境
【TiDB 版本】v7.5.6
ticdc每日5点左右出现Changefeed checkpoint lag延迟, 如下图所示:

看都慢在tidb_table_id=3267这个表上,这个表有158个字段,字段多应该ticdc同步也慢吧?

请问针对这种单个表导致ticdc同步延迟的场景,有什么优化方案吗?

看下整个表提交的事务大概需要多久

还有其他的表,一起看看,事务较大的时候,lag 会变慢

如何查看表提交的事务的时间呢?慢SQL日志吗?

学习了

参考指标就可以

tps和qps的变化情况怎么样呢,有集中热点业务吗

看下慢日志,找一下慢sql

节点越多,单表并行度越高.加机器?

158 列的表,内存不够会频繁 spill,严重拖慢速度TiDB 社区

只更新变化的字段,避免同步过程中大量关联慢 SQL 拖慢单次写入事务。优化索引,加kafka等

CPU、网络资源足够吗?

固定时间,可以看看当时是不是在备份有什么定时任务执行,看看IO延迟情况等等

一般来说这个时候有大量数据被dml语句增删改了

这个时间点是不是有什么批量任务

看下tidb的ops监控,那个时间点有多少update insert delete执行,我估计你们有定期delete脚本

那个时间点有定期大量写入,但是ticdc层面有什么优化方式来减少Changefeed checkpoint lag延迟呢?

是不是机器的问题?

并不是,cdc节点多扩了3个也是有Changefeed checkpoint lag延迟

下游还有余力的情况下,加下batch 同步数据到 MySQL 兼容数据库

发下对应时间,cdc lag 监控


https://docs.pingcap.com/zh/tidb/stable/monitor-ticdc/
先发下这里的看看。