tidb-lightning 导入大量数据时 tidb-cdc长时间卡顿

【 TiDB 使用环境`】测试环境
【 TiDB 版本】 V5.4.0
【遇到的问题】
tidb-lightning 导入大量数据时(比如导入一张表,数据1000W), tidb-cdc长时间卡顿

【问题现象及影响】
如果导入一张表数据,数据量比较大,ticdc就会出现卡顿,每次卡顿时间10-60分钟不等,甚至更长时间, 之后能够自动恢复。查看ticdc的日志,也没有什么报错信息,感觉在重新初始化,日志截图如下:


搜下有没有 FATAL 级别日志或者过滤下 INFO 的看下?
https://docs.pingcap.com/zh/tidb/stable/troubleshoot-ticdc#如何判断-ticdc-同步任务出现中断
不太清楚资源情况,因为说卡顿后会自动恢复,有没有可能是测试环境资源不多大量导入导致的?

您好:

  1. changefeed的 checkpoint不动,所以 checkpoint lag 一直在增大, 而状态一直显示正常。
  2. 在日志中未查到FATAL级别的日志
  3. 整个卡顿过程中,未见明显的资源问题

那感觉有点符合第一种,也有可能就是中断了


https://docs.pingcap.com/zh/tidb/stable/troubleshoot-ticdc#如何判断-ticdc-同步任务出现中断
就还是刚才哪个文档,下面有中断处理办法,看看有没有能处理的?

关键他卡顿时,状态正常,且不做任何干预能够自动恢复,这个让人有点难以理解。 如果是数据导入过程中因为资源问题,数据导入一般也就几分钟时间,但cdc在这之后需要比想象更长的时间来恢复,查看日志有多次重启记录。

不知道为啥没收到回复提示,不好意思。
状态正常指的是cdc节点正常还是任务正常?这两个应该有一个不正常(猜测)。
可以看看重启时的前后日志,有没有什么异常问题,重启应该是有相关日志信息的。
类似这个帖子(看下重启的前后日志):

他这个帖子看上去和你有点类似,不过他应该是代码自己改坏了,看评论说5.2.x有类似bug,也可以考虑升下版本试下

突然发现日志好像 cdc 版本是 5.3.0?TiDB 是 5.4?
参考一下这个?
https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#使用-ticdc-v500-rc-版本的-cdc-cli-工具操作-v40x-集群导致不兼容问题
感觉可能你只是单纯的写错了版本吧?

这个是我写错了,版本是V5.3.0

请问参考楼上的方案,问题是否已经解决了?