【 TiDB 使用环境`】测试环境
【 TiDB 版本】 V5.4.0
【遇到的问题】
tidb-lightning 导入大量数据时(比如导入一张表,数据1000W), tidb-cdc长时间卡顿
【问题现象及影响】
如果导入一张表数据,数据量比较大,ticdc就会出现卡顿,每次卡顿时间10-60分钟不等,甚至更长时间, 之后能够自动恢复。查看ticdc的日志,也没有什么报错信息,感觉在重新初始化,日志截图如下:
【 TiDB 使用环境`】测试环境
【 TiDB 版本】 V5.4.0
【遇到的问题】
tidb-lightning 导入大量数据时(比如导入一张表,数据1000W), tidb-cdc长时间卡顿
【问题现象及影响】
如果导入一张表数据,数据量比较大,ticdc就会出现卡顿,每次卡顿时间10-60分钟不等,甚至更长时间, 之后能够自动恢复。查看ticdc的日志,也没有什么报错信息,感觉在重新初始化,日志截图如下:
您好:
那感觉有点符合第一种,也有可能就是中断了
关键他卡顿时,状态正常,且不做任何干预能够自动恢复,这个让人有点难以理解。 如果是数据导入过程中因为资源问题,数据导入一般也就几分钟时间,但cdc在这之后需要比想象更长的时间来恢复,查看日志有多次重启记录。
不知道为啥没收到回复提示,不好意思。
状态正常指的是cdc节点正常还是任务正常?这两个应该有一个不正常(猜测)。
可以看看重启时的前后日志,有没有什么异常问题,重启应该是有相关日志信息的。
类似这个帖子(看下重启的前后日志):
他这个帖子看上去和你有点类似,不过他应该是代码自己改坏了,看评论说5.2.x有类似bug,也可以考虑升下版本试下
突然发现日志好像 cdc 版本是 5.3.0?TiDB 是 5.4?
参考一下这个?
https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#使用-ticdc-v500-rc-版本的-cdc-cli-工具操作-v40x-集群导致不兼容问题
感觉可能你只是单纯的写错了版本吧?
这个是我写错了,版本是V5.3.0
请问参考楼上的方案,问题是否已经解决了?