ticdc报错:CDC:ErrFlowControllerEventLargerThanQuota

一个好的问题描述有利于社区小伙伴更快帮你定位到问题,高效解决你的问题

【TiDB 使用环境】生产环境
【TiDB 版本】 v6.5.0
【部署方式】机器部署
【操作系统/CPU 架构/芯片详情】
【机器部署详情】CPU大小/内存大小/磁盘大小
【集群数据量】
【集群节点数】
【问题复现路径】做过哪些操作出现的问题
修改配置,支持mediumblob写入。按这个文档做了调整txn-entry-size-limit 和 raft-entry-max-size 这两个参数具体怎么调整 - #8,来自 yulei7633 - TiDB 的问答社区 。重启了源端和目标端的tidb。启用后同步报错,看上去是event的内存大小做了限制。有什么参数可以调整,避免这个问题吗?
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
“code”: “CDC:ErrFlowControllerEventLargerThanQuota”,
“message”: “[CDC:ErrFlowControllerEventLargerThanQuota]event is larger than the total memory quota, size: 20273757, quota: 10485760”
【其他附件:截图/日志/监控】

各位大佬,有谁遇到过这种问题没?怎么解决的?


这个参数改过吗
https://docs.pingcap.com/zh/tidb/v6.5/ticdc-changefeed-config/#ticdc-changefeed-配置文件说明

当“进来的数据”超过了“处理通道的限流大小”,就触发了 FlowController 的报错

cdc配置超出分配值了

per-table-memory-quota 这个参数控制的。 可以调整该参数
How to avoid this problem? CDC:ErrFlowControllerEventLargerThanQuota · Issue #12652 · 平凯星辰/tiflow

调整有效果么?

有效果 在toml配置文件修改,重启cdc即可
pump: {}
drainer: {}
cdc:
per-table-memory-quota: 1073741824 <<<<<<<<
kvcdc: {}

报错是单条 event 超过 flow controller 配额。在 TiCDC 侧调大 memory quota / 相关流量控制参数,并复核 txn-entry-size-limit、raft-entry-max-size 与超大行写入是否必要;改完滚动重启 changefeed 观察。

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。