tidb数据归集 Communications link failure

数据归集过程中报错:200w以内没问题,超过200w就有问题

jdbc:mysql://172.22.5.24:4000/ods?useUnicode=true&characterEncoding=utf8&allowLoadLocalInfile=true&zeroDateTimeBehavior=convertToNull&useSSL=false&connectTimeout=1000000&socketTimeout=6000000

有节点重启了?

没有 刚部署上去的 现在只做过归集的操作

看报错信息是通讯异常,200万以内没问题,超过200万就有问题。怀疑是不是链接超时

问过同事在其它项目上也出现过这个问题,没有解决,最后只能是批量。这次做测评依然有问题,不知道是不是有什么内部参数没有调整好的

有可能,如果有买原厂的服务,建议咨询一下原厂吧,也可能是版本或功能限制之类

没遇到过这种问题,解决完分享下

相应不过来了吧

可能是客户端内存或服务端限制把

Communications link failure 是 MySQL 协议客户端(数据归集工具基于 MySQL 驱动)的通用网络错误,在 TiDB 场景下的核心诱因:

  1. 网络层面:归集节点与 TiDB 节点网络不通、端口未开放、防火墙拦截、网络波动;
  2. TiDB 层面:TiDB Server 过载 / 重启、连接数打满、TiDB 配置限制( tidb_connection_limit);
  3. 工具层面:客户端驱动版本不兼容、连接超时配置过短、批量归集导致连接被踢。

Communications link failure的原因很多,可以先看看哪里有没有超时设置

split -l 500000 abcd1234.csv abcd1234_part_ # 每 50 万行拆一个文件
然后再导入?