数据归集过程中报错:200w以内没问题,超过200w就有问题
jdbc:mysql://172.22.5.24:4000/ods?useUnicode=true&characterEncoding=utf8&allowLoadLocalInfile=true&zeroDateTimeBehavior=convertToNull&useSSL=false&connectTimeout=1000000&socketTimeout=6000000
数据归集过程中报错:200w以内没问题,超过200w就有问题
jdbc:mysql://172.22.5.24:4000/ods?useUnicode=true&characterEncoding=utf8&allowLoadLocalInfile=true&zeroDateTimeBehavior=convertToNull&useSSL=false&connectTimeout=1000000&socketTimeout=6000000
有节点重启了?
没有 刚部署上去的 现在只做过归集的操作
看报错信息是通讯异常,200万以内没问题,超过200万就有问题。怀疑是不是链接超时
问过同事在其它项目上也出现过这个问题,没有解决,最后只能是批量。这次做测评依然有问题,不知道是不是有什么内部参数没有调整好的
有可能,如果有买原厂的服务,建议咨询一下原厂吧,也可能是版本或功能限制之类
没遇到过这种问题,解决完分享下
相应不过来了吧
可能是客户端内存或服务端限制把
Communications link failure 是 MySQL 协议客户端(数据归集工具基于 MySQL 驱动)的通用网络错误,在 TiDB 场景下的核心诱因:
tidb_connection_limit);Communications link failure的原因很多,可以先看看哪里有没有超时设置
split -l 500000 abcd1234.csv abcd1234_part_ # 每 50 万行拆一个文件
然后再导入?