lightning导入速度非常慢

十七个G,恢复了一个半小时
【资源配置】


【附件:截图/日志/监控】
tidb-lightning.log (5.3 MB)

存储是HDD还是固态,这也是个重要因素

HDD也不是这个速度呀

TiDB Lightning在处理单个大小约为256MB的数据文件时效率最高。如果单个文件过大,TiDB Lightning可能无法有效响应。您可以尝试将源数据分割为多个文件,并启用strict-format 以自动分割大文件

“严格”格式的导入数据可加快处理速度。
strict-format = true

详情参考: TiDB Lightning 配置参数 | TiDB 文档中心

我在导出的时候已经分隔好了

lightning配置文件发一下

1,lightning所在机器资源发下;
2, 感觉整个集群资源紧张。这种小资源下不建议追求速度。

为什么只有一个 tikv 节点?

lightning有后端模式可以选吧,最快的的模式,理论速度每小时500gb数据导入,不支持事务,这还要考虑服务器性能

lightning配置文件和导出日志发出来看看

同问题,有解决方案吗?我这也是通过dumpling导出的几个表大概18G左右,使用tidb-lightning导入需要2小时还没导入完,太夸张了。。tidb-lightning的配置文件没有,,就是直接裸命令导入的tiup tidb-lightning -d /root/bi_bakdir -tidb-host=“xxxxx” -tidb-port=4000 -tidb-user=“root” -tidb-password=“XXXX” -backend=“tidb”

设置并行了吗?

本来就比较慢,可加个并行

日志中看不出什么报错来,会不会是性能资源方面的问题,主机的性能日志有什么延迟吗

tidb模式就是执行sql,本来就慢

上ssd,要不就慢

默认是tidb模式就是直接执行sql的,后端模式可以直接和kv交互