【TiDBer 唠嗑茶话会 192】一起聊聊 TiDB 迁移实操体验

  1. 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
    mysql到tidb,用的dm,也有配置datax任务
  2. 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
    其实最希望的是oracle到tidb的迁移工具,没找到合适的,最后oracle都迁移到ob了
  3. 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
    json表迁移问题多多,比对也不好比对

1.你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
肯定首选官方工具,DM、Lightning、TiCDC。
2.不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
如果有图像界面操作会更方便一点。
3.实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
数据量,字符集,实时性要求高。

  • 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?

    源主要是 Oracle、兼容MYSQL协议数据库 ,使用的工具包括两种:DSG 以及 DM

  • 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?

    TiDB 自己的迁移工具 TMS 产品能力略弱于 DSG,DM 对于非原生 MySQL binlog 格式的数据库不支持,所以需要原生外的工具

  • 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
    最大的问题还是双向复制,无论 DSG 还是 TiDB 原生的迁移工具,双向复制方案现在都不是很完美,凑合用

  1. 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
    TiDB 原生的 DM、Lightning 和 TiCDC,在处理异构数据源时会搭配 DataX、Flink 等第三方工具。
  2. 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
    没有啊
  3. 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
    大表全量迁移时的性能瓶颈
1 个赞

1 mysql,用原生dm,最大问题版本低,兼容性问题导致同步异常

感谢老师分享

学习了,感谢各位大佬们的分享

  1. 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
    MySQL迁移至TiDB,Lightning挺好用
  2. 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
    目前仅使用过一种,后续尝试其他原生工具
  3. 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
    目前应用场景不太复杂,暂未遇到迁移问题

从MySQL数据库迁移到 TiDB 的, 迁移 TiDB 原生的 DM、Lightning、TiCDC都用过。
踩过大坑是自增加ID,以及haproxy

datax

mysql迁移到tidb,DM工具

mysql → tidb
DM、Lightning纵享湿滑

用datax可以的

主要是dm,datax也有用
希望tidb迁移工具支持所有数据库,支持checkpoint恢复
业务中断风险,数据一致性,迁移慢都有

看评论学习

  1. DataX
  2. 目前用下来还不错
  3. 兼容性问题

1、 mysql迁移tidb,使用的DM
2、兼容性很好
3、无

3 个赞
  1. 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
    Mysql–>Tidb

  2. 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
    非常好用。

  3. 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?

数据量大迁移慢、一致性难保证,本身业务中断也是实例得一部分。

3 个赞
  1. 你是从哪个数据库迁移到 TiDB 的? 迁移 TiDB 都用啥工具?偏爱 TiDB 原生的 DM、Lightning、TiCDC,还是习惯用 DataX、Flink 这些第三方,或者自己自研工具?
    mysql迁移tidb、DM、使用官方自带的或者第三方的

  2. 不用 TiDB 原生迁移工具的小伙伴,是因为技术栈适配难、性能不够,还是觉得易用性一般?大家最希望 TiDB 迁移工具加啥实用功能?
    官方的就挺实用的,希望再简化下操作步骤

  3. 实操 TiDB 数据迁移时,你踩过最坑的是什么?是数据量大迁移慢、一致性难保证,还是业务中断风险,或者工具运维太复杂?
    坑暂时没有遇到,DM配置还是复杂些,改为白屏就完美了

1、一直用
2、没迁移过
3、无