分区表

🪐 TiDB 技术问题
1

TiDB-CDC 同步超大分区表，分区分裂 / 合并如何保证增量数据无漏同步？

2

本身就不会丢数据的。 无漏同步是指？

3

DM 同步延迟先看 relay log 有没有堆积，检查源库和目标之间的网络延迟。全量阶段慢可以调大 worker 数量和 batch size，增量延迟看 source 的 binlog 大小是否合理。

4

REORGANIZE PARTITION 属于分区物理重组（拆分 / 合并），内部触发大量 Region Split/Merge、数据跨分区搬迁；CDC 靠 TableID+PartitionID 映射捕获数据，重组瞬间旧分区消亡、新分区诞生，极易出现短暂 KeyRange 空洞→漏 DML；REORGANIZE 不在普通 ADD/DROP/TRUNCATE 分区白名单，DDL 下发下游后元数据切换窗口期最容易丢增量。

5

DM 的全量同步基于 dump/load 模式，增量同步基于 binlog 拉取和回放。增量延迟的本质是 binlog 消费速度跟不上生产速度，常见瓶颈在 worker 线程数、目标库写入能力、或者网络带宽。建议先看 dm_worker 的 metrics。

6

TiDB-CDC 通过全局 TSO 排序 + DDL 屏障 + 分区元数据动态感知 + 断点续传，确保超大分区表在分区分裂 / 合并时增量数据无漏、不重、有序同步。

1 个赞
7

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。