DM过滤where条件进行同步

🪐 TiDB 技术问题
,
1

我有一问题，分表合并使用dm同步的过程中，需要根据条件进行过滤同步需要怎么做？
我的源端是MySQL有366张分表，tidb中有一张合并表，过滤code=‘1’。
我阅读过官方文档https://docs.pingcap.com/zh/tidb/stable/task-configuration-file-full/。里面显示：
expression-filter: # 定义数据源迁移行变更的过滤规则，可以定义多个规则

过滤 expr_filter.tbl 的 c 为偶数的插入

even_c: # 规则名称
schema: “expr_filter” # 要匹配的上游数据库库名，不支持通配符匹配或正则匹配
table: “tbl” # 要匹配的上游表名，不支持通配符匹配或正则匹配
insert-value-expr: “c % 2 = 0”

源端的表名不支持通配符或者正则表达式，并且 insert-value-expr、delete-value-expr、update-new-value-expr不能出现在同一个配置项中。我想请教一下有简洁一点的同步方案吗

2
  • 最优方案：DM 2.0+ 下使用「分表合并 + 通配符表达式过滤」，只需一套规则即可覆盖 366 张分表，无需重复配置；
  • 核心关键：利用 expression-filter 的表名通配符特性，结合 insert/update/delete 三类表达式规则，实现全操作类型的过滤；
  • 降级方案：源端创建聚合视图并过滤数据，DM 同步视图到 TiDB，适合低版本 DM 环境
3

是需要过滤数据吗如何通过 SQL 表达式过滤 DML