打算使用tidb+flink做实时数仓,有详细的案例吗(可以照抄的哪种)

公司使用了微服务,很多数据库成了数据孤岛;每次查询都需要查询多个数据库。对于开发来说工作量很大。。

想把多个数据库的数据通过 flink 清洗,join,计算后的结果,写入到tidb。。
由于公司没有这方面的人才。。压力给到了DBA的我。

在线求这方面的方案(可以照抄的哪种)
谢谢了。

1 个赞

找了一些案例;对于flink 0基础的我,好难。

1 个赞

我觉得你们可能需要招个相关专家。

2 个赞

或者开发去做这个事情。比如多个数据库写 kafka 然后应用消费写到一个统一数据库中。

2 个赞

0 基础,建议直接B站搜教程学起来~
:sob:这种痛,没人懂~

1 个赞

我目前是把公司的流向数据从业务系统(也是多库联查) 通过java 抓取到另一个静态库,中间这个过程也涉及非常多的计算

1 个赞

光部署和运维都可以让你很痛苦了

1 个赞

没有这方面的人才,第一顺位是招人,第二顺位是把研发拉进来,ticdc把数据打给研发来清洗落库

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。