想上TiFlash,大佬们建议下最低配置。

【TiDB 使用环境】生产环境
【TiDB 版本】7.5.1
【集群数据量】
6个tikv节点一共5T的数据,3个副本的话大概每个副本1.7T大小
【集群节点数】
2pd、3tidb、6tikv
【遇到的问题:问题现象及影响】
由于平台出现报表统计非常慢的情况,单表也有十几亿数据了,关联统计查询很慢,想上tiflash,但是官方给的生产最低48C128G配置有点太高了,帮忙看下最低上多少配置能正常用,tiflash两个节点,不好做验证测试,只能给个配置表。
【资源配置】


官方的推荐就是低配了。再低了效果也不一定好。
你可以先将tidb_isolation_read_engines 设置为不走tiflash,然后部署一个节点的tiflash,手工跑跑看,最终还是要看验证。
我这里主要有一个4000W的表的日常查询、聚合全表,tiflash CPU大概占14C、内存占用20G,供参考。

感谢提供思路!

建议直接上官方推荐的48C128G,别在配置上抠。TiFlash列式引擎对内存和CPU要求高,尤其是单表十几亿数据做复杂关联统计,配置低了很容易OOM或查询超时。

好的,谢谢建议,那我不纠结了

5T 数据三副本约 1.7T/副本,TiFlash 只需给要走列存分析的表建副本,不必全量同步,所以别拿总量套官方 48C128G。你这种报表关联慢的场景,可先按 16C64G、SSD 起步做验证:对那张十几亿的大表 ALTER TABLE … SET TIFLASH REPLICA 1,等同步完成后看报表 SQL 是否走 MPP。内存是关键,列存扫描+聚合吃内存,64G 偏紧但够跑通;磁盘按该表列存后大小的 1.5 倍预留。两节点做一副本可用性有限,验证通过再按数据增速上 32C128G。真正决定配置的是并发报表数和单次聚合数据量,不是集群总量。

嗯确实,其实给固化的配置是不准确的,每个数据库情况都不一样,还是要验证测试才好。

新版本 8.5 的话 用 16c 32g 以上的可以,新版对资源的依赖越低

这个应该在官方最低配置基础上,结合自身业务来调整,我们系统计算量大

这种应该得按照tikv的1.5倍规划吧

感谢提供思路,大佬

你搞懂了吗,可以教我一下不

这个我还不是很懂啊

感谢提供思路,大佬

你用tiflash估计依然还是慢,建议你上doris或者starrocks吧,分开管理更舒服点,tiflash实测下来和sr这种还是有差距的,你这个10多亿数据量也不小了。

我们这边一般是和kv配置一样。 tiflash在并发下cpu比较吃紧。

感谢提供思路!