TiDB Server 节点 内存负载不均衡

[TiDBer_vFs1A6CZ]

【TiDB 使用环境】生产环境
【TiDB 版本】7.5.3
【操作系统】centos
【部署方式】机器部署 SSD
【集群数据量】1
【集群节点数】12
【问题复现路径】无
【遇到的问题：问题现象及影响】相同配置的 TiDB Sever 节点 加入haproxy 和 Keeplived ，内存负载不均衡
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

【复制黏贴 ERROR 报错的日志】
TiDB 内存差异快有1倍

连接数差异越来越大

【其他附件：截图/日志/监控】

[hey-hoho]

1、排查下是不是有应用端直连这个内存高的tidb server
2、看下这个tidb server都是哪些ip在连接netstat -tn | grep ':4000' | awk '{print $5}' | cut -d: -f1 | sort -u

[像风一样的男子]

topsql 查下各个tidb节点都是什么sql

[TiDBer_vFs1A6CZ]

昨天排查了 存在其它IP 直连 TiDBServer 情况，已处理， TiDB server 连接数是均衡了， 但是内存占用差异的情况还是存在

[TiDBer_vFs1A6CZ]

最近半个小时 各个TiDBServer 节点占用内存大Sql 如下，占用内存高的Server 节点 没有太大差异

[TiDBer_sheldon (宣恩裕)]

内存高的和内存低的SQL一致，首先确定一下占用内存的是不是tidb，确定好再分析

[Kongdom]

@TiDBer_vFs1A6CZ

存在其它IP 直连

我们也遇到过这种情况。可以把慢查询里的大sql统计一下，然后看看是否都在一个ip里执行的，然后根据语句反推还有没有其他应用端直连。

dashboard的慢查询页面不方便汇总，建议直接查表cluster_slow_query
https://docs.pingcap.com/zh/tidb/stable/identify-slow-queries/#查询-slow_querycluster_slow_query-示例

字段含义看这里
https://docs.pingcap.com/zh/tidb/stable/identify-slow-queries/#字段含义说明

[老鹰506 (Ti D Ber Uhzt Tfx J)]

学习~

[TiDBer_vFs1A6CZ]

参考相关帖子
tidb-server其中一台的内存占用很高，cpu也很高，该如何排查 - TiDB 的问答社区
问题指向的是 TTL 持续的内存泄漏引起，拿到 内存占用高的节点的内存 火焰图，各位老师 帮忙看看是不是 指向的 TTL 引起的内存泄漏

[cchouqiang]

你这个图片没看到ttl内容

[TiDBer_vFs1A6CZ]

确实没看到的TTL相关的信息，像是 SaveTableToStotage 引起的 占用高

[TiDBer_HErMeXDz]

跟连接数，慢SQL有关。。

[TiDBer_vFs1A6CZ]

现在是 3个tidb-server 节点的 连接数是均衡的，如果是慢sql, 调整什么集群参数，可以实现TiDB 节点内存负载均衡

[独善其身 (Ti D Ber Bi Rqfz5 K)]

用标签看看能不能平衡一下呢

[Royce1220 (Ti D Ber Kwxb3 N7 I)]

看看是不是sql的分配不平衡导致的