[v8.5.3] 从7.5.6 升级后，auto_analyze无法自动关闭，导致tidbcpu异常升高。

foxchan · 2025 年10 月 20 日 03:23

【TiDB 使用环境】生产环境
【TiDB 版本】v.8.5.3
【操作系统】centos7
【部署方式】k8s
从7.5升级后发现，tidb 跑一段时间后，cpu就异常升高，发现日志提示如下，只能重启tidb解决
日志提示是事务问题，怎么排查

[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m34.25s] [startTS=461605699620700187] ["start time"=2025/10/19 23:00:00.140 +08:00]
[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m33.5s] [startTS=461605699817308248] ["start time"=2025/10/19 23:00:00.890 +08:00]
[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m33.5s] [startTS=461605699817308167] ["start time"=2025/10/19 23:00:00.890 +08:00]

监控

火焰图

Billmay表妹 · 2025 年10 月 20 日 03:36

第一张图文字发出来，看不清楚图片

foxchan · 2025 年10 月 20 日 03:50

文字加好了

[2025/10/20 11:15:34.083 +08:00] [INFO] [controller.go:496] ["[resource group controller] create resource group cost controller"] [name=default]
[2025/10/20 11:15:34.397 +08:00] [INFO] [domain.go:3172] ["refreshServerIDTTL succeed"] [serverID=311] ["lease id"=7bcb99ddcd5de60a]
[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m34.25s] [startTS=461605699620700187] ["start time"=2025/10/19 23:00:00.140 +08:00]
[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m33.5s] [startTS=461605699817308248] ["start time"=2025/10/19 23:00:00.890 +08:00]
[2025/10/20 11:15:34.405 +08:00] [INFO] [txn.go:99] ["An internal transaction running by internal session lasts long time"] [time=12h15m33.5s] [startTS=461605699817308167] ["start time"=2025/10/19 23:00:00.890 +08:00]
[2025/10/20 11:15:34.407 +08:00] [INFO] [advancer.go:668] ["No tasks yet, skipping advancing."]
[2025/10/20 11:15:34.586 +08:00] [INFO] [batch_coprocessor.go:558] ["detecting available mpp stores"] [total=8] [alive=8]

Kongdom · 2025 年10 月 20 日 06:55

dashboard的top sql里有记录吗？

foxchan · 2025 年10 月 20 日 07:01

重启tidb 也看不到，知道是什么了。是analyze定时任务，7.5的时候会自动关闭。升级8以后关不上了

Kongdom · 2025 年10 月 20 日 07:03

我们一般都是放到深夜去执行。找到原因了就好。

nobody · 2025 年10 月 20 日 07:16

应该是这个参数导致的

gaozu · 2025 年10 月 20 日 16:52

重启,查进程.

foxchan · 2025 年10 月 21 日 03:18

确定是auto_analyze 导致的
top sql 在重启tidb后看不到耗时的analyze sql

tidb_max_auto_analyze_time 和tidb_auto_analyze_end_time 也关闭不了auto analyze

问题：怎么去杀进程的方式关闭analyze，要不然每次都要重启tidb实例，影响生产业务
现在先关闭auto_analyze,改成跑脚本了

Kongdom · 2025 年10 月 21 日 03:45

参考这里看看
https://docs.pingcap.com/zh/tidb/stable/statistics/#终止后台的-analyze-任务

foxchan · 2025 年10 月 21 日 05:57

很奇怪，看不到，甚至连今天凌晨跑的也看不到

为什么确定是auto analyze,昨天特意改了时间，加了10分钟

nobody · 2025 年10 月 21 日 06:07

你把这个参数关闭试试

foxchan · 2025 年10 月 21 日 06:30

关闭的

nobody · 2025 年10 月 21 日 06:54

目前看耗费 CPU 是analyze 调整优先级时候的逻辑导致，按理关闭这个参数，这块逻辑就应该不跑了才对，

github.com/pingcap/tidb

pkg/statistics/handle/autoanalyze/autoanalyze.go

dc2548aac


      
          func (sa *statsAnalyze) handleAutoAnalyze(sctx sessionctx.Context) bool {
          	defer func() {
          		if r := recover(); r != nil {
          			statslogutil.StatsLogger().Error(
          				"HandleAutoAnalyze panicked",
          				zap.Any("recover", r),
          				zap.Stack("stack"),
          			)
          		}
          	}()
          	if variable.EnableAutoAnalyzePriorityQueue.Load() {
          		// During the test, we need to fetch all DML changes before analyzing the highest priority tables.
          		if intest.InTest {
          			sa.refresher.ProcessDMLChangesForTest()
          			sa.refresher.RequeueMustRetryJobsForTest()
          		}
          		analyzed := sa.refresher.AnalyzeHighestPriorityTables(sctx)
          		// During the test, we need to wait for the auto analyze job to be finished.
          		if intest.InTest {
          			sa.refresher.WaitAutoAnalyzeFinishedForTest()
          		}

要不你再取一个 cpu 使用率很高的时候的火焰图看看

nobody · 2025 年10 月 21 日 06:56

建议使用 mysql.analyze_jobs 系统表去查询

foxchan · 2025 年10 月 21 日 07:04

查不出来

queue是早晨关的，需要提前关吗。

新的图

nobody · 2025 年10 月 21 日 07:09

嗯需要再跑 auto analyze 之前关闭，你可以关闭以后，今晚再观察一下

foxchan · 2025 年10 月 21 日 07:10

这种能杀掉吗，现在只能重启tidb 才能恢复，业务会疯掉

nobody · 2025 年10 月 21 日 07:11

不能，这是内部的逻辑。从你的 cpu 来看还是有一些 cpu 富裕的，影响有这么大吗？

foxchan · 2025 年10 月 21 日 07:14

我不重启，新的analzye 还会跑吗