TIDB 两个节点内存飙升

TiDBer_yyy · 2025 年7 月 14 日 07:45

1、看着tidb 和pd是同一机型，混合部署，请问pd-leader 和负载低的tidb机器是同一个？

2、看带宽/iops不太高，能否升级下？

3、确实像大佬说的bug，历史我这边有个case，频繁查 infromation_schema 表，导致pd-leader挂掉，集群抖动。PD leader oom

有猫万事足 · 2025 年7 月 14 日 08:09

pkg/infoschema/infoschema_v2.go

3580f5196


      
          // btreeSet updates the btree.
          // Concurrent write is supported, but should be avoided as much as possible.
          func btreeSet[T any](ptr *atomic.Pointer[btree.BTreeG[T]], item T) {
          	succ := false
          	for !succ {
          		var t = ptr.Load()
          		t2 := t.Clone()
          		t2.ReplaceOrInsert(item)
          		succ = ptr.CompareAndSwap(t, t2)
          		if !succ {
          			logutil.BgLogger().Info("infoschema v2 btree concurrently multiple writes detected, this should be rare")
          		}
          	}
          }
          
          // Data is the core data struct of infoschema V2.
          type Data struct {
          	// For the TableByName API, sorted by {dbName, tableName, schemaVersion} => tableID
          	//
          	// If the schema version +1 but a specific table does not change, the old record is
          	// kept and no new {dbName, tableName, schemaVersion+1} => tableID record been added.

infoschema v2 btree concurrently multiple writes detected, this should be rare

搜一下这条日志，看看有没有什么内容？

wind · 2025 年7 月 14 日 09:07

我们pd、tidb服务是部署在同一个机器上，不管是否pd-leader，通过进程看tidb服务的内存都会变高。
目前是内存升高方面的问题，和带宽/iops关系不大吧？

wind · 2025 年7 月 14 日 09:07

没有检索到这个日志

有猫万事足 · 2025 年7 月 14 日 10:24

我的问题，这个地方8.5.2才会有这个日志输出，8.5.1是没有的。

github.com/pingcap/tidb

pkg/infoschema/infoschema_v2.go

v8.5.1


      
          func (isd *Data) addSpecialDB(di *model.DBInfo, tables *schemaTables) {
          	isd.specials.LoadOrStore(di.Name.L, tables)
          }
          
          func (isd *Data) addDB(schemaVersion int64, dbInfo *model.DBInfo) {
          	dbInfo.Deprecated.Tables = nil
          	isd.schemaID2Name.Set(schemaIDName{schemaVersion: schemaVersion, id: dbInfo.ID, name: dbInfo.Name})
          	isd.schemaMap.Set(schemaItem{schemaVersion: schemaVersion, dbInfo: dbInfo})
          }
          
          func (isd *Data) remove(item tableItem) {
          	item.tomb = true
          	isd.byID.Set(item)
          	isd.byName.Set(item)
          	isd.tableInfoResident.Set(tableInfoItem{
          		dbName:        item.dbName,
          		tableID:       item.tableID,
          		schemaVersion: item.schemaVersion,
          		tableInfo:     nil,
          		tomb:          true})
          	isd.tableCache.Remove(tableCacheKey{item.tableID, item.schemaVersion})

github.com/pingcap/tidb

pkg/infoschema/infoschema_v2.go

v8.5.2


      
          func (isd *Data) addSpecialDB(di *model.DBInfo, tables *schemaTables) {
          	isd.specials.LoadOrStore(di.Name.L, tables)
          }
          
          func (isd *Data) addDB(schemaVersion int64, dbInfo *model.DBInfo) {
          	dbInfo.Deprecated.Tables = nil
          	btreeSet(&isd.schemaID2Name, schemaIDName{schemaVersion: schemaVersion, id: dbInfo.ID, name: dbInfo.Name})
          	btreeSet(&isd.schemaMap, schemaItem{schemaVersion: schemaVersion, dbInfo: dbInfo})
          }
          
          func (isd *Data) remove(item tableItem) {
          	item.tomb = true
          	btreeSet(&isd.byID, &item)
          	btreeSet(&isd.byName, &item)
          	btreeSet(&isd.tableInfoResident, tableInfoItem{
          		dbName:        item.dbName,
          		tableID:       item.tableID,
          		schemaVersion: item.schemaVersion,
          		tableInfo:     nil,
          		tomb:          true})
          	isd.tableCache.Remove(tableCacheKey{item.tableID, item.schemaVersion})

我只能说这两个地方的写法，随着子版本的变化，确实不一样。
8.5.2多了一个btreeSet方法。我翻了下是在lighting/br使用过程中可能出现问题。然后加的。
我不确定升级后能不能解决你的问题，但如果没有更好的办法，还是可以尝试一下的。

就是红圈处这个方法。

nobody · 2025 年7 月 14 日 10:54

看下这个变量 tidb_enable_historical_stats的值

nobody · 2025 年7 月 14 日 10:59

内存泄露的那块代码的确发生了改变，的确很难说是否能解决这个问题。

wind · 2025 年7 月 14 日 11:01

没有开启

wind · 2025 年7 月 14 日 11:04

好的，感谢大佬，我们评估下这块。