统计信息 merge global stats for xxx columns [types:1406]Data Too Long, field len 12

foxchan · 2024 年12 月 23 日 07:05

Bug 反馈

这3个表都是分区表
新建空表统计信息也是正常的

其中一个表结构

CREATE TABLE board_material_fox (
spec_material_id BIGINT(30) NOT NULL COMMENT ‘工单素材ID’,
upload_date VARCHAR(20) NOT NULL COMMENT ‘工单素材上传日期’,
material_type INT(1) DEFAULT NULL COMMENT ‘素材类型 0 - 图片 1 - 视频’,
material_path VARCHAR(256) DEFAULT NULL COMMENT ‘图片保存路径’,
material_preview_path VARCHAR(256) DEFAULT NULL COMMENT ‘图片缩略图保存路径’,
material_name VARCHAR(256) DEFAULT NULL COMMENT ‘图片名称’,
material_cate INT(2) DEFAULT NULL COMMENT ‘素材类型 0 - 平面 1 - 剧情 2 - 口播 3 - 二剪 4 - 制作 5 - 修改’,
material_cost DECIMAL(18,4) DEFAULT NULL COMMENT ‘素材花费、消耗’,
upload_user VARCHAR(52) DEFAULT NULL,
spec_id BIGINT(20) DEFAULT NULL COMMENT ‘工单ID’,
effect_reach_date VARCHAR(20) DEFAULT NULL COMMENT ‘自2023-07-01首次累计消耗达到200的日期’,
5w_reach_date VARCHAR(20) DEFAULT NULL COMMENT ‘首次累计消耗达到5w的日期’,
customer_name VARCHAR(255) DEFAULT NULL COMMENT ‘客户名称’,
customer_id BIGINT(20) DEFAULT NULL,
media_id INT(3) DEFAULT NULL,
project_id BIGINT(20) DEFAULT NULL,
spec_creator VARCHAR(20) DEFAULT NULL COMMENT ‘工单创建人钉钉用户ID’,
operator_name VARCHAR(255) DEFAULT NULL COMMENT ‘优化师名称’,
operator_dept_name VARCHAR(255) DEFAULT NULL COMMENT ‘优化师部门’,
operator_dept_id BIGINT(20) DEFAULT NULL COMMENT ‘优化师部门ID’,
design_dept_name VARCHAR(255) DEFAULT NULL COMMENT ‘设计部门’,
design_dept_id BIGINT(20) DEFAULT NULL COMMENT ‘设计部门ID’,
editor_name VARCHAR(255) DEFAULT NULL COMMENT ‘平面设计/后期成员’,
director_name VARCHAR(255) DEFAULT NULL COMMENT ‘编导成员’,
shoter_name VARCHAR(255) DEFAULT NULL COMMENT ‘拍摄’,
creative_count BIGINT(20) DEFAULT NULL COMMENT ‘有消耗创意数’,
ad_count BIGINT(20) DEFAULT NULL COMMENT ‘有消耗广告数量’,
cost DECIMAL(10,2) DEFAULT NULL COMMENT ‘累计消耗’,
platform_id INT(3) DEFAULT NULL COMMENT ‘平台ID，2广点通、3微信、4头条、5快手’,
operate_type VARCHAR(30) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT ‘运营方式’,
operator VARCHAR(50) DEFAULT NULL COMMENT ‘运营人员ID’,
product_id BIGINT(20) DEFAULT NULL COMMENT ‘产品ID’,
operator_parent_dept_id VARCHAR(30) DEFAULT NULL COMMENT ‘运营父部门ID’,
industry_id BIGINT(20) DEFAULT NULL COMMENT ‘客户所属行业id’,
sales VARCHAR(50) DEFAULT NULL COMMENT ‘销售人员ID’,
sales_dept_id VARCHAR(30) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT ‘销售部门ID’,
sales_parent_dept_id VARCHAR(30) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT ‘销售父部门ID’,
upload_date_fri VARCHAR(20) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在周五’,
upload_date_thur VARCHAR(20) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在周四’,
upload_date_start_quarter VARCHAR(20) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在季度开始’,
upload_date_end_quarter VARCHAR(20) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在季度结束’,
upload_date_month VARCHAR(10) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在月份 2023-11’,
upload_date_year VARCHAR(10) DEFAULT NULL COMMENT ‘工单素材上传日期 - 所在年 2023’,
effect_reach_date_fri VARCHAR(20) DEFAULT NULL COMMENT ’ 200- 所在周五’,
effect_reach_date_thur VARCHAR(20) DEFAULT NULL COMMENT ’ - 所在周四’,
effect_reach_date_start_quarter VARCHAR(20) DEFAULT NULL COMMENT ’ - 所在季度开始’,
effect_reach_date_end_quarter VARCHAR(20) DEFAULT NULL COMMENT ’ - 所在季度结束’,
effect_reach_date_month VARCHAR(10) DEFAULT NULL COMMENT ’ - 所在月份 2023-11’,
effect_reach_date_year VARCHAR(10) DEFAULT NULL COMMENT ’ - 所在年 2023’,
5w_reach_date_fri VARCHAR(20) DEFAULT NULL COMMENT ’ 5w+ 所在周五’,
5w_reach_date_thur VARCHAR(20) DEFAULT NULL COMMENT ’ 5w+ 所在周四’,
5w_reach_date_start_quarter VARCHAR(20) DEFAULT NULL COMMENT ’ 5w+ 所在季度开始’,
5w_reach_date_end_quarter VARCHAR(20) DEFAULT NULL COMMENT ’ 5w+ 所在季度结束’,
5w_reach_date_month VARCHAR(10) DEFAULT NULL COMMENT ‘5w+ 所在月份 2023-11’,
5w_reach_date_year VARCHAR(10) DEFAULT NULL COMMENT ‘5w+ 所在年 2023’,
create_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT ‘创建时间’,
update_time DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT ‘修改时间’,
effect_reach INT(1) DEFAULT ‘0’ COMMENT '是否有效（消耗大于200）： 0、否、1、是 ',
w5_reach INT(1) DEFAULT ‘0’ COMMENT '是否达到5w+消耗：0、否、1、是 ',
media_material_tag BIT(12) DEFAULT NULL COMMENT ‘素材属性标签按位转换结果从低到高依此为INEFFICIENT_MATERIAL->SIMILAR_MATERIAL->SIMILAR_QUEUE_MATERIAL->(AD_HIGH_QUALITY_MATERIAL|ECP_HIGH_QUALITY_MATERIAL)->FIRST_PUBLISH_MATERIAL->AIGC->(AD_LOW_QUALITY_MATERIAL|ECP_LOW_QUALITY_MATERIAL)’,
video_make_type INT(2) DEFAULT NULL COMMENT ‘0-人工 1-机剪 2-翻新 3-绑定 4-智能换前贴’,
material_charge DECIMAL(18,4) DEFAULT NULL COMMENT ‘设计人员真实成本：从 board_design_material_participant_pivot 汇总而来’,
material_actor_charge DECIMAL(18,4) DEFAULT NULL COMMENT ‘演员成本分摊到设计人员：从 board_design_material_participant_pivot 汇总而来’,
material_place_charge DECIMAL(18,4) DEFAULT NULL COMMENT ‘场地成本分摊至设计人员：从 board_design_material_participant_pivot 汇总而来’,
is_innovate INT(1) DEFAULT ‘0’ COMMENT ‘是否是创新素材： 0、否、1、是 -根据creative_material_tag_info.material_tag_id in (2986,2985,2698,2987,2677)统计而来’,
is_important INT(1) DEFAULT ‘0’ COMMENT ‘是否是重点测试素材： 0、否、1、是 -根据creative_material_tag_info.material_tag_id in (2997,2701,2700)统计而来’,
PRIMARY KEY (spec_material_id,upload_date) /*T![clustered_index] NONCLUSTERED */,
KEY idx_id (spec_material_id),
KEY idx_edate (effect_reach_date),
KEY idx_5wdate (5w_reach_date),
KEY idx_udate (upload_date)
) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin /*T! SHARD_ROW_ID_BITS=4 PRE_SPLIT_REGIONS=3 */ COMMENT=‘看板素材 - 从board_design_material而来’
PARTITION BY RANGE COLUMNS(upload_date)
(PARTITION p2020 VALUES LESS THAN (‘2021-01’),
PARTITION p2021 VALUES LESS THAN (‘2022-01’),
PARTITION p2022 VALUES LESS THAN (‘2023-01’),
PARTITION p2023 VALUES LESS THAN (‘2024-01’),
PARTITION p202401 VALUES LESS THAN (‘2024-02-01’),
PARTITION p202402 VALUES LESS THAN (‘2024-03-01’),
PARTITION p202403 VALUES LESS THAN (‘2024-04-01’),
PARTITION p202404 VALUES LESS THAN (‘2024-05-01’),
PARTITION p202405 VALUES LESS THAN (‘2024-06-01’),
PARTITION p202406 VALUES LESS THAN (‘2024-07-01’),
PARTITION p202407 VALUES LESS THAN (‘2024-08-01’),
PARTITION p202408 VALUES LESS THAN (‘2024-09-01’),
PARTITION p202409 VALUES LESS THAN (‘2024-10-01’),
PARTITION p202410 VALUES LESS THAN (‘2024-11-01’),
PARTITION p202411 VALUES LESS THAN (‘2024-12-01’),
PARTITION p202412 VALUES LESS THAN (‘2025-01-01’),
PARTITION p202501 VALUES LESS THAN (‘2025-02-01’))

挨个统计表的字段看了，没有是12长度的

【期望看到的行为】
统计信息正常

小龙虾爱大龙虾 · 2024 年12 月 23 日 12:50

v7.5.4 是当前的最新补丁版本了，还有问题的话大概率是 bug ，尝试复线下，提一个 issue 吧

foxchan · 2024 年12 月 24 日 06:23

尝试建新表 analyze之后没有复现出来

Billmay表妹 · 2024 年12 月 31 日 07:33

这个问题还能稳定复现吗？

foxchan · 2024 年12 月 31 日 08:05

我这里环境是稳定复现，换个集群或者复现步骤就不行了

porpoiselxj · 2024 年12 月 31 日 08:06

这个应该就是bug，从老版本升级上来的都会出现这个问题

jhm633 · 2024 年12 月 31 日 08:27

我们内部尝试未能复现，出现这个问题的集群可否做过升级？是从哪个版本升级的？是否有特殊的配置？这个 table schema 是否做过变更？另外，麻烦提供一下 tidb 的 log 我们分析一下。

foxchan · 2024 年12 月 31 日 08:46

集群是4版本开始慢慢升上来的，这次7.5 是从6.1 升上来的。
这个分区表都有2020年的数据，所以基本没有变更，操作就是把历史分区合并
tidb 错误日志
analyze-tidb.log.gz (1.3 MB)

错误表iD 是分区
209616

2879028

健康度

foxchan · 2024 年12 月 31 日 09:55

关闭 tidb_enable_historical_stats
drop stats 之后重新analyze，还是报错

dba-kit · 2025 年1 月 13 日 03:02

有 admin check 一下那个分区数据是否存在不一致么？

foxchan · 2025 年1 月 13 日 05:30

正常