PingKai Logo
search icon

华安基金 | 稳定支撑百亿大表的实时分析

将报表系统后台数据库从 MySQL 迁移到平凯数据库(TiDB企业版,以下简称TiDB),解决了传统架构难以满足的实时性、灵活性和分析能力需求,显著提升了报表查询性能,并为反洗钱等复杂系统提供了HTAP能力支持。

业务挑战

  • 混合负载处理能力不足:反洗钱系统需同时支持批处理与交易场景,审计模块服务1.3亿投资人,涉及大量数据增删改查,原有 Hadoop+分布式数据库架构仅能满足纯分析需求,交易场景效率显著下降,无法兼顾 OLTP 与 OLAP 需求。
  • 数据时效性与一致性差:OLAP 请求需从 OLTP 系统提取数据,经数仓加工后推送至应用,存在数据同步延迟,且易因同步故障导致数据不一致。
  • 架构扩展性与运维效率低:传统集中式架构(Oracle/MySQL)存储容量限于 TB 级别以下,TPS 不足1000,面对数据量激增难以水平扩展;需维护多套数据库及多套数据同步工具,IT 人员有限,运维流程繁琐。
  • 国产化改造压力:作为上海基金行业国产化改造试点单位,需选型适配的国产数据库以推进改造进度。

解决方案

华安基金经多维度评估,选择 TiDB 作为 HTAP 数据库解决方案,替代传统“OLTP+ETL+OLAP”架构,具体措施如下:

  1. 适配国产化与架构整合:平凯数据库(TiDB 企业版)是国产分布式数据库,首批通过分布式数据库安全可靠测评,符合国产化改造要求;采用 TiDB 单一集群同时承载 OLTP 与 OLAP 业务,取消 ETL 同步链路,实现“交易即分析”。
  2. 依托特性满足业务需求:TiDB 原生分布式架构无需考虑分片键,自动实现数据打散和负载均衡;存储计算分离支持在线扩缩容(后台异步操作,不影响业务),可应对百亿级大表查询与千万级多表关联分析;支持行存和列存引擎,保障交易与分析互不干扰。
  3. 优化资源与运维管理:利用 TiDB 资源管控功能,划分高优先级在线资源池与低优先级离线资源池;通过图形化管理平台(TEAM Dashboard)集成告警管理、数据备份、主机管理等功能,简化运维操作。
  4. 关键场景落地与特性应用:将报表系统从单机 MySQL 迁移至 TiDB(采用 3 节点国产化硬件服务器及操作系统部署);应用 Pipelined DML 特性提升大规模事务性能(无需修改业务);通过分区表全局索引支撑营销域每日 6000 万增量持仓数据查询;新增 ORC 文件导入功能,适配上游 Hadoop 数仓数据格式。

HTAP 技术选型

客户收益

  • 报表性能显著提升:报表系统迁移至 TiDB 后,查询效率大幅提高,如基金规模表查询从 20 分钟缩短至 9 秒(提升 133 倍),基金净流入明细查询从 25 分钟缩短至 6 秒(提升 250 倍),中国共同基金业绩表现查询从 2 小时缩短至 73 秒(提升 98 倍),获后台运营团队和业务团队高度满意。
  • 运维与开发效率提升:TiDB 透明分布式特性简化应用开发(无需考虑分片键),自动负载均衡减少人工干预;图形化管理平台替代命令行操作,集成多运维功能;支持在线 DDL 变更、资源管控,减少开发与运维负担。
  • 资源与成本优化:存储计算分离架构实现资源按需扩展,避免资源闲置;取消 ETL 工具与多套数据库维护,减少硬件投入;Pipelined DML 特性降低业务适配成本。
  • 满足国产化与扩展需求:助力推进国产化改造;TiDB 水平扩展能力可支撑未来注册登记系统 TA、华安基金 APP、华安基金投资助手公众号、反洗钱系统审计等 OLTP 业务扩展,且所有组件高可用,节点故障时数据不丢失、业务不中断。