本文适合谁： 正在建设实时分析平台、评估 HTAP/实时数仓路线的数据平台团队和业务分析团队。
摘要
企业数据分析正经历从"T+1 离线报表"到"秒级实时洞察"的转变。传统离线数仓（Hive/Hadoop）无法满足实时分析需求，而引入 ClickHouse/Druid 等实时 OLAP 引擎又增加了架构复杂度。HTAP 数据库（如 TiDB）提供了一个更简洁的方案：在线交易和实时分析在同一系统完成。本文对比实时分析的四种技术路线，给出选型建议和迁移路径。
企业数据分析的四个阶段
| 阶段 | 延迟 | 架构 | 代表技术 |
|---|---|---|---|
| 静态报表 | T+1 天 | MySQL + 手工导出 | Excel、BI 工具 |
| 离线数仓 | T+1 天 | OLTP → ETL → OLAP | Hive/Spark + ClickHouse |
| 实时 OLAP | 秒-分钟级 | OLTP → CDC → OLAP | Kafka + Flink + Doris |
| HTAP | 亚秒级 | OLTP + OLAP 一体化 | TiDB HTAP |
四种技术路线对比
路线一：传统离线数仓
MySQL/Oracle → Sqoop/DataX → HDFS → Hive/Spark → BI 工具
| 优势 | 劣势 |
|---|---|
| 大数据量处理能力强 | 延迟 T+1，无法实时 |
| 技术成熟、生态丰富 | 架构复杂（3-5 套系统） |
| 成本低（开源组件） | 维护成本高（大数据团队） |
| 离线计算准确 | 数据新鲜度差 |
路线二：实时 OLAP 引擎
MySQL → CDC → Kafka → ClickHouse/Doris → BI 工具
| 优势 | 劣势 |
|---|---|
| 实时性好（秒-分钟级） | 需要维护 Kafka + OLAP 双系统 |
| ClickHouse 查询性能极快 | 数据一致性问题（CDC 延迟） |
| 社区活跃 | ClickHouse 不支持事务 |
路线三：流式计算
MySQL → CDC → Kafka → Flink/Spark Streaming → 实时结果存储
| 优势 | 劣势 |
|---|---|
| 实时性最好（毫秒-秒级） | 复杂查询能力弱 |
| 适合规则计算 | 不适合 BI 报表 |
| 可处理复杂事件 | 运维复杂度高 |
路线四：HTAP（推荐）
TiDB（OLTP + OLAP 一体化）
↓ 智能路由
TiKV（行存） ←→ TiFlash（列存，< 1s 同步）
| 优势 | 劣势 |
|---|---|
| 架构最简单（1 套系统） | 超大规模分析弱于专用 OLAP |
| 实时性好（< 1s） | 需要分布式系统运维能力 |
| SQL 统一（MySQL 语法） | |
| 事务 + 分析一体 | |
| 成本最低 |
选型决策框架
按数据量选择
| 数据量 | 推荐方案 |
|---|---|
| < 1TB | 直接使用 TiDB HTAP |
| 1-10TB | TiDB HTAP 主力 |
| 10-100TB | TiDB HTAP + 辅助 OLAP |
| > 100TB | HTAP（实时层）+ 数据湖（离线层） |
按实时性需求选择
| 实时性要求 | 推荐方案 |
|---|---|
| 秒级实时（风控/推荐/实时报表） | HTAP 或实时 OLAP |
| 分钟级（运营报表/看板） | HTAP 或流计算 |
| 小时级（经营分析） | 离线数仓即可 |
| T+1（日终报表） | 传统离线数仓 |
按团队规模选择
| 团队规模 | 推荐方案 |
|---|---|
| 1-3 人（DBA） | HTAP（运维简单） |
| 3-10 人 | HTAP + 辅助 OLAP |
| 10+ 人（大数据团队） | Lambda/数据湖 + HTAP |
从离线数仓迁移到 TiDB HTAP
典型迁移步骤
- 评估阶段（1-2 周）
- 分析现有报表和查询模式
- 识别可迁移到 HTAP 的实时分析场景
- 评估数据量和增长趋势
- 试点阶段（2-4 周）
- 部署 TiDB 集群
- 选择 2-3 个实时性要求高的报表迁移
- 对比性能和实时性
- 迁移阶段（4-8 周）
- 逐步将更多报表迁移到 TiDB
- 简化 ETL 流程
- 退役部分 OLAP 组件
- 优化阶段（持续）
- 调优查询性能
- 优化 TiFlash 资源配置
- 建立新的分析工作流
迁移效果
| 指标 | 迁移前（离线数仓） | 迁移后（TiDB HTAP） |
|---|---|---|
| 数据延迟 | T+1（24 小时） | < 1 秒 |
| 系统数量 | 4 套 | 1 套 |
| 运维人力 | 8 人 | 3 人 |
| 报表刷新 | 每天一次 | 实时/定时 |
| 存储成本 | 3x 数据冗余 | 1.5x |
FAQ
Q：HTAP 能完全替代 ClickHouse 吗？
A：在中等数据量（TB-十 TB 级）和中等复杂度分析场景下，TiDB HTAP 可以替代 ClickHouse。对于极大数据量或极复杂查询，可以保留 ClickHouse 作为辅助，TiDB 作为实时层。
Q：迁移到 HTAP 会影响现有离线分析吗？
A：不会。建议渐进式迁移：先将实时性要求高的分析迁移到 TiDB HTAP，保留离线数仓处理超大规模分析，两者互补。
Q：TiFlash 的分析性能如何？
A：TiFlash 使用向量化执行引擎，支持 MPP 并行计算。在亿级行数据、10 列左右的聚合查询场景下，响应时间通常在秒级。适合大多数企业级实时分析需求。
总结
实时分析是数字化转型的核心能力。从离线数仓到 HTAP 的升级，不仅解决了数据延迟问题，更从根本上简化了架构、降低了成本。TiDB HTAP 通过行列混存架构，在一套系统中实现事务处理和实时分析，是企业实时数据平台的理想选择。
下一步行动
- 申请 Demo：申请 TiDB HTAP 实时分析 Demo — 评估实时分析架构升级路径
- 产品试用：TiDB Cloud 免费试用 — 快速体验 HTAP 能力