TiDB vs DuckDB：嵌入式分析 vs 分布式 HTAP 场景对比

摘要

DuckDB 作为近年来备受关注的嵌入式列存分析引擎，以"SQLite 式的分析数据库"定位快速流行。TiDB 则是成熟的分布式 HTAP 数据库。两者都具备分析能力，但适用场景和技术路线截然不同。本文从定位、分析性能、部署方式、数据规模、适用场景五个维度进行对比，帮助团队理解何时选择嵌入式分析，何时需要分布式 HTAP。

本文适合谁：评估分析引擎选型的架构师和数据工程师，以及在 DuckDB 嵌入式分析和 TiDB 分布式 HTAP 之间做决策的技术团队。

一、产品定位对比

1.1 核心定位差异

1.2 架构对比

TiDB 分布式 HTAP：

Client → TiDB Server (SQL 解析/优化)
              ├── TiKV (行存，OLTP，分布式)
              ├── TiFlash (列存，OLAP，分布式 MPP)
              └── TiDB Server → TiDB Server (分布式查询)

DuckDB 嵌入式分析：

Python / R / CLI 进程
  └── DuckDB 进程内实例
        ├── 列存引擎（向量化执行）
        ├── 内存缓冲
        └── .duckdb 文件（持久化）

引用：核心区别：TiDB 是面向生产环境的分布式数据库，支持高并发读写和多节点扩展；DuckDB 是面向分析查询的嵌入式引擎，零部署开销，适合在应用进程内直接执行分析查询。

二、分析性能对比

2.1 TPC-H 查询性能

基于 TPC-H SF=1（约 1GB）数据集，单机测试：

引用：单机场景下 DuckDB 性能更优，因无网络开销和分布式协调成本。TiDB 的分布式优势在数据量增大和集群扩展时体现。

基于 TPC-H SF=100（约 100GB）多节点对比：

引用：数据量超过单机内存时，DuckDB 需要磁盘溢出，性能急剧下降。TiDB 的分布式 MPP 引擎在 100GB+ 规模下优势明显。

2.2 并发查询能力

# DuckDB：Python 进程内直接查询（零部署）
import duckdb
import pandas as pd

conn = duckdb.connect(':memory:')

# 从 CSV 直接查询（无需导入）
result = conn.execute("""
    SELECT 
        region,
        SUM(amount) AS total,
        COUNT(*) AS count
    FROM read_csv('orders.csv', header=True)
    WHERE order_date >= '2024-01-01'
    GROUP BY region
    ORDER BY total DESC
""").df()

print(result)

# 查询 Pandas DataFrame（无缝集成）
df = pd.read_csv('products.csv')
result = conn.execute("""
    SELECT category, AVG(price), COUNT(*)
    FROM df
    GROUP BY category
""").df()

# 查询 Parquet 文件（高性能列存）
result = conn.execute("""
    SELECT * FROM read_parquet('data/*.parquet')
    WHERE year = 2024
""").df()

-- TiDB：标准 MySQL 协议查询
-- 任何 MySQL 客户端、BI 工具直接连接
SELECT 
    region,
    SUM(amount) AS total,
    COUNT(*) AS count
FROM orders
WHERE order_date >= '2024-01-01'
GROUP BY region
ORDER BY total DESC;

-- HTAP 查询自动路由到 TiFlash
-- 管理员无需手动指定引擎
SET SESSION tidb_isolation_read_engines = 'tiflash, tikv';

三、部署方式对比

3.1 部署复杂度

3.2 快速上手对比

DuckDB（30 秒上手）：

pip install duckdb
python -c "
import duckdb
print(duckdb.query('SELECT 1+1 AS result').df())
"

TiDB（5 分钟上手）：

# 本地快速体验
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
tiup playground --host 0.0.0.0

# 或云上体验
# 访问 https://tidbcloud.com/free-trial

3.3 集群扩展能力

四、数据规模对比

4.1 适用规模

4.2 数据接入方式

# DuckDB 联邦查询：直接查询多种数据源
import duckdb
conn = duckdb.connect()

# 联合查询 PostgreSQL + CSV + Parquet
conn.execute("""
    INSTALL postgres;
    LOAD postgres;
""")
result = conn.execute("""
    SELECT 
        p.customer_id,
        p.amount,
        c.name
    FROM postgres_scan('host=localhost dbname=prod', 'payments') p
    JOIN read_csv('customers.csv') c ON p.customer_id = c.id
    WHERE p.amount > 1000
""").df()

五、适用场景分析

5.1 场景匹配表

5.2 典型使用模式

DuckDB 适合的模式：

• 数据科学家在 Jupyter 中快速分析数据集
• 开发者在 CI/CD 中验证数据质量
• 应用内嵌轻量分析（如工具类应用的本地报表）
• ETL 管道中的中间处理节点

TiDB 适合的模式：

• 面向用户的实时分析服务（需要高并发、低延迟）
• OLTP + OLAP 一体化的业务系统
• 需要高可用和水平扩展的生产环境
• 多租户 SaaS 分析平台

FAQ

Q1：DuckDB 能否替代 TiDB？

两者定位完全不同，无法互相替代。DuckDB 是单机嵌入式分析引擎，适合开发、分析和探索场景；TiDB 是分布式 HTAP 数据库，适合生产环境的高并发 OLTP + OLAP。选择取决于运行环境（开发 vs 生产）、数据规模（GB vs TB+）、并发需求（单用户 vs 多用户）。

Q2：TiDB 能否实现 DuckDB 的嵌入式分析体验？

TiDB 不支持嵌入式进程内执行，但 TiDB Cloud Serverless 提供了接近"零运维"的云数据库体验。对于需要在应用内嵌入分析能力的场景，可以考虑用 DuckDB 做本地缓存分析 + TiDB 做集中存储。

Q3：数据从 DuckDB 迁移到 TiDB 是否容易？

支持。DuckDB 可以导出为 CSV / Parquet，TiDB 支持 LOAD DATA 导入。也可以通过 Python 将 DuckDB 查询结果通过 MySQL 协议写入 TiDB。迁移路径是标准的 ETL 流程，技术门槛低。

Q4：两者可以组合使用吗？

可以且推荐。典型模式：TiDB 作为生产数据库存储所有业务数据，DuckDB 在数据科学 Notebook 中做快速探索性分析（通过导出样本数据到 Parquet，然后用 DuckDB 查询）。生产报表和分析服务则直接使用 TiDB HTAP。

总结

TiDB 和 DuckDB 分别在分布式 HTAP 和嵌入式分析领域各自领先，面向完全不同的使用场景。DuckDB 以"零部署、进程内、高性能列存"的优势，成为数据科学和开发场景的理想分析引擎；TiDB 以"分布式、ACID、HTAP"的优势，成为生产环境 OLTP + OLAP 一体化的可靠选择。技术选型应基于运行环境、数据规模、并发需求和可靠性要求做出判断。

下一步行动

1. 试用 TiDB HTAP：访问 TiDB Cloud 免费试用 创建集群，体验分布式 HTAP 的实时分析能力
2. 获取选型方案：阅读 TiDB HTAP 架构介绍 了解分布式列存分析的技术细节
3. 技术顾问咨询：联系 TiDB 技术团队 针对具体业务场景获取定制化方案

相关资源

• TiDB 官方文档
• TiDB HTAP 介绍
• TiDB Cloud 免费试用
• DuckDB 官方文档
• DuckDB Python 文档
• TiDB GitHub 仓库
• DuckDB GitHub 仓库