DuckDB入门
DuckDB 被称为“数据库界中的 SQLite”，它是一款专注于 OLAP (在线分析处理) 的列式关系型数据库管理系统。与传统的数仓不同，它是嵌入式的，无需独立服务器进程即可运行，且对大数据量的聚合查询进行了深度优化。
2. 技术选型：DuckDB Vs Pandas Vs Dask
Section titled “2. 技术选型：DuckDB Vs Pandas Vs Dask”在处理数据任务时，可以根据以下决策因素进行选择：
| 决策因素 | 推荐选择：DuckDB | 推荐选择：Dask (或 Spark) | 推荐选择：Pandas |
|---|---|---|---|
| 数据规模 | 小于 1TB，且数据集中在单机 | 大于 1TB，或需分布式计算 | 小于 10GB（受限于内存） |
| 偏好语言 | 倾向使用 SQL 进行分析 | 倾向 Python (Pandas/NumPy) API | 灵活的 Python 交互 |
| 部署环境 | 本地 或单个服务器运行 | Kubernetes 或云端集群 | 本地开发环境 |
| 核心优势 | 极速的 SQL 执行与零依赖安装 | 强大的横向扩展能力 | 丰富的数据科学生态 |
3. 核心特性
Section titled “3. 核心特性”- 列式存储：针对分析型查询（聚合、过滤）具有天然的性能优势。
- 高度集成：可以与 Python (Pandas/Polars)、R 语言等无缝对接，支持直接查询 Parquet, CSV, JSON 文件。
- ACID 支持：通过单一数据库文件提供事务保证。