7.0
深览指数
科技人人都是产品经理·AI李子··AI 生成
诗词、字典、古籍：三个中文开源数据宝藏
本文从一个普通开发者和古典文化爱好者的视角出发，系统介绍了三个 GitHub 上的中文高质量开源数据项目：chinese-poetry（31.5 万首唐宋诗词及经典文集，结构化 JSON）、chinese-xinhua（32.6 万条成语、单字、词、歇后语数据库）和 daizhigev20（4.8GB、1.6 万种民间古籍纯文本合集）。文章侧重于对这些项目的数据体量和结构进行盘点，并列举了在 RAG 知识库、古文生成、数字人文分析等大模型时代的实用场景。对于正在寻找优质中文训练数据或想搭建文化类应用的开发者来说，这是一份非常实用的“藏宝图”。原文 ↗
核心观点
- ▍中文互联网上有一批开发者通过开源项目，将散落的诗词、字典和古籍整理为标准格式的 JSON、CSV 和纯文本数据，成为 NLP 和大模型应用的优质语料基础。
- 01chinese-poetry 项目在 GitHub 获得超过 5.3 万星标，收录了约 5.5 万首唐诗、26 万首宋诗以及 2.1 万首宋词，覆盖近 1.4 万位诗人。
- 02chinese-xinhua 项目收录了成语、单字、词语、歇后语合计约 32.6 万条记录，字段设计直观，易于导入数据库。
- 03daizhigev20 项目体量巨大，解压后约 4.8GB，包含约 1.6 万种典籍、20 万卷、近 20 亿字，全部采用纯文本存储，分为佛、儒、道、易、医等十部类目。
- 04文章提供了通过 git clone 或网页直接下载 ZIP 包两种获取数据的方法，并强调这些数据是 JSON、CSV 等标准化格式，易于被程序解析。
- 05作者建议将这些数据用于构建传统文化 RAG 知识库、高精度古典文学生成器、轻量级语言交互应用和数字人文意象挖掘。
反方 / 局限
- — 文章本质上是三个项目的介绍和汇总，虽然实用性强，但缺少对各个项目数据质量（如错别字率、格式统一性、版权争议）的深入评估，也未能与同类项目（如国学大师网、搜韵网）进行对比分析。
- — 文章未讨论使用这些大规模数据集训练模型时可能涉及的版权风险，特别是对于 daizhigev20 这类包含大量现代古籍整理成果的项目。
9 分钟 · 4 卡片 · 11 资料
读原文 →