技术让古籍数字化回归：AI识别20万页古籍 准确率达97.5%

“汉典重光”项目由阿里巴巴公益基金会、四川大学、美国加州大学伯克利分校、中国国家图书馆、浙江图书馆合作开展，旨在寻觅流散海外的中国古籍并将其数字化、公共化，让普通人也能亲近古籍，通过古籍与先贤对话，与优秀传统文化对话。

古籍数字化尝试由来已久，但难度大、成本高。古籍文字字类多、字体多样，外加流传过程中出现的各类损坏，使得识别难度极高。由于缺乏充足的训练数据，常规OCR识别方法高度依赖人工，几乎需要专业人员逐字标注，导致古籍数字化无法形成规模效应，总体进程缓慢。

2019年，阿里巴巴和四川大学提出“数字化回归”设想，四川大学历史文化学院王果副院长与该院教授、中央文史研究馆馆员陈力牵线搭桥，沟通北美、欧洲、日韩等地藏书机构，获得加州大学伯克利分校支持，达成共识，将伯克利东亚图书馆的中文古籍善本逐步数字化。

据了解，常规的古籍数字化完整流程分为几大环节：采集侧（纸质书变为电子扫描版）-数字化生产侧（电子扫描版变为文字版）-应用侧（文字版变为古籍研学系统，涵盖检索、字典、知识图谱等功能）。

而达摩院所做的工作，主要集中于数字化生产侧、应用侧两个环节。在数字化生产侧，达摩院自研了一套全新的AI古籍识别系统，可以规模化、系统化对电子扫描版古籍进行识别。

达摩院团队通过调研发现，既有技术存在较大瓶颈，AI的古籍识别能力未能达到业界认可的标准，且始终高度依赖人工标注、人工校验。人工成本已成阻碍古籍数字化的重要原因，今天很难找到众多识得古籍文字的专家来开展浩繁的人工录入和检校工程。因此，中文古籍数字化的技术进展一直比较缓慢。

在此之前，达摩院沉淀了完整的OCR技术能力，主要用于解决现代场景中的文字识别需求，比如文档、卡证、表单等识别。而古籍识别与现代场景的文字识别存在巨大差异，在现代场景下识别准确率超过99%的算法，应用到古籍识别上识别率不足40%。

达摩院视觉实验室负责人徐盈辉介绍，基于上述原因，达摩院的识别技术并没有走传统OCR的模式，即做行检测、列检测，反而是做单字识别。

达摩院技术团队与四川大学专家联手研发了一套全新的古籍识别系统。利用单字检测、无监督单字聚类、小样本学习、主动学习等机器学习方法，构造了一套边识别古籍、边训练模型的系统，在首批数字化的20万页古籍上，达到了97.5%的识别准确率，AI现已能够识别3万类古籍文字。这套人机交互的识别方案，其效率比人工录入效率提升近30倍，并且大大降低了对录入人员的专业要求。

徐盈辉介绍，通过视觉手段，让机器学习到单字，字和字之间的差异。通过这种技术手段，解决了字的聚合问题，解决了字的聚合问题以后，再由四川大学的古籍专家，包括老师带的古籍界的学生们一起帮助做识别检查，同时把专家的建议注入到系统里面。“我们构建一套先基础感知模块去进行单字表征，单字表征以后做单字聚合，做完单字聚合以后，再由我们古籍专家跟我们系统发生交互，来告诉我们什么做对了，什么做错了。这个反馈的信息会到我们后台，再进一步的去更新我们的表征模型，我们再会产生相应的单字聚合结果，再回馈给我们的古籍专家，形成这样一个闭环的工作模式。”徐盈辉说道。

目前，首批20万页古籍已完成数字化，并沉淀为覆盖3万多字的古籍字典，公众可通过汉典重光平台翻阅、检索古籍。

在中央文史研究馆馆员、四川大学教授陈力看来，古籍数字化对于原件、文物价值本身也是一种很好的保护。作为一个开放平台，汉典重光能够为学者提供一个研究平台，同时为普通大众提供一个学习的平台。陈力说道：“这才是让古籍真正活起来，既能为研究者所使用，也能为我们的普通大众所使用，它对于文化传承来说，意义是十分大的。”

阿里巴巴达摩院院长张建锋表示，守护中华传世典籍，是科技工作者和文化工作者共同的使命。阿里计划将这套技术工具连同古籍数字化平台一并捐赠，交由权威公共机构长期运营，同时，阿里仍将在古籍数字化工作上持续投入人力物力。

目前，在该系统基础上，达摩院研发搭建了集古籍数字化交互式训练、古籍全文内容检索、古籍汉字字典三大功能于一体的汉典重光古籍数字化平台。随着今后数字化规模的扩增，系统的识别准确率和识别效率还将不断提升。

据徐盈辉透露，未来，该平台将尝试拓展数据数量、进行更加详细的数据挖掘、分析，提高识别准确率。达摩院希望能够实现古籍全文检索的能力：只要在平台输入命名实体，比如一个人名、地名，就可以知道这个人名曾经出现过哪些典籍里面。