1、文档智能技术应用与研究姚 聪阿里巴巴达摩院 资深算法专家|01文档智能技术平台02前沿技术研究03产业应用案例04更多技术展望目录 CONTENT|文档智能技术平台01|技术挑战和应对方案|文件格式多图片/pdf/html统一解析和表示元素种类多段落/表格/目录/图形多模态识别和抽取版式类型多文书/票据/表单/合同预训练和小样本技术文件页数多1200页多页长文档抽取技术亮点|层次化版面分析OCR文字检测文字识别印章识别结构化检测NLP手写识别多语言识别预训练电子文档解析电子文档渲染器电子文档解析器语言预训练视觉-语言联合预训练词法分析句法分析语义分析文本分析多模态文档识别样式识别表格识别多版式

2、异构表格理解多模态文档理解文档结构重建预置处理器文档分割文档KV抽取海关文档司法卷宗行业表单合同标书视觉-语言联合预训练技术文字识别(OCR)智能文档处理(IDP)l 文档理解预训练文档预训练模型Bi-VLDoc，通过视觉-语言交叉监督引导模态交互，学术界标准数据集上指标处于领先水平l 文字检测预训练业界首创将视觉-语言联合预训练模型应用于文字检测领域，在学术界数据集和真实数据集上均取得显著效果提升l OCR基础平台能力形成了证件、票据、多语种、多场景原子能力100+l 多语言识别与国际化卡证支持中、英、日、韩、俄、泰、马来、印尼、越南、土耳其、泰米尔等十余种文字的识别国际护照:覆盖世界主要国

3、家和地区固定版式信息提取l 层次化版面分析在视觉版面的基础上，引入语义标签信息，丰富了版面的标签体系，我们提供有42种视觉版面标签l 多版式异构表格理解针对复杂、丰富多变的表格理解，构建领先的无线表格、有线表格、固定版式表格、表单等多钟算法能力矩阵，在算法效果上应用在法律、海关等行业目前效果达到SOTA基础技术IDP技术前沿技术研究02|核心技术：文档预训练模型Bi-VLDoc|预训练任务：不同模态信号交叉监督，引导模态对齐RWTP（语言监督视觉）TIPA（视觉监督语言）BTIA（双向交叉监督）模型结构：不同模态强制混合注意力，引导模态对齐视觉端：语言端跨模态注意力+视觉自注意力语言端：视觉端

4、跨模态注意力+语言自注意力创新点：视觉-语言双向精准对齐三个预训练任务多模态强制混合注意力效果核心技术：多模态文档理解|基于预训练模型Bi-VLDoc微调下游任务在4项多模态下游任务上达到业界SOTA再次证明了预训练模型的价值核心技术：表格结构识别|不规则极端长宽比倾斜扭曲单元格位置和关系识别：CycleCenterNet逻辑坐标预测：基于transformer直接回归在学术数据集上超过之前最优模型能自适应解析各种有线、无线的复杂表格核心技术：从版面分析到多页文档结构|一级标签二级标签标题文档名称文档标题文档副标题段落一级标题段落二级标题段落标题段落子文档标题子文档副标题子文档名称目录标题表格

5、有线表格无线表格段落表名表注目录主体图名图注普通段落多栏文字无公式无注解脚注尾注页眉页码logo普通页眉图表普通图片logo页脚页码普通页脚logo印章无版面分析二级版面标签（语义标签）业内数量最多的版面标签跨页合并跨页段落合并跨页表格合并跨页表格单元格合并文档逻辑结构父子层级树指代等关系利用动态规划和图网络构建文档结构图当前业内最全的多页文档结构抽取应用：文档比对和文档转换|文档比对基于文档层级结构进行内容比对支持格式：word、pdf、图片之间两两比对文档格式转换输入图片、pdf文档，转成word、excel文件基于文档层级结构还原内容、样式和版式PDFWORD应用：公益-盲文文档识别|采

6、用的文档技术文字识别版面分析表格识别翻译盲文领域的成果盲文转中文盲文转公式盲文表格识别文档智能技术应用在盲文领域应用在盲校的作业、试卷批改上产业应用案例03|场景痛点传统的报关模式下，报关员需要人工输入所有海关需要的申报信息，肉眼核对纸制单证，各环节都是人工操作，通关时效和准确率都无法控制。达摩院通过文档AI技术，突破国际物流单据种类繁多，版式不固定等识别技术难点，提供智能海关单据抽取能力，解决了80%的人工流程，报关效率提升3.5倍，出错率下降95%。方案架构技术亮点 单据支持多 支持报关、订舱场景二十多种单据（固定/非固定版式）涵盖报关105个字段、订舱36个字段 识别准确率高 报关平均在90%以上 订舱平均在95%以上 支持各类文件内容 兼容图片、压缩包、pdf、excel、word文件格式 支持对多语言、手写、印章内容 贴合海关业务根据字段优先级进行多单据结果融合支持报关关键词、转码字段和品名等内容纠错进行海关要求处理字段转码（港口、币制等）产业应用智能报关更多技术展望04|更多技术展望|预训练技术的发展 版式语篇预训练 多格式文档预训练 长文档预训练上下游技术的融合 OCR UIE QA KG更丰富的应用技术 更多格式文档转换 目录摘要生成 行业自学习非常感谢您的观看|