中信证券非结构化数据处理平台建设实践.pdfVIP

数据能力 DATA CAPABILITY 中信证券非结构化数据处理平台建设实践 中信证券股份有限公司信息技术中心 岳丰 王哲 刘殊玥 余怡然 方兴 中信证券股份有限公司(以下简称“中信证券”） 1. 在数字化阶段，需要实现海量多格式文档的 在各项业务展业过程中，需要及时、准确地处理海量非 数字化 结构化数据。围绕数据加工的全生命周期，中信证券综 文档作为证券公司使用最多的非结构化数据格式， 合应用OCR、NLP、RPA、搜索引擎、知识图谱等AI技术， 特点是数据量大、格式繁多、内容多样、专业性和时效 在非结构化数据识别解析、自然语言理解与结构化处理、 性强。中信证券各部门文档识别解析需求量巨大，但缺 非结构化知识存储与检索等方面，开展公司级非结构化 少统一平台支持，多依赖人工处理且消耗较高时间成本。 数据处理平台建设。 海量多格式文档的数字化需求主要涉及以下内容：对扫 描PDF或图片，基于OCR识别完成数字化，对不同类 一、非结构化数据处理需求 型文件采用全文识别、模板识别、表格识别等方法处 随着企业数字化转型的持续深入，证券公司在客户 理；对可提取文字文档进行全文解析，适配双层PDF、 服务和内部管理中需要更加快捷有效地处理各种海量数 DOC/DOCX、PPT/PPTX、XLS/XLSX等常见格式；开 据。统计表明，企业数据有80%以上都是以非结构化 发文档版式分析工具，解析标题、段落、图表等要素及 的形式存在，且占比还在持续扩大。当前，中信证券非 位置，帮助回溯预览。 结构化数据处理需求场景非常广阔，几乎覆盖所有业务 2. 在结构化阶段，实现自然语言的结构化和语义 部门，但公司已有的系统主要针对结构化数据处理，急 理解 需建设分析、处理、挖掘非结构化数据的技术平台，从 证券公司非结构化数据的内容主要是自然语言。与 海量数据中挖掘价值。 机器语义不同，自然语言具有多样性和歧义性，应用中 非结构化数据加工处理全生命周期可划分为数字 需要从非结构化文本中，抽取各种结构化信息，并理解 化、结构化、知识化和业务应用四个阶段，各阶段需要 文本的语义。中信证券主要关注两方面需求：一是基于 解决以下关键问题。 命名实体识别、关系抽取、属性抽取、文本分类等NLP 64 FINANCIAL COMPUTER OF CHINA 数据能力 Data Capability 算法，抽取实体、关系、属性、类别等结构化信息；二 流程管理的重要探索。 是基于深度语义表示学习，计算单词、句子、文章等的 二、非结构化数据处理平台体系架构 语义向量表示，从而度量语义相似性。 3. 在知识化阶段，实现非结构化知识的存储与检索 2020年，中信证券开展非结构化数据处理平台建设， 中信证券从三个方面对非结构化知识进行管理：一 依托文档智能、知识管理和数据管理三个数据应用系统， 是提供非结构化数据的统一存储和权限控制功能；二是 为公司财富管理、资产管理、清算、库务、合规、风控、 基于搜索引擎技术，对公司研报、规章制度、技术文档 证券金融、自营投资、中信香港、信息技术等十多个部 等重要非结构化知识自动构建倒排索引，除支持关键词 门提供服务，初步实现了服务全公司非结构化数据处理 全文搜索外，还开发了自动摘要、主题抽取、情感分析、 的愿景，并取得了显著经济效益和社会效益。中信证券 语义模糊搜索等功能；三是基于抽取的实体、关系和属 综合应用AI代替人工处理非结构化数据，实现了降本 性构建知识图谱，特别是在元数据管理场景下，研发针 增效，目前已节