数学公式爬取及格式转换统一.pptVIP

数学公式识别提取 陈立辉 内容 爬虫结构流程 结构 快速识别 Maple转换 Java Dom解析介绍 1.爬虫结构流程 爬取网页模块 提取数学公式模块 转换模块 harvest格式写入文件模块 文件夹 Web 存放 1.爬虫结构流程 快速识别包含数学公式网页模块 提取数学公式模块 （presentation、混合型MathML） maple转换模块 harvest格式写入文件模块 文件夹 Web 存放 ① ② ③ 爬取网页模块 修改后 快速识别包含数学公式网页模块 过滤条件： 纯文字网页： 如：纯中文、英文等网页 不包含数学公式基本变量： 如：x,y,z,a,b,c,k（独立字母） α,β,γ,ε,η,θ（希腊字母） 不包含运算符： 如：=、、、+、-、*、/、×、÷ 获取网页源码 抽取网页MathML源码 不包含运算符 不包含数学公式基本变量 纯文字网页 否 否 否 是 是 是 提取数学公式模块 正则匹配： 实现Presentation、混合MathML、（Content、infix） * 获取网页源码 MathML正则匹配 抽取网页MathML源码 是否找到MathML 是 否 maple转换模块 混合及presentation源码： 为保持公式原型，对mn标记 包含的纯数字添加后缀@， 进行转换，转换后将后缀及 包含此文本的标记修改为原 型 调用maple Presentation MathML转成Content MathML 产生Content MathML源码 Presentation MathML源码 修改包含纯数字的mn标记 修改ci及包含文本为cn及原文本 mn包含文本为数字 ci包含修改文本 是 是 否 否 2.JAVA DOM解析 用Java解析XML文档，最常用的有两种方法： 使用基于事件的XML简单API（Simple API for XML）称为SAX 基于树和节点的文档对象模型（Document Object Module）称为dom 2.JAVA DOM解析 1.接口包含了三个包： （1）org.w3c.dom　W3C推荐的用于XML标准规划文档对象模型的接口。 （2）org.XML.sax　 用于对XML进行语法分析的事件驱动的XML简单API（SAX） （3）Javax.XML.parsers解析器工厂工具，程序员获得并配置特殊的特殊语法分析器 2.首先来了解点Java DOM 的 API: (1).解析器工厂类：DocumentBuilderFactory 创建的方法： DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance(); (2).解析器：DocumentBuilder 创建方法：通过解析器工厂类来获得 DocumentBuilder db = dbf.newDocumentBuilder(); (3).文档树模型Document 创建方法： a.通过xml文档 Document doc = db.parse(bean.xml); b.将需要解析的xml文档转化为输入流 InputStream is = new FileInputStream(bean.xml); Document doc = db.parse(is); Document对象代表了一个XML文档的模型树，所有的其他 Node都以一定的顺序包含在Document对象之内，排列成一 个树状结构，以后对XML文档的所有操作都与解析器无关， 直接在这个Document对象上进行操作即可 4.节点列表类NodeList NodeList代表了一个包含一个或者多个Node的列表，根据操 作可以将其简化的看做为数组 5.节点类Node Node对象是DOM中最基本的对象，代表了文档树中的抽象 节点。但在实际使用中很少会直接使用Node对象，而是使用 Node对象的子对象Element,Attr,Text等 6.元素类Element 是Node类最主要的子对象，在元素中可以包含属性，因而 Element中有存取其属性的方法 7.属性类Attr 代表某个元素的属性，虽然Attr继承自Node接口，但因为 Attr是包含在Element中的，但并不能将其看做是Element的 子对象，因为Attr并不是DOM树的一部分 参考资料 DOM Core常用: /blog/839141 Java API * *