NekoHTML 技术预研说明.docVIP

NekoHTML技术预研说明 TOC \o 1-3 \h \z \u 一、 NekoHTML功能简述 1 二、 NekoHTML的安装和环境配置 1 1. 环境要求 1 2. 下载安装 1 三、 NekoHTML调用说明： 2 四、 XML 路径语言（XPath） 3 五、 NekoHTML管道过滤 3 六、 关注的问题 4 1. 对URL的处理 4 2. css,script 5 3. 删除不需要的数据标签 5 参考资料 6 NekoHTML功能简述 NekoHTML是一个简单地HTML扫描器和标签补偿器,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI)，后者是Xerces2（一个XML文档解析开源项目）的实现基础。 本文关注的是它的“解析HTML文档”和“用标准的XML接口来访问其中的信息”这两个功能点。 NekoHTML的安装和环境配置 环境要求 Jdk 1.3 或更高 Xerces 2.0.0 或更高 下载安装 从 /sourceforge/nekohtml/nekohtml-.zip 下载当前版本，版本号为 下载完成后，解压nekohtml-.zip，并构建一个项目。将Xerces2的JAR文件添加到项目构建路径中。 注：使用nekohtml-.zip自带的xercesMinimal.jar这个包时，有编译错误，本文使用的是从 /dist/xerces/j/Xerces-J-bin.2.9.1.tar.gz下载的Xerces。 NekoHTML调用说明： 重要的是DOMParser 这个类，示例代码如下： DOMParser parser = new DOMParser();// 创建一个NekoHTML解析器 parser.parse();//解析URL或HTML文档 parser.getDocument();//获得一个标准的W3C DOM对象。 得到Document对象之后，就可以对它进行XML解析了。 转换时需关注的： 被转换的HTML页面编码需为GBK 转换后得到的W3C DOM对象 的所有标签都都会转换为大写，但标签的属性不适用此特性。如： table class=data id=pieChart 标签会在转换后变为 TABLE class=data id=pieChart NekoHTML的配置 为了更加精确的控制解析的动作，nekohtml提供了相应的设置函数。如下列：// settings on HTMLConfigurationorg.apache.xerces.xni.parser.XMLParserConfiguration config =new org.cyberneko.html.HTMLConfiguration();config.setFeature(/html/features/augmentations, true);config.setProperty(/html/properties/names/elems, lower);// settings on DOMParserorg.cyberneko.html.parsers.DOMParser parser = new org.cyberneko.html.parsers.DOMParser();parser.setFeature(/html/features/augmentations, true);parser.setProperty(/html/properties/names/elems, lower);具体的参数配置参见 HYPERLINK HTML的解析。 XML 路径语言（XPath） XPath 是一种用于对 XML 文档的元件寻址的一种语言。适用Xpath可以方便的对DOM模型中的元素进行定位。Xerces2中提供了对Xpath的支持。另外使用nekoHTML转换后，得到的DOM模型与DOM4J使用的DOCUMENT不一样，所以不能使用DOM4J来搜索DOM中的元素 XPath 表达式使用路径表示法（与 URL 中使用的路径表示法类似）寻址 XML 文档的各个部分。 Xpath表达式样例： /bookstore，//author，//TABLE[@id=pieChart] 具体的语法见 HYPERLINK Xpath语法 示