基于IE和Gecko内核网页内容获取与分析研究.docVIP

基于IE和Gecko内核网页内容获取与分析研究 　　摘要：对基于IE内核（如IE,Maxthon）与基于Gecko内核（如Firefox）的浏览器的网页内容获取与分析的技术进行了研究，采用Visual C++ 6.0为平台，基于COM技术和微软的MSAA技术，采用了多种方式实现了基于以上两类不同内核的浏览器的网页内容获取，并对这几种获取方式进行了优劣比较。 　　关键词：COM; DOM; MSAA; IE; Gecko; windows编程 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2008)23-936-04 　　The Research of the Technique of Capturing and Analyzing the Web Page Contents Based on the Kernel of IE and Gecko 　　ZHOU Zhou 　　(College of Software Engineering, Beijing Jiao Tong University, Beijing 100044, China) 　　Abstract: With the instant development of World Wide Web, it becomes important to capture and analyze the web page contents in order to give the customers information better arranged. This article did a research in several ways and techniques which can capture and analyze the web pages by using the Visual C++ 6.0, on the basis of COM and MSAA. At last the article compared all the techniques and listed distinctly their advantages and disadvantages. 　　Key words: COM; DOM; MSAA; IE; Gecko; windows programming 　　 　　1 引言 　　 　　随着互联网的迅猛发展，如今我们面对的是一个包罗万象的网络世界，面对浩如烟海的信息，如何有效地提取网页信息成了一个十分重要的课题。如果掌握了相关的网页内容获取技术，将可以进行多方面的拓展活动，比如实时网页内容审查过滤、用户浏览行为分析、用户浏览网站的实时统计、网页自动化测试、为残疾人士浏览网页提供辅助功能。以上许多活动中都可能隐藏着很多潜在的商机。 　　 　　2 关键概念 　　 　　2.1 组件技术（COM） 　　简单地说，COM是一种跨应用和语言共享二进制代码的方法。与C++不同，它提倡源代码重用。COM通过定义二进制标准解决了这些问题，即COM明确指出二进制模块（DLLs和EXEs）必须被编译成与指定的结构匹配。这个标准也确切规定了在内存中如何组织COM对象。COM定义的二进制标准还必须独立于任何编程语言（如C++中的命名修饰）。一旦满足了这些条件，就可以轻松地从任何编程语言中存取这些模块。由编译器负责所产生的二进制代码与标准兼容。这样使后来的人就能更容易地使用这些二进制代码。 　　2.2 MSAA （Microsoft? Active Accessibility） 　　Microsoft? Active Accessibility 是一种相对较新的技术。目的是方便身患残疾的人士使用电脑――可用于放大器、屏幕阅读器，以及触觉型鼠标。同样还可以用来开发驱动其它软件的应用程序，其模拟用户输入的能力尤其适合测试软件的开发。 　　Active Accessibility 的主要思想是提供一种以程序方式访问UI元素信息或操作这些UI元素的功能。支持这种功能的 UI(User Interface) 元素是可访问的。在大多数情况下，这意味着一个UI元素支持 IAccessible 接口。你也可以说在 Active Accessibility 的世界里，一个可访问的UI元素可表示为 IAccessible 接口。每当你需要得到有关一个元素的信息，在其上执行一个动作，或者使用 Active Accessibility 做其它的什么，你通常需要通过使用代表这个元素的 IAccessible 接口的一种方法或者属性来引用这个元素。 　　2.3 GUID （Globally Unique Identifi