半结构化网络信抽取技术及应用研究.pdfVIP

摘要 摘要 本课题研究是实验室课题“电脑农业的一部分，针对农产品的季节性，周 期性和区域性的特点，进行实时的信息采集尤为重要。 本文针对农产品市场价格数据，采用了基于)(ML和XPath的方法，以生成简 单、精确和健壮性较好的抽取规则，开发了可视化网页信息抽取平台，使得用户 通过简单的输入、点击、复制、粘贴等操作，即可完成同一站点页面簇中各页面 分量价格数据的自动化批量抽取。抽取结果具有很好的精确性和召回率。该平台 可以实时、自动地抽取网络上的数据，并在对抽取结果进行整理、清洗后存入后 台数据库。然后建立查询网站，使收集到的数据能够通过网页的形式展现给用户。 同时本文采用了基于参照文本和文档对象模型(DoM)相结合的方法来对农 产品供求信息进行抽取，该方法利用基于参照文本抽取的灵活性和DoM树结构定 位的精确性，可以对网页结构多变的一类网页准确的进行信息抽取。同时结合 GSM和网络爬虫技术，开发了基于GSM和Web信息抽取的短信推送服务平台，能 够将用户感兴趣的信息以短信的方式及时推送给用户，有效地解决了用户信息服 务个性化、信息更新及时性以及农村用户在获取农产品供求等信息时对互联网的 依赖等问题，改变了传统的依靠搜索引擎获得信息的服务模式。 关键字：网络爬虫Web信息抽取WrapperGSM推送服务 ABSTRACT ABSTRACT This researchis a of researchaS “the topic part laborato巧 Computer tothe characteristicsof and ofthe agriculture”．Due seasonal，periodicalregional infomlationcollectionis agricultumlproduct，reaLl—time particularlyimporrtant． Inthjs have theVisualWebInf-onnationExtractionPl thesis，wedeveloped onmeXMLandXPath atform，baSed methodt0 a11dro generatesimple，precise busti11f．omlationextraCtion mles．The callenableuSersto t王1e platf．0nIl complete automatedbatchcollectionof market theclusterof ag，icultllralpricedata，行om inthesame W曲Pages Website suchas onlythrou曲somesimpleoperations etc．Theex位lctionresultshave aIl entering，clicl(ing，copying，paSting hi曲accuracy drecall．The canc01lect