基于分块的新闻网页信息抽取算法 - 计算机应用与软件.pdfVIP

第３２卷第４期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．４ ２０１５年４月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｐｒ．２０１５ 基于分块的新闻网页信息抽取算法 姬　鑫　钟　诚 （广西大学计算机与电子信息学院　广西南宁５３０００４） 摘　要　　为了更彻底地清洗网页噪音，减少网页噪音对新闻内容抽取准确率的影响，提出基于模板页的相同噪音块清洗方法和基 于ｃｌａｓｓ属性的同类噪音块和特殊噪音块清洗方法；在此基础上，利用新闻网页在内容布局结构上的特征，提出基于起始块和终止块 的新闻内容抽取方法。实验结果表明，与已有的算法相比，提出的方法抽取准确率更高，能够同时适应正文内容存放在单块和多块 的情形，并且有效地解决了正文内容较短时的抽取问题。 关键词　　网页信息抽取　模板页　分块　相同噪音块　同类噪音块　特殊噪音块 中图分类号　ＴＰ３９３．４　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０４．０７４ ＢＬＯＣＫＩＮＧＢＡＳＥＤＩＮＦＯＲＭＡＴＩＯＮＥＸＴＲＡＣＴＩＯＮ ＡＬＧＯＲＩＴＨＭＦＯＲＷＥＢＰＡＧＥＯＦＮＥＷＳ ＪｉＸｉｎ　ＺｈｏｎｇＣｈｅｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＧｕａｎｇｘｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ５３０００４，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｏｍｏｒｅｔｈｏｒｏｕｇｈｌｙｐｕｒｇｅｔｈｅｎｏｉｓｅｓｉｎｗｅｂｐａｇｅａｎｄｒｅｄｕｃｅｔｈｅｅｆｆｅｃｔｏｆｗｅｂｐａｇｅｎｏｉｓｅｓｏｎａｃｃｕｒａｃｙｏｆｎｅｗｓｃｏｎｔｅｎｔｅｘｔｒａｃｔｉｏｎ， ｗｅｐｒｏｐｏｓｅｔｗｏｃｌｅａｎｉｎｇｍｅｔｈｏｄｓ，ｔｈｅｔｅｍｐｌａｔｅｐａｇｅｂａｓｅｄｃｌｅａｎｉｎｇｍｅｔｈｏｄｆｏｒｓａｍｅｎｏｉｓｅｂｌｏｃｋｓａｎｄｔｈｅｃｌａｓｓａｔｔｒｉｂｕｔｅｂａｓｅｄｃｌｅａｎｉｎｇ ｍｅｔｈｏｄｆｏｒｓｉｍｉｌａｒｎｏｉｓｅｂｌｏｃｋｓａｎｄｓｐｅｃｉａｌｎｏｉｓｅｂｌｏｃｋｓ；ｂａｓｅｄｏｎｔｈａｔ，ｂｙｕｓｉｎｇｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｗｅｂｐａｇｅｏｆｎｅｗｓｉｎｃｏｎｔｅｎｔｓｌａｙｏｕｔ ｓｔｒｕｃｔｕｒｅ，ｗｅｐｒｅｓｅｎｔｔｈｅｂｅｇｉｎｎｉｎｇｂｌｏｃｋａｎｄｅｎｄｂｌｏｃｋｂａｓｅｄｎｅｗｓｃｏｎｔｅｎｔｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｍｐａｒｅｄ ｗｉｔｈｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍ，ｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｈａｓｈｉｇｈｅｒｅｘｔｒａｃｔｉｏｎａｃｃｕｒａｃｙｒａｔｅａｎｄｃａｎａｄａｐｔｔｏｔｈｅｓｉｔｕａｔｉｏｎｔｈａｔｔｈｅｔｅｘｔｃｏｎｔｅｎｔｉｓｓｔｏｒｅｄ ｉｎｅｉｔｈｅｒｓｉｎｇｌｅｂｌｏｃｋｏｒｍｕｌｔｉｐｌｅｂｌｏｃｋｓ，ａｎｄｉｔｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｓｔｈｅｅｘｔｒａｃｔｉｏｎｐｒｏｂｌｅｍｏｆｓｈｏｒｔｅｒｔｅｘｔｃｏｎｔｅｎｔ． Ｋｅｙｗｏｒｄｓ　　Ｗｅｂｐａｇｅｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎ　Ｔｅｍｐｌａｔｅｐａｇｅ　Ｂｌｏｃｋｉｎｇ　Ｓａｍｅｎｏｉｓｅｂｌｏｃｋ　Ｓｉｍｉｌａｒｎｏｉｓｅｂｌｏｃｋｓ　Ｓｐｅｃｉａｌｎｏｉｓｅｂｌｏｃｋ 用，需要通过人为或者学习方式来建立新的抽取规则。 ０　引　言 文献［１０］利用统计方法找出网页中中文字符数量最多的 ＜ｔａｂｌｅ＞节点从而获取正文信息，但它仅适用于正文信息存放 网页信息抽取是数据挖掘中一个重要研究领域，旨在从半 在＜ｔａｂｌｅ＞节点中的情形。文献［１１］将每个＜ｔａｂｌｅ＞节点