站点中网页的信息分类及统计系统.pptVIP

下载本文档

1
0
约小于1千字
约 15页
2018-01-13 发布于河南
举报
版权申诉

站点中网页的信息分类及统计系统.ppt

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

站点中网页的信息分类及统计系统

“ ” “ ” 站点中网页的信息分类及统计系统指导老师张世博计093 李乐系统目标 1.测试主机是否开启 2.获取网页源代码 3.分析单张网页图片数量、链接数量、关键词 4.分析多张网页图片数量、链接数量、关键词系统界面简洁系统实现——界面采用MFC框架，由开发环境自动生成菜单栏——UPDATE_COMMAND_UI 机制地址栏——子对话框+CReBar 系统实现——PING 1.建立原始套接字 2.填充ICMP数据报 3.接收服务器响应系统实现——获取源代码引用wininet库源代码编码格式系统实现——分析源代码 1.正则表达式 2.CString成员函数 GetLength() Find() Left() Mid() Right() 系统实现——分析源代码 1.提取body标签中的内容 2.去除js代码 3.去除所有标签并分析链接和图片系统实现——提取关键字得到网页正文利用中科院分词系统接口系统实现——站点分析数据结构队列存储网页链接哈希表存储已分析过的链接站点结构——树遍历方法——广度优先系统实现——实现广度优先首地址 1(标志位) 3000 链接1 链接2 2(标志位) 系统实现——链接筛选不合法的链接 href=mailto:shujixinxiang@bipt.edu.cn href=# 过滤外网链接 B类网第二字节只差不超过2 C类网第三字节不超过20 高效性 GetLength()+malloc 初始化链接队列长度地址栏地址不变，已分析过的功能立即呈现。地址栏改变，所有变量重置谢谢 * * “ ” “ ” * *