毕设开题报告及开题报告分析.docVIP

开题报告如何写 注意点 1.一、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 2.二、阅读文献资料进行调研的综述 这部分就是对课题相关的研究的综述 落脚于本课题解决了那些关键问题 3.三、根据任务书的任务及文件调研结果，初步拟定执行实施的方案（含具体进度计划） 这部分重点写具体实现的技术路线 方案的具体实施方法和步骤了，具体进度计划只是附在后面的东西不是重点 南京邮电大学通达学院毕业设计(论文)开题报告 题　　目 学生姓名 班级学号 专业 一、是一种按照一定的规则，自动地抓取信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者开发了一款支持并行的微博数据抓取工具该工具可以实时抓取微博中指定用户的粉丝信息、微博正文等内容;该工具利用关键字匹配技术,匹配符合规定条件的微博,并抓取相关内容[J]；研究微博信息数据的分析，在这类研究中，大多数以微博消息传播的三大构件---微博消息、用户、用户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容，目的在于发祥微博中用户、消息传博、热点话题、用户关系网络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果，掌握了微博中的大量特征。该文献从微博消息传播三大构件的角度，对当前基于信息数据分析的微博研究进行系统梳理,提出微博信息传播三大构件的概念,归纳了此类研究的主要研究内容及方法? 对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。引入网页页面分析技术和主题相关性分析技术，展开基于主题的微博网页爬虫的研究与设计。本文的主要工作有研究分析网页页面分析技术，根据微博页面特点选择微博页面信息获取方法；重点描述基于“剪枝”的广度优先搜索策略的思考以及设计的详细过 程，着重解决URL的去重、URL地址集合动态变化等问题；研究分析短文本主题抽取技术以及多关键匹配技术，确定微博主题相关性分析的设计方案；最后设计 实现基于主题的微博网页爬虫的原型系统，实时抓取和存储微博数据。本文研究的核心问题是，根据微博数据的特点设计一种基于“剪枝”的广度优先搜索策略，并 将其应用到微博爬虫中；同时使用微博页面分析技术使得爬虫不受微博平台API限制，从而让用户尽可能准确地抓取主题相关的微博数据。 通过多次反复实验获取原型系统实验结果，将实验结果同基于API微博爬虫和基于网页微博爬虫的抓取效果进行对比分析得出结论：本文提出的爬行策略能够抓取 主题相关的微博数据，虽然在效率上有所降低，但在抓取的微博数据具有较好的主题相关性。这实验结果证明本论文研究的实现方案是可行的。Twitter，设计并实现了，一个爬虫系统，从另一个角度阐明了Python在编写爬虫这个方面的强大和快速。仅仅用少量的代码就能实现爬虫系统，并且再强大的社交网站也可以利用Python编写出对应的爬虫系统爬取相关的数据用于分析。 文献[11] 针对Web数据采集技术进行了介绍,分析了Web数据采集技术 在将非结构化数据转换为结构化数据方面的优势:速度快、准确性高。从HTTP协议层分析了Web数据抓取的原理,并重点介绍了如何实现基于Python的 Web数据采集方案。Web数据采集系统可以分为:HTTP交互和数据解析两个模块。 提出并实现自动化测试平台，命名为Desktop CheckList Testing。通过参照白盒测试自动化原理后，按照脚本语言的特点即运行时封装模板类改进为编译前封装模板文件。在该平台上可以自动化的运行Python黑盒用例并得到相应的运行结果反馈。 实验结果证明软件测试自动化平台对测试项目带来诸多便捷与改善。设计并实现了一 种可以自动登录并可以根据更新频率快慢智能抓取数据的爬虫, 权限和数据更新频繁等限制,传统的网络爬虫很难获取一部分数据不同于以往爬虫以页面为粒度,该爬虫以人为最小粒度,并以人与人之间的关系为抓取依据,在获取这类数据上有很好的性能。三、dynamic_id varchar(30) NOT NULL 是 动态id user_id varchar(30) NOT NULL 否 发动态的人的昵称 dynamic_title varchar(50) NOT NULL 否 动态标题 release_time varchar(30) NOT NULL 否 动态发布时间 from_place varchar(30) NOT NULL 否 动态的来源 5. 数据存储模块 包含数据库连接的获取和把获取到的信息存到数据库的表中。 例如