顶创科技舆情监测系统的设计与实现软件工程专业论文.docxVIP

专业学位硕士学位论文顶创科技舆情监测系统的设计与实现 专业学位硕士学位论文 顶创科技舆情监测系统的设计与实现 Design and Implementation of Public Opinion Monitoring System of Ding Chuang Tech 学 大连理工大学 Dalian University of Technology 万方数据 ．一一Y2822565一 ．一一Y2822565一㈣㈣㈣删I 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 堕剑型垫塞堕鳖型墨堕塑丛盐量塞塾—— 作者签名： !墨毖 日期：—堕年—L月皇一曰 万方数据 大连理工大学专业学位硕士学位论文摘 大连理工大学专业学位硕士学位论文 摘 要 顶创科技为西安顶创电子科技有限公司的简称，是一家以研发和经营手机配件及手 机智能周边产品为核心业务的创业公司。对于以科技智能创新为起点的创业公司来说， 善于发现新事物和新需求成为是否能快速盈利的关键，所以对智能手机和新奇配件等方 面的舆情监测工作就特别的重要。 本文的舆情系统基于MySQL数据库管理系统，使用Python语言开发。整个系统由 用户配置模块、数据抓取模块、数据提取模块、数据分析模块和数据存储模块构成。用 户配置模块主要用于进行关键词管理、类目管理和预警管理，其中的关键词管理包含了 主词、或词、过滤词和预警词四大词类；数据抓取模块是指驱动主题爬虫抓取有针对性 的信息，在数据抓取这一阶段需要注意的是一方面要保证数据的及时性和全面性，另一 方面要严格遵守网站对网页的访问限制；数据提取模块是从网页中获取用户关注信息的 关键，包括网页的标题、正文、发布时间、作者、文章来源、阅读量和回复量等，对标 题和正文的提取采用概率的学习方式对网页结构进行解析，对发布时间、作者、来源等 信息的提取上采用了传统的正则表达式；数据分析模块即对信息与用户的匹配性进行分 析；数据存储模块是整个系统的核心模块，基本所有的模块都需要和数据存储交互以实 现其自身模块的功能，所以数据存储模块并发性和稳定性有很高的要求。 该舆情系统结合顶创科技的实际需求进行了相关测试，测试结果表明系统在获取信 息的时效性和内容全面性上能够满足用户对舆情信息的监控需求，具有一定的使用价 值。 关键词：网络舆情；数据库；网络爬虫 万方数据 顶仓q科技舆情监测系统的设计与实现Design 顶仓q科技舆情监测系统的设计与实现 Design and Implementation of Public Opinion Monitoring System of Ding Chuang Tech Abstract Ding Chuang Tech is short for Xi。an Ding Chuang Electronic Technology Co．，Ltd．，and is a start-up company taking the development and operation of mobile phone accessories and intelligence pefiphera]products as the core business．To fmd new things and new demands IS the key to profitability quickly for start—ups，SO public opinion monitoring on smart phones and accessories is particularly important． Public opinion system iS based on MySQL database management system and developed by Python．nle system consists of user configuration module，data crawling module，data extraction module．data analysis module and data storage module，The user confi．g吣ration module iS mainly used for keyword management，category managem