基于网络爬虫的电子易购软件设计与实现.docVIP

基于网络爬虫的电子易购软件设计与实现 　　摘 要： 网上购物已经普及，电子商务网站日渐增多，如何从这些网站中快速地选择出自己喜爱的商品是一件不小的工作。提出一种电子易购的解决方法。该方法通过网络爬虫在整个电子商务网站系统上抓取有用的信息存储在数据库中，然后对相关数据进行分析，利用Spring+Struts2+Hibernate+MySQL技术实现了基于B/S模型架构的网站展示给用户，使用户更了解各个商城电子商品之间的差异，进而选择更适合自己的商品。通过网络实验，证明该方法行之有效。 　　关键词： 电子易购； 电子商务； 流量； 网络爬虫 　　中图分类号：TP274 文献标志码：A 文章编号：1006-8228（2017）02-41-04 　　0 引言 　　当今电子商务业务开发如火如荼。在法、德等欧洲国家，电子商务所产生的营业额已占商务总额的1/4，在美国已占1/3以上，而这些欧美国家电子商务的历史也不过十几年的时间。在美国，美国在线（AOL）、雅虎、电子港湾等著名的电子商务公司在1995年前后开始赚钱，IBM、亚马逊书城、戴尔电脑、沃尔玛超市等电子商务公司在各自的领域更是取得了令人不可思议的巨额利润[1，5]。 　　中国电子商务始于1997年，如果说美国电子商务是“商务推动型”，那么中国电子商务则更多的是“技术拉动型”，这是在发展模式上中国电子商务与美国电子商务的最大不同[6，10]。在美国，电子商务实践早于电子商务概念，企业的商务需求“推动”了网络和电子商务技术的进步，并促成电子商务概念的形成。当Internet时代到来的时候，美国已经有了一个比较先进和发达的电子商务基础。在中国，电子商务概念先于电子商务应用，“启蒙者”是IBM等IT厂商，网络和电子商务技术需要不断“拉动”企业的商务需求，进而引致中国电子商务的应用与发展。了解这一不同点是很重要的，这是中国电子商务发展的一大特点，也是理解中国电子商务应用与发展的一把钥匙。 　　电子商务网站发展繁荣的今天 ，面?R多元化的电子商务网站。对于用户来说不知道去哪里买电子产品而显得十分头痛。导航就是一个可以指导用户购物的电子产品，为用户选择商品提供帮助，可使用户更加方便、快捷，并防止不懂电子产品的用户更优惠的选择适合自己的产品[11，14]。 　　1 系统结构 　　电子易购软件的模块设计如图1所示。 　　2 项目管理工具设计 　　Maven可以对第三方依赖库进行统一的版本管理，其具有统一项目的目录结构，可以保证所有项目的目录结构都是一样的，目录结构统一的好处是，要找源代码就去src/main/java/下，要找需要放到classpath下 的资源，就去src/main/resources/下。把软件开发的过程划分成了几个经典阶段，比如先生成一些Java代码，再把这些代码复制到特定位置，然后编译代码，复制需要放到 classpath下的资源，再进行单元测试，单元测试都通过了才能打包和发布。Maven还支持多种插件，自动生成项目网站和报表。 　　使用Ant，最令人头疼的就是要为不同的项目写很多build.xml脚本，而且这些脚本还不太通用，现在可以使用Maven提供的这些经典构建阶段，让每个项目只经过相同的步骤，从源代码一步一步变成可以部署的成品。如果还要什么附加功能，则把对应的插件绑定到一个构建阶段上，那么到了执行这个构建阶段时，就会执行绑定的插件了。 　　如果说Ant可以使用ivy实现第三方依赖库的统一管理，如果说Ant可以自己统一项目的目录结果，如果说Ant支持插件更灵活，那么这些特性绝对没有Maven强。 　　Maven可以自动为项目生成一个网站，里面包含了项目信息，参与人，项目管理相关的资源，第三方依赖库，使用的插件，以及通过其他扩展插件生成的各种报表。Ant 使用某些插件也可以生成html格式的报表，但是各个报表之间都没什么关联，不像Maven中将网站和报表都关联在一起，查看起来十分方便。Maven是基于项目对象模型（POM），可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。 　　通过MyEclipse创建Maven项目名为：gobuy，在main文件夹下建立webapp文件夹，将其作为Web的根目录。在Maven的pom.xml文件中加入jar统一包进行管理。 　　3 系统构架与实现设计 　　现在流行的框架有很多，例如Spring，Struts2，Hibernate等等。其中Spring+Hibernate+Struts2最为广泛使用，并且可以把大学的所学应用于实际项目中。而且这三个都是轻型框架，很多代码不用自己编写，是目前中小公司用的最多的框架之一，若架构搭得好，开发速度比java项目会提高不少，维护也比较方便，可拓