西南交通大学java课程设计(网络爬虫设计、java简单画图程序设计、图书销售管理系统设计).docxVIP

信息科学与技术学院2014—2015第二学期《Java面向对象程序设计》——课程设计报告课程设计题目： 1、网络爬虫设计2、java简单画图程序设计3、基于 SQL server 2008 图书销售管理系统设计学号名：徐玉松专业：软件工程教 师： 陈帆2015-06网络爬虫设计设计的内容要求设计内容设计一款基于互联网的网络爬虫，要求使用java语言，并且使用其中的awt或者是swing包设计一款具有可视化的爬虫软件，其界面要十分友好，能满足一般爬虫的要求，要实现基本的爬取互联网上的资源的能力，能根据用户的自己需求爬取不同的网站，并能将网站对应源代码提取出来。设计要求爬虫需要实现的功能有：能对用户手动输入的链接执行爬取功能，并能对用户非法输入进行检测。能实现开始、暂停、结束功能能对正在爬取，爬取完成、正确链接、错误链接、邮件地址、未能识别的链接以及日志进行提取并时刻更新GUI让爬取的进度能实时的显示出来。能对正确链接实现网页源代码的提取，并将其保存。有非常友好的界面设计，有良好的用户体验。设计思想使用经典MVC模式使用经典MVC模式设计，实现数据访问和对界面更新的分离，我使用底层spider类从网络抓取对应的数据，控制层将对应的数据进行处理，使用实体类进行对应的数据共享传输，并在显示层使用容器机制对底层传来的对象进行绑定，实现了GUI的实时更新。使用多线程技术由于涉及对多个GUI界面进行跟新，而且数据实时在底层网上传输，怎样才能使GUI得更新不会阻塞UI主线程呢，根据对java多线程的了解后，我使用了多线程技术将数据更新放在了线程中，这样实现数据对象更新后才将其发送给UI主线程对界面进行更新。java接口灵活使用在底层的数据要怎样才能准确的返回给UI应用层呢，如果这两个层次分别由不同的人进行开发那么我们应该怎么样进行合理的数据交互呢？为此我定义了接口使底层数据的返回格式完全实现规范化，这样在设计UI 和底层代码之间只需要都遵守这个数据交换的接口，无需知道各个层次里面的具体实现是什么样，这对大型项目的开发也是十分重要的，降低了各个模块之间的耦合度。我具体接口的设计如下：/** * * @author徐玉松 * */publicinterface ISpiderReportable {/** * 用于报告发现的链接 * @param base 跟链接 * @param url 当前链接 * @return是否发现 */publicboolean spiderFoundURL(URL base,URL url);/** * 用于报告错误链接 * @param url 错误链接 */publicvoid spiderURLError(URL url);/** *用于报告错误邮件地址 * @param email 邮件地址对象 */publicvoid spiderFoundEMail(EmailURL email);/** * 用于报告爬取完成的链接 * @param comleteURL 爬取完成对象 */publicvoid spiderComlereURL(ComleteURL comleteURL);/** * 用于报告好的爬取地址 * @param goodLINK 好的爬取地址对象 */publicvoid spiderGoodURL(GoodLINK goodLINK);/** * 用于报告坏的爬取地址 * @param errorURL 坏的爬取地址对象 */publicvoid spiderErrorURL(ErrorURL errorURL);/** * 用于报告爬取到未知的链接地址 * @param unknowURL 未知链接地址对象 */publicvoid spiderUnknowURL(UnknowURL unknowURL);}自定义JPanel由于java swing自带的jpanel十分简单而且满足不了相应数据绑定的需求，我自主学习了java swing里面的自定义组件，将jpanel里面放了一个jtable并在其中添加了数据源。如下便是我其中一个自定义控件设计。publicclassGoodLinkPaneextends JPanel {private GoodLinkContainer goodLinkContainer;privateintindex;private ListGoodLINK list;private JScrollPane playerScrollPane;publicGoodLinkPane() {// init(columnNames,co