软件针对网络编辑专业开发.doc

1、大型文献数据库建设要求： 主要练习网络信息的采集与编辑。能够锁定一定范围内的原创新闻：国家级、省市级的新闻网站、商业网站的新闻频道、门户网站的新闻版块、纸质报纸的电子版新闻论坛等。进行动态追踪采集。以满足对文献的编辑、筛选、合成、比较之用。 除此之外，专题采集不少于两个，比如财经版块收集、版权贸易版块。 能够同时提供静态的新闻数据库作教学之用更好。 技术实现与采集内容作为考查之重点。 设计思路: 随着互联网的发展，利用Web强大的发布和表现能力，我们可随时随地进行数据采集。因此，将数据采集技术应用于本系统中，将数据采集系统与Web结合起来，这将是非常有必要的。 数据采集系统与数据库的交互一般都是非常频繁的，这是由数据采集过程本身的交互性和反复性所决定的。另外，绝大多数数据采集任务所基于的数据量都很大。这就导致了数据采集系统一般都要与底层(可能是异构的)数据库进行大量、频繁的数据交换。因此，对于一个实用的数据采集系统来说，与底层数据库系统的紧密耦合、尽量借助各种功能支持是非常必要的。而我们本次开饭发所采用的设计方式正是符合这样的要求. 采集程序的主要实现步骤如下： 一、获取被采集的页面的内容 二、从获取代码中提取所有用的数据 三、将数据存入文献基础数据库 首先,本系统提供功能强大的后台维护功能，主要是对采集分类的管理。采集按功能可分为:新闻网站、门户网站、搜索引擎等等，又可以按性质分为:政府网站、个人网站、商业网站等等…同时,系统还提供专题分类.管理员用户也可自行添加、修改、删除专题信息,也可对各种分类进行管理。系统对分类提供独立的编码管理功能，所有分类可无限级增加。（在这里不再展开） 其次，文献采集的核心技术实现上我们采用目前技术较先进，且运用比较广泛的方式。通过采集模块，管理员可对指定的任意网站上的数据进行定期采集。而管理员实际需要操作的只是对设定好的采集数据源的每个分类单独点击一下采集按钮，或者点击一下全部采集按钮，系统将一步到位的替您将所有数据直接收集好，然后将采集到的数据批量存储到文献基础库中，以便后期的调用与查询。 再次，系统提供强大的搜索引擎功能。用户所搜索的数据都将从文献基础数据库中获取。也就是说，用户所搜索的数据都是基于目前这个文献基础数据库的，而数据量的多少完全取决于平时运用数据采集系统去采集数据获得。 实现功能介绍: 在功能上分为两块：1.后台管理部分：实现采集分类管理、采集专题管理、采集入库的信息管理、数据采集模块四大管理模块，各模块均提供数据的查询、修改、删除、新增功能，其中数据采集模块用户可对采集的数据源进行定制，可以这么说，只要数据来源是互联网，并且是网页格式的，那就可以采集到我们的数据库中。2.前台用户部分：主要实现已采集数据的查询功能，用户可根据分类、专题、关键字等进行搜索。 其中对于采集模块又可以细分如下功能： 1、支持文章内容分页采集； 2、支持论坛采集 3、支持把文章内容保存到本地； 5、支持站点＋栏目管理方式，使采集管理一目了然； 6、支持文章链接替换功能； 7、支持采集器设置无限过滤功能； 8、支持文章内图片采集保存到本地，自动替换文件名避免重复； 9、支持文章内FLASH文件采集保存到本地； 10、支持采集结果人工筛选； 11、提供强大的分类自设定功能，方便对于采集的数据进行分类； 12、提供用户自定义专题功能，级数无限，可任意添加修改删除； 13、提供强大的资源搜索功能.用户可对采集到的数据进行搜索。 ?2、大型网页数据库建设要求： 按网站功能与内容，分成商业门户网、企业网、政府网、新闻网、商务网等类别全面了解各种类型网站的设计风格，每一类别下按内容再细分，每一级最终网页不少于50个页站，每一站不少于三级网页， 国别不少于三个国家。经满足学生对网站设计的风格、建构的参考之用。特别侧重于图书类、出版类的网站的网站收集。如（美国：《出版商周刊》、《纽约时报》书评版；英国：《书商》杂志、《泰晤士报》书评版；法国：《图书周刊》；日本：《出版月报》；德国：《德国图书报》等） ?技术实现与采集内容作为考查之重点。 设计思路： 大型网页数据库是什么？ 它是指可以将网络上的大大小小各类网站进行分门别类的进行收集并存储入库，并且可通过强大的后台管理功能随时随地对网页数据库进行更新、维护。它还提供强大的搜索功能，用户可根据分类、功能、性质等各个方面来查找自己需要参考的站点信息，搜索到对应信息后用户只需点击网站名称，就可以直接访问到对方的站点。 基于以上介绍，对于大型网页数据库的建设就很清楚了。我们将用MSSQL2000作为存储介质，也就是物理数据库。所有收集的网站信息都将被存储于此数据库中。收集及录入的过程都是通过手动后台录入的方式。我们在软件验收前会提供基础数据库的建设与数据录入服