基于网络爬虫技术服务的质量管理分析.docVIP

精品论文 参考文献 基于网络爬虫技术服务的质量管理分析 （1国网丽水供电公司运维检修部 323000;2国网浙江缙云县供电公司 323000; 3国网丽水供电公司 323000） 摘要：从20世纪60年代起步的电力行业信息化，经过四十多年的发展，形成了一定的规模。但由于各省市电力企业独立规划和运作，始终没有形成统一的信息化标准规范。加之复杂的专业应用使得同一企业各职能部门只根据自身的需求单独立项，开发功能单一、开放性较差的专用系统，往往使一个电力公司内同时运行着成百上千的计算机系统。这些不同的系统功能不同，开发工具不同，结构也存在很大差异，而最大的问题就是数据的不可兼容，最终形成了数量众多的“信息孤岛”。这种情况给企业领导的经营和决策造成了很大的混乱。因此我们需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件，支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。本文将对网络爬虫技术的一些探讨性的研究。 关键词：网络爬虫、信息、数据分析； 在这种背景之下，电力各业务部门所具有的业务系统、数据资源每天都在増长。信息管理归纳抓取已经成最大的难题。但是人的能力是有限的，对面如此庞大的资源数量，人类要从中找出与检索内容相符的内容是一件非常巨大的工程。面对这些海量的数据中，怎样才能从成千亿的数据中找出符合要求的数据。众多的系统为后台工作人员造成了相当大的工作压力，尤其是涉及到一些工作流的流转的系统，需要对数据反复的复制粘贴和计算验证，造成了工作量的严重浪费。 1.主要研究内容 随着信息化的发展，电力各业务部门所具有的业务系统也逐步增多，众多的系统为后台工作人员造成了相当大的工作压力，尤其是涉及到一些工作流的流转的系统，需要对数据反复的复制粘贴和计算验证，造成了工作量的严重浪费。 需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件，支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。 本研究方向就是对现在的需要此类插件的系统进行汇总，设置模板，分析数据来源，为后期的功能开发奠定理论基础。 2.项目管理和方案目标 2.1项目管理 （1）实施计划安排 按照技术规范的要求，以《国家电网公司生产运行管理信息规范（最终稿）》要求为蓝本，在融合电力企业配电网业务管理规范基础上进行项目安排。 （2）质量标准的制定 行有行规，质量的追求是无止境的，并且是有代价的，因此必须将对质量的要求以标准形式固定下来，达到了标准就算通过，不达标准就要返工。 （3）作业质量管理 作业管理应有明确的程序和质量保证体系。程序和质量保证体系的建设应以“技术规范”的作业标准来进行。 根据项目实施流程，建立质量保证体系，对项目进行检查，跟踪质量保证体系运作过程和分析造成不良工程的主要因素，制定相应的措施和制度，明确质检和整改责任人，使工程的质量一直处于闭环控制状态。 （4）文档管理 按照“招标采购技术规范”的要求制定文档模板并组织实施，文档管理要做到：及时、真实、符合标准。 及时指的是文档制作要及时，归档要及时。 真实指的是文档中的数据必须是真实有效的。 符合标准指的是文档的格式和填写必须规范。 提交的文档包括： Excel表格形式低压设备台帐 已分类整理、命名的低压设备照片文件 CAD格式的以1:500地形图为底图的台区图 文档在实施过程中至关重要，它有助于项目管理人员和实施人员开展具体工作，有助于管理人员监督与指导，有助于用户了解软件的工作和应做的操作，同时，也是项目实施完成所必须要交付一些文件的保证。所以，实施文档的质量是整个实施过程中不可缺少的部分。厂家按照CMMI3级的要求制定文档模板并组织实施，文档是过程的踪迹，文档管理要做到：及时、真实、符合标准，我们在实施型项目中也参考这种理念。及时指的是文档制作要及时，归档要及时。真实指的是文档中的数据必须是真实有效的。符合标准指的是文档的格式和填写必须规范。 2.2方案目标 第一步，广泛搜集资料，对在用的信息系统进行调研，全面分析抢修用表单的流程和数据来源； 第二步，研究网络爬虫技术，根据业务需求进行插件的初步设计； 第三步，根据初步设计进行软件的详细设计，并且开发和部署； 第四步，上线并且培训。 3.技术方