金融数据web抓取及处理系统的设计与实现.pdfVIP

中文摘要 中文摘要 随着金融市场的全球化发展以及计算机网络技术的广泛应用，全球金融市场 已经开始走向金融网络化，与此同时互联网业已成为企业、机构和个人获取金融 信息的主要来源；作为专业金融信息服务提供商，在面对如此海量、繁杂的互联 网金融信息资源时不可避免会遇到一个巨大的挑战，即如何从互联网中实时、快 下所开发的金融数据W曲抓取及处理项目，该项目是一个利用W曲数据抓取技术 实时获取全球各个金融网站原始金融数据，并对金融数据做处理转换生成特定格 式的金融数据文件的应用程序系统。 在鼬cGenerator项目中，本人参与完成了系统架构的分析、设计和实现，包括 表现层、业务层和数据层三层架构的详细设计与实现，以及文件系统操作、Excel 进程操作、日志操作等系统公共模块组件的开发；参与完成了系统用户界面的设 计，基于多线程技术的用户交互的实现；参与完成了W曲内容抓取模块的详细设 计与开发、W．eb数据抽取模块的详细设计与开发；此外本人独立完成了香港金融 市场子模块的需求分析、设计、开发和测试工作。香港金融市场的W-eb数据抓取 Sell、Broker 与处理任务包括Shorrt News、W撕ant等19个子项目。 Page、Trading 本系统简化了香港金融市场W曲数据抓取与处理人工操作流程，降低了公司 人力成本，提高了W．eb金融数据获取效率和质量，从而改善了公司金融信息服务 质量，提升了公司在金融信息服务行业的核心竞争力。 关键词：Wreb数据抓取；信息抽取；数据处理；读写文件；多线程 分类号：TP311．5 Abs仃act Abs仃act offmaulcialmarkets W岫globalization of ne觚ork and谢delyusagecomputer finallcialhasbeen tecllll0109y，此elec仃omc t11efinancial resh印ing marketsaroulldthe thes锄e 、Ⅳorld，at IntemetalsohaSbecomet11emaill time，me sourcetoobtaintlle fi彻nci2LliⅢ．ormationfor institlJtionsa11d ente印rise， individuds．Asprofessional finallcialinf．omation service a to proVider，it，sbig fina工lcial challengee航ctivelyscrape iIlfbmationinrealtime m)mt11e scaleand large data．慰cGeneratOris complicate、veb isableto an印plicationsystem，W11ich