魔方系统架构设计说明书v10.docVIP

魔方系统架构设计说明书 Version 1.0  Revision History 日期 版本 描述 作者 审核 2013.02.27 1.0 文档生成 目 录 1 文档说明 5 2 系统说明 5 2.1 系统目的 5 2.2 系统背景 5 2.3 系统服务 5 2.4 非功能需求 6 3 整体结构 6 3.1 架构表示 6 3.2 架构因素 7 3.3 技术决策 7 3.3.1 问题：抓取屏蔽 7 3.3.2 问题：大数据量存储 8 3.3.3 问题：渠道适配器的适应性 9 3.4 子系统 9 3.5 逻辑视图 9 3.5.1 总体架构图 9 3.5.2 技术架构 10 3.5.3 WEB前端 12 3.5.4 抓取机器人 13 3.6 物理架构 14 3.6.1 部署视图 14 3.6.2 网络拓扑图 15 3.6.3 硬件设备 15 3.6.4 硬件采购 16 3.7 开发视图 17 3.7.1 开发框架概述 17 3.7.2 开发框架分层 17 3.7.3 项目工程及目录结构 18 3.7.4 项目工程包依赖关系 19 3.7.5 开发技术框架使用列表 20 3.7.6 版本控制 20 3.7.7 构建及测试 20 3.7.8 开发环境（虚拟机）搭建 20 3.8 数据视图 20 3.8.1 数据流视图 21 3.8.2 RDBMS数据结构 21 3.8.3 HBase数据结构 22 3.9 运行视图 23 3.9.1 整体运行架构 23 3.9.2 WEB前端 23 3.9.3 抓取机器人 24 3.10 用例视图 29 3.11 安全视图 30 3.11.1 身份认证 30 3.11.2 权限控制 30 3.11.3 用户身份认证及授权可选方案 31 3.11.4 数据库安全性 31 3.11.5 网络安全 31 4 接口设计 32 5 领域框架 32 6 监控 32 7 架构能力 33 7.1 可扩展性 33 7.1.1 系统可扩展性 33 7.1.2 架构可扩展性 33 7.2 可运维性 33 8 风险评估 34 8.1 抓取机器人IP遭目标网站屏蔽 34 8.2 目标网站数据格式改变 34 9 总结 34  文档说明 本架构设计文档主要用来描述运价魔方运价魔方航空公司 非功能需求 安全性：系统有严格的安全要求，数据传输、存储过程中需要加密。 稳定性：系统要求具有高稳定性。 可维护性：系统具有高可维护性，允许在非高峰生产时间段进行系统的升级，系统升级时间30分钟；高峰生产时间段，系统出现问题需要在5分钟内能够恢复或切换到备机。 性能：最大同时在线人数500，最大同时并发人数50。 可扩展性：系统要提供可扩展的接口。 整体结构 架构表示 此软件架构文档从以下几个方面来描述软件架构： 逻辑视图-最重要的层的概念性的组织方式，子系统，包，框架，类，接口等，及描述主要的功能及结构。 数据流视图-数据流的总览，持久化数据方式，所使用数据库等。 部署视图-描述物理部署节点及各节点的配置。 技术架构-描述所选用的主要技术。 开发视图-主要描述项目目录组织，如何进行构建及执行冒烟测试。如何进行版本管理等。 用例视图-包含最重要的或者有代表性的用例或用例实现及非功能性需求。 安全视图-主要描述哪些安全性被应用到系统。 运行视图-主要描述系统处理过程，各逻辑元素的责任，协作等。 架构分析 整体架构分析 关键架构因素 因素 测量跟质量场景 变化（当前及未来） 影响程度 优先级 困难或风险 反抓取屏蔽 由于抓取任务是定时器任务，具有规律性，可能会被目标网站给屏蔽或者其他措施给限制。 当前-使用代理服务器的方式来反屏蔽。 进化-未来抓取目标会增多及抓取频率会增大。 高度影响，抓取的数据是整个系统的核心数据。 高 高 大数据量存储 由于航空票价变化较频繁，我们得到的需求是初期100条航线13个渠道，每小时抓取一次，范围是之后45天之内的数据。这样每小时就会有45*13*100=58500条数据存储。 当前-使用HBase进行存储抓取回来的运价数据，使用Oracle来存储运营数据。 进化-随着目标的增多及频率的增大，数据量会越来越大。 高度影响，如存储性能太低，会大大影响用户体验。 高 中 渠道适配器的适应性 由于抓取的目标文件格式可能是各种文本格式，包括txt，xml，jason，而每种格式的数据结构不同，即使是同一种格式，随着网站的改版，数据结构也可能发生改变。 当前-专门针对目标编写特定的适配器。 进化-随着需求的增加及网站改版，特定的目标格式会增多。 中度影响，会影响系统的运营及扩展。但对系统最终用户的影响较小。对系统运维人员影响较大。 中 高