大数据功能模块概要设计.docx

第1章 系统总体架构 应用层 报表应用 指标管理 门户系统 数据交换整合平台 数据采集管理 数据加工流程定义 数据加工组件 数据加工流程监控 文件交换管理 数据加工流程调度 数据订阅管理 数据加密管理 基础平台工具层 用户组织管理 日志管理 流程引擎 元数据管理 服务总线 权限管理 单点登录 调度管理 GIS平台 支撑数据 用户数据 权限数据交换数据 管理数据 安全数据 元数据 公共基础数据库 业务库 服务库 文档 人口库 法人库 宏观经济数据库 建筑物库 空间地理库 视频 专题库 通用共享数据 第2章 通用组件 2.1 基础页面组件 前端页面 JS 框架， 采用 jquery 为基础开发框架； 为考虑对 IE6 ，7，8 的兼容性； 建议版本为： ； 基于 jquery 的 UI 框架，目前流行的有： easyui 、 jquery ui 、 dwz；这三个各有一部分对基 础页面组件的支持； （考虑到这些基础 UI 框架可能存在的不兼容性， 建议只选择一个， 对于 UI 框架 不支持的组件，另外选择开源提供） 对于常用的基础页面组件选型如下： UI 框架 组件分类 特殊提供 提供  基于 jquery 的 UI 框架 jquery easyui dwz ui 图表组件  jfreechart/fushioncharts( 商 业） 在线编辑器 KindEditor/CKEditor 文件处理 上传： 表单验证 （可自定义验证规则， 包括正则 表达式验证） listbox 组件 UI 框架 支持 日期组件 输入框 html 原生的 text 标签 UI 框架 支持 进度条 UI 框架 支持 对话框 UI 框架 支持 按钮 UI 框架 支持 分页的 grid:flexgrid 进行改 各种 Grid model 造；需要服务端配合提供 各种 Tree UI 框架 各种 Menu 支持 UI 框架 Tab 组件 支持  有 有（多文件上 传） 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 有 Form 组件 标准的即可，如果需要做 ajax 有 提交，建议使用： 对于参数类的，可以使用自定义 下拉框 UI 框架 有 有 有 JSLT 标签来处理； 通用的 JS 下 拉框，可以考虑使用 支持 UI 框架的 自动填充 UI 框架 有 （ auto 有 支持 ComboBox complete) 遮罩组件 2.2 基础技术组件 开源 自主开发 任务调度 quartz 组件 验证 struts2 的验证框架 分页 自主开发； 需要与前端页面的分页 grid 组件搭配使用；需要考虑 ORM层的适配 自主开发；建议将字典信息通过缓存组 字典组件 件进行存储管理； 另外需要开发自定义标签库，提高前台 页面使用字典信息的开发效率 缓存 需要考虑缓存服务器的选型之后才 能明确配套的缓存组件 日志 slf4j + log4j FTP 其中的 FtpClient 导入导出 excel:jxl 或者 poi ，如果要支持 excel2007 以后的版本，需要考虑 （ excel/pdf) 用 异步操作 pdd : 考虑 pdfbox /iText XML文件解析 dom4j、 Digester WebSerives 发布 考虑开发框架，如果是 spring ，建 议使用 cxf ； 2.3 基础类库 J2EE 服务端开发所需要的基础类库包括： apache-common 对基础类的一些扩展；包括了： \\\\\\ json-lib 对 json 数据格式的解析、封装；提供将 json 字符串，到 Bean 或者 ListBean 的转换；或者将 Bean 或者 ListBean 转换为 json 字符串； junit 进行单元测试的基础包；建议使用 junit4 struts2 / spring mvc MVC的 C 层的选型 spring 业务处理逻辑层，建议使用以上版本； ibatis / mybatis/ hibernate ORM层的选型 第3章 选型 3.1 中间件 商业： weblogic 、 webshpere 开源： jboss 、 jetty 、 tomcat 对于中间件有要求：部署的时候，需要支持；如果是 weblogic 建议使用以上版本，采用 sun-jrocket 的 jdk; websphere 要求以上版本； 3.2 数据库 3.2.1 关系型 Oracle / MySQL; 如果是 oracle ，要求 10g 以上版本，并且已经升级地理数据库 3.2.2 NoSQL mongodb / hadoop / hive /hbase /memcached