数据分析与挖掘系统设计方案.docx

大数据处理分析软件V1.0 深圳数智科技有限公司 数据分析与挖掘系统 设计方案 目 录 TOC \o "1-3" \h \u 6978 第一章 系统概述 1 8221 1.1研发背景 1 28883 1.2系统定位 1 27600 1.3建设目标 1 21167 第二章 总体设计 2 30976 2.1数据采集 2 3570 2.1.1数据源 3 11613 2.1.2平台功能 3 4742 2.2数据处理、存储、计算系统 5 15932 2.2.1数据分析的实际应用 5 31034 2.2.2数据挖掘的应用系统 5 24272 2.2.3数据处理系统 6 14217 2.2.4 数据存储系统 6 26972 2.2.5 数据计算系统 7 22171 第三章 数据分析可视化系统 10 PAGE PAGE 2 系统概述 1.1研发背景 随着云时代得来临，大数据（Big data)如何应用，吸引了越来越多得关注。为顺应国内高速发展的趋势，政府及各行各业积聚了大量民生、政务、经济的数据，这些数据的堆积，急需一套安全、有序、高效、精准的数据分析和数据挖掘系统进行使用。 大数据需要特殊的技术，以有效地处理大量的数据，通过大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统进行处理。 1.2系统定位 提高街道办事处的数据收集、整理、分析、处理能力，通过系统将街道中繁杂的数据可视化，供各部门、各单位管理人员及工作人员，进行使用，提高工作效率，提升工作精准度，完善工作层面。管理层能通过数据分析，提升判断能力、加快命令发送的准确性；基层工作人员可以第一时间完成数据采集，让管理层通过数据分析完成事件对比，提高处理时效，降低误判。 1.3建设目标 (1) 登录系统后，首页具有导航功能。 (2) 按部门、单位发放进入权限。 (3) 按职位、工作性质通过身份证号、微信、手机号码进行认证，进入相关界面，进行权限使用。 (4) 敏感数据使用、下载，需由上级领导双授权，可看不可下载。 (5) 各部门、单位将数据权限进行等级划分，分为内部及外部使用权限。 (6) 各使用权限人可以通过饼状分析图、柱状分析图、线形分析图、Excel表格等多种数据可视化功能导出数据，以供使用。 (7) 实现通过手机端登入系统，进行实时使用。 总体设计 数据分析与挖掘系统应充分体现以使用部门、使用单位、使用者为中心的设计理念，系统设计充分考虑用户的需求；强化便于分析、管理的理念，充分考虑系统的方便管理和低成本维护，便于集中管理、配置、监控，节约管理维护成本；项目的建设应充分利用现有系统的软、硬件资源，保证数据的安全、有效、快速反应性。 2.1数据采集 数据分析与挖掘系统系统软件中云认证服务平台是实现统一技术标准、统一接口标准和统一应用标准的应用平台，通过统一机构、统一用户、统一权限、统一认证等数据和功能的集成，实现政府部门之间多业务系统同一账号登录的综合管理。 系统通过对用户的安全进行认证后模块跳转，保障登录系统操作的安全。也为用户在系统中的操作行为提供证据追溯，为后期的监督检查提供技术保障。 2.1.1数据源 网站 通过具体网站站点进行信息的实时更新，网站库的不定时更新，高频词、敏感用语的刷新及数据传输。 内部数据库 通过各机构、单位的数据共享资源，设定关键词再进行数据抓取、采集并 实时分析，对越权限、越部分数据访问进行提醒、预警。 社交平台 通过自媒体平台从中抓取一些个人信息，邮箱、敏感词等数据。 2.1.2系统功能 （1）组织机构管理 以树形方式展现各机构、各单位、各部门，包括各机构、各单位、各部门的基本信息、并对以上内容实现集中界面配置。 （2）角色管理 以树形进行多级角色的展示，灵活定义各层级部门角色，通过用户类型配置 业务角色和管理角色，通过下拉结构关联角色人员，设定角色使用权限。 （3）用户组管理 定义系统中的用户组，对系统中的用户进行组合分组，权限交叉管理。 （4） 授权管理 按人员授权 以树形结构将人员与部门相关联，支持针对个人配置关联的角色、菜单功能。 提供人员关联部门配置 支持用户的跨层级跨部门的角色授权。支持同一用户在平台的多系统关系映射配置。 按角色授权 为系统提供访问控制功能。支持角色的可访问权限和可管理权限的赋权灵活实现用户与角色、用户组的关系配置，实现多级权限管理。 （5）身份认证 用户通过统一的登录界面访问各系统，结合用户的权限对用户进行统一认证，为系统提供访问控制功能。 （6）统一消息提醒 系统消息。 短信消息。 邮件消息。 （8）个人设置 提供个人信息管理，包括个人基本信息管理和密码修改等功能。 2.2数据处理、存储、计算系统 2.2.1