大数据共享平台及微信企业号建设项目选读.doc

大数据共享平台及微信企业号建设 项目介绍 1、 大数据共享平台及微信企业号建设 2、 项目经费来自2016年修购专项。 3、 预计使用经费375万元。4、 大数据共享平台建设(1)构建基于Hadoop的大数据基础平台，相应数据处理组件，学校结构数据和半结构化存储与处理的需求； (2)对学校的所有业务系统的结构数据进行采集、和，持久存储，无线AP和上网行为日志数据进行，转化成结构化数据； (3)平台的数据源，并对接口进行和使用介绍；(4)对API的使用形成线上申请流程，包括API的审核和释放过程； (5)形成学生画像， 5)满足多种形势管理管理6)对学生异常行为分析； (教师提供个人主页，全部信息的需求； (8) 立项背景： 我校现有在校师生约3万人，其中学生2.6万人，教职工0.4万人，其中学生管理工作教师500人。经过十二五期间的信息化建设，已经初步建成一整套信息化基础服务，包括各类职能的管理信息系统，面向服务的门户平台，其中与师生相关的业务系统有：教务管理系统、学生管理系统、校园一卡通管理系统、图书管理系统、人事管理系统、科研管理、、老师和， 项目履约时间、地点 履约时间： 履约地点： 现场踏勘：是 产品清单及指标要求（为参数重要程度，和为关键参数，满足将投标被拒绝）共享平台 Hadoop，Spark，Cloudera，Sqoop, Flume, Kafka 搭建具备吞吐TB级数据架构，并且能够对TB级日志数据进行存储和分析处理； 将能够传统关系型数据库中的数据导进到Hadoop的HDFS中； ★ 操作系统 Ubuntu14.04 64位LTS版本或更高 ★ 编程语言 Java/Ruby；面向对象程序设计语言 ★ 关系型数据库 Mysql/PostgrelSql；搭建运行稳定、安全可靠、能够满足支撑数据要求的关系数据库和关系数据库管理系统 全文检索引擎 ElasticSearch；使用最新搜索引擎技术，支持分布式多用户能力的全文搜索，能够实现实时搜索，并且安全、稳定、快速的执行 非关系型数据库 Mongodb, Redis；搭建非关系型数据库，要求操作简单、数据调用方便，支持数据的主从服务器同步。 ★ 可视化输出 Echart, D3.js；需严格遵序web标准；支持多种可视化形式相结合的方式进行可视化输＝］，例如：饼图、柱状图、折线图、散点图、K线图、地图，同时支持任意数据维度的堆积和叠加。 ★ 交付形式 Saas交付功能完整并且运行稳定的可视化软件（平台），功能测试达到项目要求；提供软件（平台）维护服务和支撑数据维护服务。 平台性能要求 每天数据吞吐量规模5000万条；每天数据吞吐容量2G；总数据支撑规模200亿条；总数据支撑容量2TB 平台；结构化数据采集对学校现有结构化数据进行采集，一定的清洗 日志数据采集和处理对学校的无线网AP日志数据和行为数据进行采集，实时接收，成结构化数据API管理， API集市 支持按类别分类展示API缩略信息、、、、、，可和 ★ 用户管理支持查看用户、用户基本信息以及用户授权应用，客队用户登陆密码进行修改；支持用户的操作日志查询；新用户账号分配，查看申请用户信息； 平台数据； 授权审核，，支，；，，， 应用管理支持 支持应用维护的开启与关闭、增加应用维护地址、 支持增加、 支持多种通知类型：短信、邮件、微信、钉钉， 支持应用上线的申请； 支持查看应用的上线申请； ★ 开发身份认证文档中心学生画像等； 展示所属物理网格信息。包括，宿舍楼、宿舍、室友、网格员（分级别展示）。 展示培养计划执行信息。包括，总学分、已修学分。展示成绩 展示学生的选课及成绩信息。包括，课程名、课程类型、开课时间、学分、开课单位、教室、成绩。 支持按照日期查找学生活动轨迹。结果包括，时间 地点 动作。 展示上网偏好分析。包括，最爱网站分析、最爱应用分析、最爱视频分析。 展示上网位置分析。包括，上网位置、上网累计时长 展示基本信息。包括，卡号、状态、余额、本月累计已消费、日消费。 展示个人消费趋势图。包括，消费日期、消费金额。 支持按日期查看消费清单。包括、消费地点、消费金额、消费时间。 支持按日期查看历史事件清单。包括，事件发生日期、时间、事件类型、备注，展示事件的处理过程信息。 ★ 楼栋画像 支持展示楼栋的事件基础信息，包括，学生数量、相关事件数量。支持查看事件清单。筛选条件包括，事件状态。结果包括，学生姓名、事件类型、时间、宿舍、网格员、状态。支持查看事件处理过程。 支持按照条件筛选学生。筛选条件包括：学生姓名、学院、网格员。结果包括，姓名、宿舍、院系、电话、事件、网格员。 支持查看【学生画像】 支持查看用电、、使用 支持查看历史事件。筛选条件