大数据共享平台及微信企业号建设项目分析.doc

大数据共享平台及微信企业号建设项目技术需求 项目介绍 1、本次采购的主要产品的名称和数量： 大数据共享平台及微信企业号建设一套。 2、资金来源： 项目经费来自2016年修购专项。 3、预算金额： 预计使用经费375万元。 4、所要达到的目标前景： 大数据共享平台建设目标 (1)构建基于Hadoop的大数据基础平台，搭建相应数据处理组件，满足学校结构数据和半结构化存储与处理的需求； (2)能够对学校的所有业务系统的结构数据进行采集、清洗和归并，实现持久化存储，无线AP日志和上网行为日志数据进行采集，并转化成结构化数据； (3)对进入平台的数据源，形成标准的API接口，并对接口进行描述和使用介绍； (4)对API的使用形成线上申请流程，包括API的审核和释放过程； (5)形成学生画像， (5)满足多种形势管理的交叉存在，实现对不同学生管理员输送不同信息； (6)对学生异常行为分析，实现对特殊类型事件预警推送； (7)为教师提供个人主页，满足教师全部信息一键查询的需求； (8)实现微信企业号综合服务，包括基础业务数据查询、信息提交采集以及用户互动等多个服务业务 立项背景： 我校现有在校师生约3万人，其中学生2.6万人，教职工0.4万人，其中学生管理工作教师500人。经过十二五期间的信息化建设，已经初步建成一整套信息化基础服务，包括各类职能的管理信息系统，面向服务的门户平台，其中与师生相关的业务系统有：教务管理系统、学生管理系统、校园一卡通管理系统、图书管理系统、人事管理系统、科研管理系统、办公OA、迎新、离校系统、宿舍管理系统、学生公寓门禁系统、图书馆门禁系统、上网认证系统等，但这些系统相互独立运行，数据独立管理， 数据不互通，老师和学生信息分散在各个系统中，数据查询需跨多个系统，操作繁琐。学生异常行为分析无法实现，也不可实现学生全数据的体现，学校信息化建设积累的海量数据未能体现更大价值；学生管理工作流程繁多、辅导员管理工作压力大，业务流程梳理急需解决，让业务部门直接面向学生服务同样急需解决；学校PC端业务系统未形成很好的使用，缺乏移动端使用的推广，来催进业务系统的使用。基于此，计划建立一套基于大数据技术的统一数据管理与分析平台和微信企业号综合管理与服务平台。 项目履约时间、地点 履约时间： 履约地点： 现场踏勘：是 产品清单及指标要求（★为参数重要程度，其中★★★和★★为关键参数，如不满足将导致投标被拒绝） 货物类产品功能指标 大数据共享平台 序号 重要性 指标项 指标要求 ★ 大数据平台软件 Hadoop，Spark，Cloudera，Sqoop, Flume, Kafka 搭建具备吞吐TB级数据架构，并且能够对TB级日志数据进行存储和分析处理； 将能够传统关系型数据库中的数据导进到Hadoop的HDFS中； ★ 操作系统 Ubuntu14.04 64位LTS版本或更高 ★ 编程语言 Java/Ruby；面向对象程序设计语言 ★ 关系型数据库 Mysql/PostgrelSql；搭建运行稳定、安全可靠、能够满足支撑数据要求的关系数据库和关系数据库管理系统 全文检索引擎 ElasticSearch；使用最新搜索引擎技术，支持分布式多用户能力的全文搜索，能够实现实时搜索，并且安全、稳定、快速的执行 非关系型数据库 Mongodb, Redis；搭建非关系型数据库，要求操作简单、数据调用方便，支持数据的主从服务器同步。 ★ 可视化输出 Echart, D3.js；需严格遵序web标准；支持多种可视化形式相结合的方式进行可视化输＝］，例如：饼图、柱状图、折线图、散点图、K线图、地图，同时支持任意数据维度的堆积和叠加。 ★ 交付形式 Saas交付功能完整并且运行稳定的可视化软件（平台），功能测试达到项目要求；提供软件（平台）维护服务和支撑数据维护服务。 平台性能要求 每天数据吞吐量规模5000万条；每天数据吞吐容量2G；总数据支撑规模200亿条；总数据支撑容量2TB 平台支持主流的浏览器，如IE、edge、firefox、chrome、safari、opera，并随浏览器更新及时提供支持； ★ 结构化数据采集 对学校现有结构化数据进行采集，具有一定的清洗能力 日志数据采集和处理 对学校的无线网AP日志数据和上网行为数据进行采集，能够实时接收，处理成结构化数据 ★ API管理 支持展示所有API列表，包括API名称、首次创建日期、更新日期和类别，可查看API支撑的应用，包括应用名称、授权字段和非授权字段 API集市 支持按类别分类展示API缩略信息、API的详情、API的调用方法、API的示例代码、API的更新记录、API的授权应用，另外管理员可编辑API调用方法和示例代码