深度学习-湖南教育网络协会.PPTVIP

10、开源系统将成为大数据领域的主流技术和系统选择。 开发工具和集成： Apache Mahout(机器学习的编程语言) Python 和 R(预测分析编程语言) 分析和报告工具： Jaspersoft(报告和分析服务器) Pentaho(数据集成和业务分析) Splunk(IT分析平台) Talend(大数据集成，数据管理和应用集成) （四）大数据的十大研究热点 三、大数据的研究 * 四、高校如何大数据？ * 四、高校如何大数据？ （一）国务院关于印发《促进大数据发展行动纲要》 2015年8月31日，国务院印发的该纲要： 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。 信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。目前，我国在大数据发展和应用方面已具备一定基础，拥有市场优势和发展潜力，但也存在政府数据开放共享不足、产业基础薄弱、缺乏顶层设计和统筹规划、法律法规建设滞后、创新应用领域不广等问题，亟待解决。为贯彻落实党中央、国务院决策部署，全面推进我国大数据发展和应用，加快建设数据强国，特制定本行动纲要。 * 四、高校如何大数据？ （二）高校应该积极行动起来，拥抱大数据 云、虚拟化、数据中心、数字化校园、智慧校园（今天不提智慧校园都不时髦了） ，这些概念大家都并不陌生。 如今，高校信息化建设正经历着由简单到复杂、由单一到多元、由局部到整体的全方位一体化的发展过程。大数据与云技术的结合使得教育资源的应用突破了原有意义上的格局，通过大数据的数据分析、数据挖掘等技术，能够得到很多隐藏在这些数据背后的重要信息。 建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，真正实现基于数据的科学决策，这是许多高校信息化工作梦寐以求希望达到的最高境界 。 高校大数据是智慧校园的基石。 * 共47页 共47页 湖南大学校园信息化建设与管理办公室 王子荣 0731 zrwang@hnu.edu.cn 浅谈高校大数据 二○一五年十二月 * 主要内容 一、引言 二、大数据的定义 三、大数据的研究 四 、高校如何大数据？ * 一、 引言 * （一）百度春运迁徙大数据图 * （一）百度春运迁徙大数据图 * （一）百度春运迁徙大数据图 * 一、引言 要分析大数据，先要获得大数据。百度LBS（地理位置服务）技术总监顾维灏如是说： “在百度LBS开放平台上，聚集了超过40万的开发者，为数十万款应用软件提供定位服务，已覆盖数亿部手机。截至2015年6月，我国手机网民有6.57亿。通过分析手机网民定位信息的大数据，能够比较准确地映射出人群的迁徙轨迹。” * 一、引言 百度云仅仅基于智能手机的定位服务数据，只能较准确地实时映射出人群的迁徙轨迹。 如果将参考的大数据集扩展，增加进来铁路部门、交通部门、航空部门以及通信运营商的有关数据呢？ 购票信息都是实名的、手机用户信息也是实名的，出行大部分都是提前预定交通工具和票据。那么这些大数据是不是可以预测人群迁徙走向？甚至知道是哪些人在迁徙、谁和谁一起迁徙？ （出汗!） * 二、大数据 * 百度百科：大数据(big data，mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。（全球著名的IT研究机构Gartner高德纳咨询公司的定义） （一）定义 二、大数据 麦肯锡：数据量大到超出目前传统数据库软件工具，在合理时间内达到获取、管理、处理、并分析整理成可决策数据的能力。 “Big data refers to data sets whose size is beyond the ability of typical database software tools to capture, store, manage and analyze.” - The McKinsey Global Institute, 2011 * □ 结构化数据 存在数据库，可用二维表结构来逻辑表达实现。 先有结构、再有数据 （二）类型 二、大数据 □ 非/半结构化数据 字段长度可变，办公文文件、文本、图片、XML、HTML、各类报表、图像和音频/视频数据等。 先有数据，再有结构的 * □ 海量交易数据 交易数据和联机分析数据，结构化、静态、历史数据 （三）大数据的产生 二、