大数据技术及其在现代教育领域中的应用.ppt

* 大数据的评估指标[1] 1、数据规模可观(入门标准) 大数据最基本的要求当然是数据规模大，但很难给出一个绝对的数字标准来确定大小，而只能用一些模糊的感觉来相对比较。例如，一个公司在年度预算中有了专门的，显著的数据存储和分析预算（例如，总预算的3-5%），有了独立的数据处理和分析部门，有了比较完整的数据存储，安全和保密政策与管理流程，有了高度依赖数据分析结果的商业模式，那么，可以说这个公司面临着利用大数据的机会或挑战了。 [1] 谢 文：看得见的未来——十谈大数据时代 （/yunjishu/shujuzhongxin16045.html） * 2、数据结构复杂 数据量只是反映数据性质的一个指标，还不是最重要的指标。 一天产生一百万个T数据的公司也许算不上大数据公司，而另一个一天只产生一万个T数据的公司也许反而是个大数据公司，其原因在于数据结构的复杂性。 例如，A公司拥有一亿用户，但用户在A公司网站上只干一件事或一类事，由此产生的数据量虽然不小，但结构简单，重复性高，分析起来很容易，归归类，简单数据挖掘基本功足够。 B公司只有一千万用户，却是个开放平台，用户在此可以干互联网能够支持的所有事情，网络行为又可分为个人，群体，组织等层次，那么这个数据的结构就够复杂，能够支持深度挖掘和复杂建模，因而就可以算作大数据。 * 3、数据关联度高 网络业一个常见现象就是随着数据量的增加，用户行为所产生的数据间的关系越来越不清晰，越来越难以捉摸，越来越相互孤立，也就是所谓的数据碎片化。这种碎片化主要来自两个方面：一是网站结构碎片化，逻辑混乱化，各种产品与服务之间相互孤立化，因而导致数据之间关系断裂，关联度很低。例如，明明是同一个用户在一个网站上使用了十种不同的产品和服务，但由于其中五种无需注册使用，其他五种又需要分别注册使用，结果这十种网络行为的数据无法整合在一起，或者需要通过种种技术手段和工具进行高成本的数据整合，以至于入不敷出。这也就减少了数据的含金量，降低了数据的可挖掘度，使得无论数据量如何大，结构如何复杂，也形成不了大数据。反之，如果一个WEB2.0时代的开放平台，架构清晰，逻辑分明，用户与用户，用户与用户行为，行为与行为之间都具有确定的关联性，那么这样的数据就具有极高的含金量，极高的分析挖掘价值，也就可以形成大数据 结论 “大数据”技术不能简单的认为是大的“数据”和大的“数据库技术”。 严格意义上讲，技术本质上大数据技术和数据库技术是两个完全不同的技术体系！ 为什么呢？ * 4、大数据处理的工具与手段 * 第一阶段：简单数字资源的产生和丰富 数字资源的产生和积累过程（数据库技术应运而生）可以理解成对应资本主义自由贸易的初级阶段 第二阶段：规范化数字资源的大规模集成应用 大规模结构化数字资源的管理与信息分析与提取，可以理解成跨国公司的形成过程 第三阶段：网络环境下异构数字资源的增值应用 网络环境下结构化和非结构化数字资源共存的情况下，如何实现增值应用，可以理解成资本运作的高级阶段。 大数据产生的历史背景 * 大数据技术 及其在现代教育领域中的应用 友情提示 上课时间请勿： --请将您手机改为“震动” 避免在课室里使用手机 --交谈其他事宜 --随意进出教室 请勿在室内吸烟 上课时间欢迎： --提问题和积极回答问题 --随时指出授课内容的不当之处 提纲 什么是“数据”？ 什么是“数据库”？ 什么是“大数据”？ 大数据处理的工具与手段 大数据技术在现代教育领域中的潜在应用 结语 1、什么是“数据” 日程生活中，数据和信息经常混为一谈。 “数据是对事实、概念或指令的一种特殊表达形式，这种特殊的表达形式可以用人工的方式或者用自动化的装置进行通信、翻译、转换或进行加工处理”。---ISO 信息是对“人”有用的数据，可以影响人们的行为和决策。 信息处理的本质是数据处理，数据处理的目标是或的有用的信息。 ---上述解释来自国际标准化组织的相关定义 2、什么是“数据库” 数据多了，怎么办？ 好雨知时节！ 数据库技术产生了！始于上个世界60年代中期 需求分析 数据怎样规范表示？ 涉及哪些软件？ 涉及哪些硬件？ 数据如何输入？ 结果如何输出？ 如何解决数据的访问冲突问题？ 如何从大量的数据中发现一写潜在的应用规律？ … 基本概念 数据库（DB）：接受统一管理的相关数据的集合。 数据库管理系统（DBMS）：数据库系统中管理数据的软件系统，它是数据库系统中的核心组成部分，对数据库的一切操作，包括定义、查询、更新以及各种控制，都是通过DBMS进行。如甲骨文 数据库系统（DBS）：实现有组织地、动态地存储大量关联数据