第5章数据抽象、设计与挖掘.pptxVIP

大学计算机__计算思维导论;第五章 数据抽象、设计与挖掘;关注一些信息;数据处理的一般性思维;数据处理的一般性思维;数据处理的一般性思维;5.1 数据与大数据;大数据（一个当前时髦的概念！） 21世纪随着互联网技术的发展，促进了互联网数据的膨胀式发展，网络世界中面向人-人互动、人-机互动等声音、图像/视频、文档大规模数据的聚集与交换，形成了所谓的“大数据(Big Data)”。 物联网技术进一步使实物商品、实物资源等被感知、被联网，形成大规模的物联网数据。 ;;大数据的价值发现 大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。 体现“数据价值”的示例： 华尔街金融家利用电脑程序分析全球3.4亿微博账户的留言，根据民众情绪抛售股票： 银行根据求职网站的岗位数量，推断就业率； 投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹； 美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好，基于数据对竞选议题的把握，成功赢得总统大选。 中国网民发动的“人肉搜索”，已成功地使若干“表哥”“表叔”“房叔”“房妹”等腐败官员落入法网。 ……;数据被视为知识的来源、被认为是一种财富，数据收集、数据管理、数据分析的能力常常被视为核心的竞争力，和企业利益息息相关。;问题2：如何管理数据？ ; 问题2-1：日常生活中，你如何管理你的“数据”？ ;整理、找地方存放、记在脑子里、放在文件夹里、放在柜子里 目标是：容易找到 区分、归类、命名、统一表达、存储、查找、分析;;5.2数据聚集的核心：数据管理与数据库;数据是怎样被管理的呢？ 通常将各类数据组织成一张张表格（如下图）来进行管理。 随着计算机技术的发展，这种数据管理工作被发展成一种技术，即“数据库”技术。 所谓数据库(DataBase, DB)，即可看作是以“表”形式组织起来的相互有关联关系的数据的集合。而管理数据库的一种计算系统被称为数据库管理系统(DataBase Management System, DBMS)。 ;问：有无一般性的数据表达和处理方式？;数据库管理系统(DBMS) 管理数据库的基本思路/步骤;数据库管理系统(DBMS) 管理数据库的基本思路/步骤 (1)定义表的格式：DBMS提供数据定义语言(Data Definition Language, DDL)来让用户表达他要定义什么样的表，然后DBMS会按照用户的需求在系统里面建立相应的表。 (2)按格式操纵表中数据：DBMS提供数据操纵语言(Data Manipulation Language，DML)来供用户表达他想对数据库所进行的操作，并获取相应结果。 (3)对表的使用进行控制：DBMS也是通过提供一种数据控制语言(Data Control Language，DCL)给数据库管理者，以方便其表达对数据库的安全性控制需求。然后DBMS按照管理者定义的安全性，对访问数据库的用户和程序进行控制。 ;定义数据表;定义数据表 列(Column)：也称字段(Field)、属性(Attribute)。表的每列都包含同一类型的信息，列由列名和列值两部分构成。 行(Row)：也称元组(Tuple)或记录(Record)。表中每一行由若干个字段值组成，描述一个对象的信息。 表(Table)：也称关系(Relation)，由表名、列名及若干行数据组成。在数据库领域，这种简单结构的二维表又被称为“关系”，以表这种形式反映数据组织结构的模型被称为“关系模型”。 关系模式：在表中，表的结构(或格式)被称为关系模式，主要由表名和列名构成。 ;定义数据表 码：在表的各种属性中，有一个属性或属性组很重要，那就是码。(Key)也称为键，或者关键字，它是表中的某个属性或某些属性的组合，它们的值能唯一地将该表中的每一行区分开来。 数据库：一个表用于描述客观世界中的一件事情，对不同事情的描述则用不同结构的表，如此若干数据表的集合便形成了一个“数据库”。 数据表的性质： 列是同质的； 列的顺序可以任意交换；行的顺序可以任意交换； 任意两个元组不能完全相同； 4) 表中每一数据项必须是不可再分割的数据项，即都应是按行按列管理的简单的二维表，满足此性质的表称为规范化的表或规范化的关系。 ;至此，我们得到了初步的模型 为了得到一般性的理论，需要对模型的性质进行研究;数据表的性质：规范化的表或规范化的关系。 ;我们说： (1)关系/表之间是可以相互操作的，而对关系/表的操作结果仍然是关系/表。 (2)有5种基本的关系操作是必须的，即数据库管理系统至少应支持：“并”、“差”、“笛卡儿积”、“选择”和“投影”等操作。 (3)数据库管理系统还应支持用户通过这5种基本操作的组合来