财务大数据基础.docx

大数据认识 大数据思维：全样而非抽样 效率而非精确 相关而非因果 大数据的本质：大量性 多样性 高速性 价值性 大数据的发展阶段有：萌芽阶段 成长阶段 爆发阶段 快速发展阶段 大数据的数据处理流程：1.数据采集（数据采集的方式有：数据库采集 文本数据采集 实时流式数据的采集 多媒体数据的采集） 2. 数据融合治理 3. 数据计算存储 4. 数据分析和挖掘 5. 数据可视化 6. 产品应用 数据库基础 关系型数据库是由数据表构成的，列是表中的一个字段，行是表中的一个记录，表中的数据是按行存储的。 SQL是一种专门用来与数据库沟通的语言，SQL语句可以分为以下三类： DDL(数据定义语言)：CREATE :创建数据库和表等对象 DROP :删除数据库和表等对象 ALTER :修改数据库和表等对象的结构 DML(数据操纵语音)：SELECT :查询表中的数据 INSERT :向表中插入新数据 UPDATE :更新表中的数据 DELETE :删除表中的数据 DCL(数据控制语音)：COMMIT :确认对数据库中的数据进行的变更 ROLL BACK :取消对数据库中的数据进行的变更 GRANT :赋予用户操作权限 REVOKE :取消用户的操作权限 数据库基本操作 数据表创建 （一）表的创建：create table 表名 ( 列名1 数据类型 该列所需约束, 列名2 数据类型 该列所需约束, .... 该表的约束1，该表的约束2设置主键 ..... ); 注意： 1.表名和列名的命名规则： (1)只能使用半角英文字母、数字、下划线( _ )作为数据表和列的名称; (2)表名称不重复,在同一个数据库中不能创建两个相同名称的表; (3)列名称不重复,在同一个数据表不能创建两个相同名称的列; 2.数据类型 3.约束 在SQL 中有5种约束: (1 )主关键字约束( Primary Key Constraint ) PRIMARY KEY :确保某列(或两个列多个列的结合)有唯一标识。 (2 )外关键字约束( Foreign Key Constraint) FOREIGN KEY :保证一个表中的数据匹配另一个表中的值的参照完整性 (3 )惟一性约束( Unique Constraint ) UNIQUE :保证某列的每行必须有唯一的值。 (4 )检查约束( Check Constraint ) CHECK :保证列中的值符合指定的条件 (5 )缺省约束( Default Constraint ) DEFAULT :规定没有给列赋值时的默认值 （二）表名的修改：alter table旧表名rename to新表名; （三）数据表字段的添加：alter table表名add column段名数据类型 ; （四）数据表字段的删除alter table表名drop column宇段名: 数据插入 单行输入（1）不指定列名：insert into表名称values (值1,值2,…)（2）指定列名: insert into表名称(列1,列2, ...) values (值1,值2, ..); 多行输入 （1）不指定列名：inset into表名称values (值11,值12, ...),(值21,值22, …),(值31, 值32,…) ; （2）指定列名: insert into表名称(列1,列2, …) values (值11,值12, ..),(值21值22, …),(值131值32, ...); 数据查询 SELECT语句查询：select语句的基本语法:select 列名 from 表名; 查询出表中所有的列语法:select* from 表名; (注:星号(*)可以代表查询所有列的) 为列设定别名（AS）select 列名 as 列别名 from 表名 ; 使用where进行条件查询 select 列名 from 表名 where 查询条件;(1)按条件表达式筛选：条件运算符有: 、、 =、 (!=)、=，= ( 2 )按逻辑表达式筛选：逻辑运算符有: and.、or、 not 基本语法如下所示:select * from 表名 where 查询条件1 and(or) 查询条件2 (3)模糊查询(like