大数据管理与数据质量- 美国金融业中对策.pptVIP

大数据管理与数据质量- 美国金融业中的对策 汪时奇 （博士） 处理速度 容量限制 数据质量 Overview 数据 = Data = 信息 (并非数字集合) 数据科学 (约)= 信息科学 为何研究大数据? 因为相关产品(如硬盘, memory, CPU等)价格指数下降 因为信息爆炸 因为大数据导致许多新问题 大数据研究是多学科的综合(IT, DM, BI, BA, …) 实业界对大数据问题的对策 (见下文) 1. 数据库策略 1.1 Database (DB) performance 1.2 DB space 1.1 DB performance Auditing – 2 tables: a small active a huge passive Partition Index (good/bad; Cluster; Global/Local) Lock type (when apply row lock) Transaction: 1-phase or 2-phase Normalization Internal optimization (e.g. Execution Plan= hint in Oracle) Constraints (e.g. Check) usage to replace trigger Tricks (e.g. Date function; S