金融领域大数据管理和数据质量分析.ppt

大数据管理与数据质量 美国金融业中的对策 处理速度 容量限制 数据质量 Overview 数据≮=Data=信息(并非数字集合) 数据科学(约)=信息科学 为何研究大数据? 因为相关产品(如硬榅, memory,cPU等)价格指数下降 因为信息爆炸 因为大数据导致许多新问题 大数据研究是多学科的综合(TDM,BL,BA,) 实业界对大数据问题的对策(见下文) 1.数据库策略 1.1 Database(Db) performance 1.2 DB space 1. 1 DB performance Auditing -2 tables: a small active a huge passive Partition Index(good/ bad; Cluster; Global/ Local) Lock type(when apply row lock) Transaction: 1-phase or 2-phase Normalization Internal optimization (e.g. Execution Plan= hint in Oracle) Constraints(e. g. Check) usage to replace trigger Tricks(e. g. Date function Search small table first; 1.2 DB space Space arrangement for even distribution (e.g. 1 huge table uses a few data files) Cleaning procedure with defragment Partition design with cleaning plan