intel研究院院长吴甘沙演讲全文大数据分析师的卓越之道.pptxVIP

1 Infrastructure Data Value Knowledge Discovery 数据分析的典型场景 Data Value 第1页/共32页 第一页，编辑于星期六：二点 一分。 改变思维方式 提高技术素养 丰富分析能力 2 基础设施已经改朝换代分析师也需要与时俱进 第2页/共32页 第二页，编辑于星期六：二点 一分。 新的世界观：不确定的世界 3 第3页/共32页 第三页，编辑于星期六：二点 一分。 大数据的测不准 4 《科学》：大数据傲慢 《自然》：测不准 第4页/共32页 第四页，编辑于星期六：二点 一分。 5 Collection Analytics Interpretation Evaluation Preparation Hypotheses 数据分析方法论的升级 第5页/共32页 第五页，编辑于星期六：二点 一分。 6 Collection Analytics Interpretation Evaluation Preparation Hypotheses 数据分析方法论的升级 第6页/共32页 第六页，编辑于星期六：二点 一分。 7 Hypotheses 机械地发掘相关性和假设 直觉，拿侦探小说练手 阅读广泛涉猎 跨界思维碰撞 融入业务部门 防止数据采集与分析、业务与数据分析的脱节 第7页/共32页 第七页，编辑于星期六：二点 一分。 8 Collection Analytics Interpretation Evaluation Preparation Hypotheses 数据分析方法论的升级 第8页/共32页 第八页，编辑于星期六：二点 一分。 9 数据！数据！数据！ n=All ! Enterprise Data Warehouse  Enterprise Data Hub/Data Lake External data sources Structured  semi-structured  unstructured Log analysis Text analysis Image/video Data with geo and temporal tags Networks and graphs 第9页/共32页 第九页，编辑于星期六：二点 一分。 10 数据？数据？数据？ n=All ? More data vs. sampling “Raw data” is an oxymoron Signals and noises Sampling bias Data exchange and sharing Data rights, data pricing Data lifecycle management Provenance capture, representation, and querying Sometimes data are not assets, but costs 第10页/共32页 第十页，编辑于星期六：二点 一分。 11 Collection Analytics Interpretation Evaluation Preparation Hypotheses 数据分析方法论的升级 第11页/共32页 第十一页，编辑于星期六：二点 一分。 12 数据质量：重中之重 Noisy, biased and polluted data are unavoidable Goal: models = components for noise + relatively complex models for signal Cleansing, validation, … Can it start with a small subset? Can the process be automated? Work together with visualization, machine learning Curation, Wrangling, … Automated learning to discover structure, resolve entities, and transform data 第12页/共32页 第十二页，编辑于星期六：二点 一分。 13 数据表示 Reduce compute and communication complexity Sparse, compressed data structure Approximate computation Reduce statistical complexity Dimensionality reduction, clustering Sampling Non-random sampling, compressiv