媒体大数据算法-DriveHQ全球云.ppt

大数据算法与优化方法 罗迒哉 西北大学信息学院 课件地址 /pro/bigdata/ 搜索“罗迒哉” 搜索Hangzai Luo S 从主页进入 预备课程 程序语言：C/C++ 算法与数据结构 数据库 操作系统 计算机体系结构 编译原理 大数据任务特点 何为“大数据” “80-20法则”与“长尾效应” 凡是符合“长尾效应”的数据集就是大数据 大数据任务特点 符合“80-20”法则的案例 CPU 80%的周期反复执行20%的指令 Jcc指令：静态10%，动态15% 优化方法：cache，分支预测 超市 80%的利润来自20%的商品 80%的销售来自20%的顾客 优化方法：重点货品，重点客户 大数据任务特点 当“长尾效应”发挥威力的时候 一切以“80-20法则”为基准的优化都失效了 轻则效率下降，重则系统崩溃 春晚的前世今生 Google 怼 Yahoo 淘宝 怼 超市 京东 怼 淘宝 Windows 怼 Linux 大数据任务特点 大数据应用成功的关键 低成本收集“长尾”需求，汇聚为一致的操作 案例：云计算 对数据全面的理解 以满足差异化的需求 对需求全面的理解 以适配海量的用户 选用适当的优化方法 大数据算法优化要点 线性扫描：多趟线性扫描数据 通常不使用复杂的索引、缓存、分析算法 区别于80-20类型数据 减少扫描次数 数据并行：数据分片并行处理 通常不