{管理信息化大数据分析}大数据分析的案例办法与挑战.pdf

{管理信息化大数据分析}大数据分析的案 例办法与挑战 大数据分析的案例、方法与挑战 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 数据分析者面临的问题 数据日趋庞大，无论是入库和查询，都出现性能瓶颈 用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高 使用的模型越来越复杂，计算量指数级上升 传统技能无法应对大数据：R 、SAS 、SQL 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 2 场景介绍 信令监测是做什么的？ 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 体系架构 数据库服务器：HP 小型机，128G 内存，48 颗 CPU ，2 节点RAC ，其中一个节点用于入 库，另外一个节点用于查询 存储：HP 虚拟化存储，1000 个盘 入库节点 入库方式——常规路径 sqlldr 大量使用表分区设计 数据量：每小时写入 200G 左右数据磁盘物理写大约 为 450G 每小时 问题：1 入库瓶颈 2 查询瓶颈 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 数据库设计 物理上采用 ASM 大表全部按时间分区，开始时按小时分区，但由于数据量庞大，后来改成 15 分钟分区 ，最后变成每分钟切换1 个分区 采用 sqlldr 方式入库 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 5 入库故障描述 由于数据量太大，不得不同时启用多个处理机，产生了多个入库节点 当入库节点分别增加到2 节点和4 节点以后，sqlldr 出现停顿现象 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 报告  中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 报告  中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 报告  中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 关于BufferCache 中山大学海量数据与云计算研究中心黄志洪 2012.4 DTCC2012 Latch 中山大学海量数据与云计算研究中心黄志洪 2012.4