- 1、本文档共47页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据分析的案例、方法与挑战
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
数据分析者面临的问题
数据日趋庞大,无论是入库和查询,都出现性能瓶颈
用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高
使用的模型越来越复杂,计算量指数级上升
传统技能无法应对大数据:R、SAS、SQL
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪 2
场景介绍
信令监测是做什么的?
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
体系架构
数据库服务器:HP小型机,128G内存,48颗CPU ,2节点RAC ,其中一个节点用于入
库,另外一个节点用于查询
存储:HP虚拟化存储,1000个盘
入库节点
入库方式——常规路径sqlldr
大量使用表分区设计
数据量:每小时写入200G左右数据磁盘物理写大约
为450G每小时
问题:1 入库瓶颈 2 查询瓶颈
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
数据库设计
物理上采用ASM
大表全部按时间分区,开始时按小时分区,但由于数据量庞大,后来改成15分钟分区
,最后变成每分钟切换1个分区
采用sqlldr方式入库
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪 5
入库故障描述
由于数据量太大,不得不同时启用多个处理机,产生了多个入库节点
当入库节点分别增加到2节点和4节点以后,sqlldr出现停顿现象
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
AWR报告
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
AWR报告
2012.4 DTCC2012
DTCC2012
中山大学海量数据与云计算研究中心黄志洪
AWR报告
您可能关注的文档
- 北京富华宇祺信息技术有限公司审计报告.pdf
- 北京师范大学-ERP高级讲习班第二轮通知pdf版下载-北.pdf
- 倍耐力CCPC_乐视体育整合营销运营方案_v6.2(0614)(PDF47页).pdf
- 笔记本BIOS详尽设置.pdf
- 参展商名单[以国家分类]-exhibitorlist,.pdf
- 查礼:大数据技术如何用于传统信息系统46.pdf
- 川教版小学六年级《信息技术》上册教案【比教材好10倍的教案,路过别错过】.pdf
- 传统电商转型方案如何做好社交电商转型(PDF31页).pdf
- 船舶制造业中的 Dassautl Systemes PLM V5 解决方案.pdf
- 创客教育之校园虚实融合机器人系统方案22.pdf
- 血清肌酐参考测量程序同位素稀释液相色谱串联质谱法2024.pdf
- 定量检验程序分析性能验证指南2024.pdf
- 2024东北三省三校高三四模历史试卷和答案.pdf
- 《德语翻译学导论》课程教学大纲.doc
- 岗位设置实施方案.pdf
- 节阅读理解篇篇课文补充.pdf
- peck-stuart hall cultural studies and the unresolved problem of relation culture to佩克斯图亚特霍尔文化研究与自然关系未解决问题.pdf
- 全球数字货币钱包.pptx
- 小红书:小红书2024年4月教育行业月报.docx
- 粉末涂料涂装产业白皮书 2024.docx
文档评论(0)