- 1、本文档共22页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
©2011-2013 Yonghong Technology Co.,Ltd.
Yonghong大数据BI案例的底层技术分享
2013.9.21
新浪微博@永洪科技BI
目录
• 互联网大数据案例
– 海量数据,实时计算
• 电信大数据案例
– 大数据,小投入
2013/9/22 2
互联网大数据案例
某著名咨询公司用户行为分析系统
? 面临问题:实时分析的数据量大 ,基于Hive的分析系统不够实时,但预算有限
解决办法:90天细节数据约50亿条导入Yonghong DM ,再定制Dashboard分析
WEB数据 APP数据
5 台 PC Server
64G 内存
Hadoop 4 CPU (4 Core)
Data Mart
Dashboard/Reporting
2013/9/22 3
互联网大数据案例
POC (Proof of Concept )
1.Demo :5台PC Server
导入1-2天的数据,如何ETL ,如何做简单应用。
2.POC :导入近3个月的数据
解决步长问题,有效访问次数, 在几个分组内,停留时间大于30分钟
解决HBase数据和SQL Server数据的关联问题
解决分组太多,Span过多的问题
分析师做了些简单的应用报表
2013/9/22 4
互联网大数据案例
数据源及数据特征分析
每天5000万行, 抽取样本数
每个表有20多 原始数据每天 据100万行,
个字段,一半 100G ,100天 导入数据集 50亿数据的
字符串类型, 是10T的数据 市,数据量 若全部导入
90天的数据, 一半数值类型, 在180M 需要900G的
Web数据7亿, 一行数据估计 量,压缩比
App数据37亿, 2000Byte 在11:1
总估计在50
假设同时装载
您可能关注的文档
- 《请给我结果》心得.ppt
- 《职业形象与礼仪》新.ppt
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第1讲 描述运动的基本概念.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第2讲 匀变速直线运动的规律.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第3讲 自由落体运动.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第6讲 力的合成与分解.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第7讲 共点力作用下的平衡.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第9讲 牛顿运动定律 力学单位制.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第10讲 用牛顿运动定律解决问题.doc
- 【高考零距离】高考物理(人教版)一轮复习配套文档:第16讲 万有引力定律在天体运动中的应用.doc
- 英语人教PEP版八年级(上册)Unit4+writing+写作.pptx
- 人美版美术四年级(上册)8 笔的世界 课件 (1).pptx
- 人美版美术七年级(上册)龙的制作.pptx
- 英语人教PEP版六年级(上册)Unit 2 第一课时.pptx
- 数学苏教版三年级(上册)3.3 长方形和正方形周长的计算 苏教版(共12张PPT).pptx
- 音乐人教版八年级(上册)青春舞曲 课件2.pptx
- 音乐人教版四年级(上册) 第一单元 音乐知识 附点四分音符|人教版.pptx
- 英语人教PEP版四年级(上册)Unit 6 Part B let's learn 1.pptx
- 道德与法治人教版二年级(上册)课件-3.11大家排好队部编版(共18张PPT).pptx
- 人美版美术七年级(上册)《黄山天下奇》课件1.pptx
文档评论(0)