原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
大数据解决方案V2
大数据解决方案
2013.05.18
一、大数据特点
二、传统DW处理方式的挑战
三、Hadoop 技术简述
四、 面向大数据的集成解决方案
一、大数据特点
1. 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理
和处理的数据集合”—维基百科
2. 三大特征( 3V )
1. Volume ：数量大（Twitter1.75亿用户每天创建9500万条微博；
Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传
168Tb视频）
2. Velocity ：时效性要求高（搜索引擎要求几分钟前的新闻能够被用户查
询到）
3. Variety ：种类和来源多样化（结构化/半结构化/非结构化；关系数据
库/数据仓库/互联网网页等）
3. 通常用于分析型的应用场景，如搜索引擎网页处理、用户行为分析、商
业智能（BI ）等
对大数据的理解-4V特征
具有4V特性的数据称为大数据
• 巨大的数据量Volume
• 集中储存/集中计算已经无法处理巨大的数据量
SOCIAL
Volume BLOG 3亿用户，每天
上亿条微博 中型城市每月数十
SMART 亿智能电表数据
METER
• 多结构化数据Variety
Variety • 文本/ 图片/视频/文档等 2015年全球移动终端产生的数据
• 增长速度很快Velocity 量6300PB
Velocity 10110010100100100
11010101010111001 • 海量数据的及时有效分析
01010100100101
• 用户基数庞大/设备数量众多/实时海量/数据指数级别增长
• 价值密度低Value
Value
• 单条数据并无太多价值，但庞大的数据量蕴含巨大财富
二、传统DW数据处理方式的挑战
海量数据的出现、数据结构的改变，对数据管理及分析带来挑战
传统数据源VS 新数据源
非结构化
半结构化
数据
结构化
数据
数据量、复杂的数据种类剧增带来新的挑战
更多的多样化数据 结构化
文档评论（0）