第16期大数据专场2015合集诞生之旅.pptx

大数据(Big data) 诞生之旅潘国伟化大 09级计算机MediaV 研发工程师拖延症、选择恐惧症患者。。。What did I do？收集数据为了给你打小广告大数据哪里大？ · 大得无法用普通数据库工具管理 （TB以上，达到PB级别） · 数据涉及范围大，种类多，结构化数据 (现在还有哪个行业不说用大数据) · 处理速度快，实时处理可以在毫秒级响应 (麻麻再也不怕看球看直播还比别人延迟咯) · 每个人每个举动都为它提供数据 (你什么时候上厕所也可能被暴露，所以滴滴拉屎出现了)What？到底是谁把你的数据贡献出来了？！About数据采集第一方数据：在网站上部署监测代码、在APP上加监测sdk、运动手环等任何从Point主动发送数据的方式，是半结构化数据（我就是做这个事情的混蛋）第三方数据：网络爬虫啊、开放API、特定供给接口、购买数据（庞大的网络中继商、运营商数据）自建专有数据库：如我们美女CTO采集的几十亿cookie和兴趣库、标签库、IP库、跨屏映射库等First point：What is cookie？Can eat？存储在浏览器端的永久或暂时数据，给你打上各种标识Second point：LOG长啥样子？Third point：怎么做人群区分？通过cookie数据，利用人群分类模型，给每个人打上标签，例如：兴趣标签、地域标签、 个人属性标签、搜索关键词、 网络路径行为等最后来讲点枯燥打瞌睡的技术-->数据存取：Nosql，如mongodb-->基础架构：云存储,分布式,mapreduce-->数据处理：hadoop集群, spark-->数据仓库、 统计分析(BI)：Hive、pig-->数据挖掘、机器学习、模型预测最后的最后：告诉大家一些秘密大数据的前提是根据摩尔定律，存储成本下降是基础然后是要有一个可用的系统，就算数据少也是最高效的然后就是想方设法弄数据了最后就可以尽情忽悠等赚钱啦！ O(∩_∩)OThanks！ Q & A潘国伟 pangw@