干货：BAT都是怎么玩大数据的.pdf

干货： BAT 都是怎么玩大数据的 ? 为什么国内的大数据应用，只有几个互联网巨头取得成就呢？是因为它们拥有最多的用户、流量和 数据吗？ 去年 5月笔者曾撰文阐述百度、阿里和腾讯这三个互联网巨无霸开始挖掘大数据。一年过去，拥有海 量数据的公司已在多个领域尝试对掌握的数据进行利用，大数据意识和能力进步飞快，体系和工具 日趋成熟。 大数据应用实践，硕果累累 百度在大数据方面让人印象深刻的有百度迁徙这样的公益项目，应用在民生和新闻等领域。最新动 态是，百度网盟利用基于大数据的 CT R （广告内容匹配）数据，站长的平均收入提升 70 ％。 阿里则对外宣称已经拥有 100PB 数据并以令人欣喜的速度增长，马云最新的内部邮件将阿里战略阐 述为云端＋大数据，阿里要进入数据时代。 腾讯广点通平台不乏亮点应用，例如美丽说借助广点通在移动端取得丰收，小米手机与 QQ 空间合 作更是基于社交数据营销的经典。 百度、阿里均已将大数据升级为公司战略，李彦宏、雷军等互联网代表人物在两会时都曾有建言， 推动政府的大数据意识和开放，大数据正在从理论走向实践，从专业领域走向全民应用的阶段。 互联网牵头大数据的必然性 为什么国内的大数据应用，只有几个互联网巨头取得成就呢？是因为它们拥有最多的用户、流量和 数据吗？答案是否定的。因为所有关于大数据的论断都认为，大数据并不在于大。质量、性质以及 谁拥有它，将决定大数据能被挖掘出来的价值和难度。 物联网传感器、视频监控设备时时刻刻都在收集海量数据，但价值没有微博大，因为数据难以变现 。运营商拥有用户通信相关数据，从语音到短信再到位置，量大过任何一个互联网巨头。只能白白 浪费，因为运营商不被允许也无能力去利用这些数据。与之类似，政府部门、软件企业均拥有大 数据，却只能任其沉睡。 之所以 BAT 走在国内大数据应用的前列，即与其拥有的数据性质有管，与互联网企业的技术基因、 开放创新和积极进取有关。 大数据利用难点在于技术。从数据的收集到存储到清洗，再到脱敏，归类，标签化、结构化，以及 最后的建模分析、挖掘利用，均是技术活儿。需要服务器集群、数据利用模型和数据处理算法来 保障，然后才是挖掘出来的结果的包装、变现。 相对其他拥有大数据的金主来说，互联网企业的技术甩开它们几条街。运营商技术是外包；银行的 技术外包居多；其他公共部门例如政府、交通、教育、能源等行业，技术对他们是遥远的名词。 还有动机。互联网企业的服务产品几乎是免费，必须通过其他模式赚钱。过去是广告、游戏和增值 这三种模式，到了移动端广告模式遇到瓶颈，需要新模式，抑或加强原有模式。这两点上，大数据 都会起到大的作用。 BAT 大数据思路迥异 BAT 三家的数据各有特色。 百度是基于用户搜索行为的需求数据，阿里掌握着交易以及信用数据，腾讯则掌握着社交关系数据 。各有千秋。它们对大数据的应用方向并不相同。百度和阿里更为激进。腾讯观望多过行动，也可 能是说得少做得多。 首先是动机。 百度收入 95 ％以上来自广告，淘宝的主要收入模式也是广告。百度、淘宝和 CCT V 是中国前三大广 告投放阵地。腾讯主要收入来自游戏和社交增值业务，广告收入占比仅为三成左右。 本阶段大数据变现的主要途径是精准广告，这契合百度和阿里的诉求，两家将大数据升级为公司 战略。 其次是技术。 搜索引擎是技术驱动，百度和其创始人李彦宏最具技术基因。马云对外宣称因为其不懂技术所以阿 里技术最强。只有腾讯不怎么强调技术，一直强调产品能力。 大数据是技术活儿，百度和阿里这两位自认为技术很强的玩家探索在先符合常理。百度和阿里在大 数据技术已经进行较多布局，从人才到架构到基础设施再到技术理论。 百度有深度学习研究院、高价聘请大数据领域人才以及与高校合作，正在建设亚洲最大云计算机房 ；阿里有飞天计划，有先进的跨机房 5k集群、 Apsara 分布式计算系统，还有数据委员会这样的架构 。 几家在云计算平台上的不同态度可以佐证我的观点。云平台和大数据是连体婴。 移动端“ ”、合作伙 伴和用户个人的数据，均需要 云“”来收集、存储和处理。要掌握大数据，一定要具备承载数据的开放 的云。 阿里云 09 年成立，百度云 12 年推出，分别对应到 IaaS 模式和 PaaS （Amazon VS Google ）。它们 的云服