借HANA实现以速度取胜AdMaster从百亿数据中淘金.docVIP

借HANA实现以速度取胜AdMaster从百亿数据中淘金 　　“高富帅”、“白富美”、“天然呆”、“喵星人”……打上了这些互联网时代语言的“昵称瓶”已经成为可口可乐的经典营销案例。当初可口可乐是如何保证这些“昵称”是真正让消费者喜闻乐见的呢？ 　　在中国市场，AdMaster（精硕科技）功不可没。AdMaster借助SAP HANA对微博、SNS等网络过亿的海量数据信息进行挖掘和分析，从300多个“昵称”中选出了最受欢迎的24个。 　　立志成为数据专家 　　成立于2006年的AdMaster是我国领先的独立第三方数字营销全流程监测评估服务提供商，也是目前国内最大的独立第三方DMP（大数据管理）平台提供商。 　　AdMaster以大数据采集、挖掘和分析为核心，推动着数字营销行业的变革。AdMaster在数字广告效果评估、社会化聆听、网络视频和大视频的跨屏分析、移动端广告监测，以及打通各平台进行分析等领域持续创新，并拥有多项发明专利。目前，AdMaster服务于300多个品牌，其中包括可口可乐、英特尔、宝洁、海尔等知名品牌。 　　“我们信仰数据，我们认为数据具有无穷的力量，希望成为数据专家。”AdMaster创始人兼首席执行官闫曌认为，社交媒体中的大数据不仅可以用于营销和公关，还可以用于提升产品和服务质量。 　　据悉，AdMaster已经做了很多努力来制定一些行业标准，研究数字营销、移动营销该怎么做，产业该怎么发展才能更健康。AdMaster还和全球专业性的市场研究公司益普索（Ipsos）建立密切的合作关系来加强其在消费者洞察以及数据挖掘方面的能力。 　　闫曌回忆说，2010年广告客户开始关注互联网广告数据的分析和挖掘；同时随着社交媒体的兴起，广告客户对互联网广告的投入越来越大。“我们最大的一个客户在互联网广告方面的预算一年就达到5亿元。”他说，“客户用我们的服务可以把广告的ROI提升15%～30%。” 　　可见，AdMaster的业务与当前炙手可热的大数据密切相关。闫曌介绍，AdMaster拥有国内最大的广告监测和数据分析服务器集群，通过弹性规划，每天处理超过50亿条数据，分析200个数据指标，迭代超过100种数据模型。也就是说，每天的数据迭代量达到了1万亿次。不仅如此，他们还要分析一些历史数据，平均每天处理数据超过1万亿次。 　　AdMaster CTO洪倍介绍，在采用SAP HANA之前主要采用自己通过开源软件自主开发而形成的弹性规划数据处理方式。尽管该方式已经达到了全球范围内数据分析和处理的领先水平，但由于采用的算法比较复杂，随着数据量的不断增加，数据处理效率开始不尽如人意。 　　差别处理 善用巧劲 　　2012年中旬，SAP广发英雄帖以寻求合适的初创企业加入针对SAP内存计算数据平台HANA的SAP初创企业激励计划。AdMaster通过PE基金公司报名加入。 　　AdMaster的相关人员参加了当年7月在北京举办的SAP中国同略会，初步了解了SAP HANA能对公司业务起到的作用。后来，洪倍在上海花了两个月时间和SAP的研发团队一起工作，以论证HANA对广告大数据处理的价值，其中包括数据去重和在关键指标计算方面带来的大幅度时间节约。在经过SAP对AdMaster技术实力和竞争优势的整体评估后，AdMaster和SAP双方达成一致认可，确定AdMaster正式加入SAP初创企业激励计划。 　　“我们从SAP内部了解到SAP本身的很多产品都已经向HANA迁移，而且SAP已经有客户向HANA做了迁移。如果SAP自己推的东西自己都不敢用的话，我们是不可能用的。”洪倍指出，SAP自身产品向HANA迁移的举动增强了精硕科技对HANA的信任。 　　“在选用SAP HANA之前我们做了综合的考虑，要看HANA是否适合我们的应用场景。尽管HANA有很好的口碑，但是它也不是万能的，因为每个软件都有与之相适应的应用场景。”洪倍介绍，他们将数据分为温数据、热数据和冷数据。热数据是指读取频繁的数据，温数据次之，冷数据则主要用于存档。等到数据从温变到冷归档后，他们就用高性价比的存储产品去存储它，而不再需要HANA做什么。 　　“我们现在的架构采用的业务处理模式是需要快速处理的业务采用HANA来处理，一些常规的报表都用自己的平台来实现。另外，一些非结构化数据的处理我们也会放在HANA上。”洪倍说，“实时热数据的处理用HANA来完成，这也是在用一个巧劲。” 　　从两三小时到五分钟 　　闫曌告诉记者，AdMaster的业务正在高速增长，每年都以两三倍的复合增长率在增长，“这里面有一部分是HANA贡献的”。洪倍介绍，AdMaster 90%的产品是通过SaaS模式交付给客户的，客户最终获取的是实时数据，而不会关心后台采用了