Hadoop之与英特尔研究院院长分享大数据心得.docVIP

Hadoop之父与英特尔研究院院长分享大数据心得 作者：IT专家网出处：IT专家网2014-12-12 13:42 　　“数据铸就价值，激情源于碰撞”来自英特尔中国研究院院长吴甘沙与Hadoop之父Doug Cutting在12月11日分享了大数据的一系列心得体会。 　　首先进行分享的是英特尔中国研究院院长吴甘沙先生。 　　“大数据不是一个人在战斗!”这是吴院长分享的开始。大数据有没有摩尔定律？指数过滤的滚滚铁轮下，会如何发展？更多精彩内容，不要走开，道长马上更新~ 　　“大家可以看到这条曲线，前面经过长时间的缓慢增长，一旦过了临界点以后，大家可以看到爆发式的增长，如果在这么一个时间点T，它是X的话，下一个时间点就是X的平方，如果X是一个大数的话，这样一个指数规律使得在任何一个周期里面，它的新的值将远远把前一个周期的值抛在后面。” 　　大家经常听说在我们IT这个产业有这样一种指数的规律，而这样一种规律如果应用到传统的产业来说是不得了的事情。比尔盖茨曾经有一个比喻，如果汽车产业像IT产业这么发展的话，到现在我们一辆汽车是25美金，一加仑汽油能够跑一千英里，这就是指数带来的威力。 　　“这张泛黄的纸片来自英特尔的创始人之一摩尔曾经写就的这么一个规律，在这个规律下面，每18个月晶体管数会翻番，带来一系列指数式的连锁反应。” 　　“我们的处理器性能会翻番，内存的容量会翻番，成本折半，而功耗也是折半，而且这样一种指数的效应同样影响了IT的其他领域，比如说以氧化铁为主要技术的存储，每18个月翻番，成本减半，带宽甚至是每8个月能够翻番，甚至是我们数字影像的芯片每美元的像素数也是每18个月翻番，所有的聚合效应放在一起就带来数据的摩尔定律，带来数据的极大增长。” 　　大数据要说人话，它要提取人能够理解的价值，怎么能够让数据的工具跟我们的人，跟数据科学家，跟领域专家，跟我们的终端用户天人合一，降低数据分析的门槛，这又是一个挑战。 　　基于这些挑战，英特尔推出了大数据的分析框架，在最底层是基础设施，计算存储互联成为软件可定义，我们把它做成开放式、模块化的这些标准的模块，使得我们行业能够降低门槛，更多的创新者能够进来。 　　上面一层是数据平台，我们跟Cloudera一起推动基于Apache Hadoop开放、可信的数据处理平台，推动整个生态基础创新，上面是分析应用，我们希望能够把高级的分析功能平民化，使得它能够迈入主流的应用，使得它能够实现规模的经济。最上面是解决方案，我们跟生态系统伙伴一起构建示范性的解决方案，把它变成可扩展的参考架构，使得在示范的领域成功能够被复制到每一个行业、每一个企业上面去。 　　同时英特尔的产品部门和研究院一起跟生态系统的伙伴进行合作的研发，这是我们传统的一个研发布局。但是针对大数据的话，我们认为这样一条时间线未必合理。 　　大家可以想像，从现在往前推五年的话，“大数据”这个名词还没有火起来，在这样高度变化，不可预测的环境里面，我们把这个研发周期进一步的缩短，我们跟大学的合作研究也希望尽快的能够把这个技术推向市场。 　　在我们开放式的协作创新框架下，我们也加入数据的安全流通以及定价的这样一种研究。这就是我们一个研究平台，我们把它叫做“数据咖啡馆”，正如咖啡馆是让不同领域的人聚在一起，让他们的思想进行碰撞，产生新的想法，我们的数据咖啡馆就是希望能够让不同领域、不同公司的数据能够凑在一起产生新的价值。 　　比如说两个电商，他们对于客户的画像是非常片面的，如果我们能够把他们的数据在数据咖啡馆里进行融合，他们能够获得对客户完整的刻画，这里面很重要的一点是叫做相逢但不相识。 　　这两家电商愿意把数据融合，但是不愿意对方能够看到自己的数据，如何能够在不相识的这样一种前提下让他们相逢，让他们能够做数据的分析，这一定程度上解决了刚才讲到的数据隐私安全的问题。 　　就在昨天，Cloudera中国也成立了，这意味着我们跟Cloudera的合作可以从世界范围来到中国。 　　我们希望能够携手一起去为我们中国的用户提供满足他们需求的大数据的技术和解决方案。我们也期待能够一起为推动大数据的黄金时代在中国发生尽绵薄之力。 　　接过吴院长话筒的是Cloudera 公司副总裁苗凯翔先生。 　　Cloudera来中国了! Cloudera2008年成立，是由四个非常重要的互联网公司和搞数据公司，到现在有六年时间。 　　虽然公司人数只有800多人，但它在全球有1200个合作伙伴，由于它的技术领先地位，有1200个合作伙伴，已经带头形成全球最大的大数据的生态链 　　每天， 美国70%智能手机的数据后端处理都从Cloudera平台有一定的处理，每天都有数百亿的事件在后端处理，对美国经济也好、商业也好，还是很重要的一个公司。不光是产品的