数据与计算科学主持人.PDFVIP

数据与计算科学 主持人： 各位来宾，各位朋友，大家上午好。 金秋九月，欢迎大家来参加由TalkingData 主办的“T11 全球移动大数据峰会”，我叫肖 文峰，由我主持技术专场。这里是技术专场，技术专场，技术专场，重要的事情重复三遍， 避免有朋友发现进错了会场。 TalkingData 自2011 年成立以来，一直以技术为核心驱动力，在大数据领域努力耕耘， 我们希望用数据去改变企业做决定的方式，也希望用数据去帮助人们了解周围的环境。我们 一直坚信，数据和数据技术都应该是开放的、平等的、流动的，只有这样才更加有价值。因 此，数据行业的技术人员也应该具有开放、平等和分享的心态。回首 4 年大数据之路， TalkingData 获得了很多朋友的帮助，我们也想在力所能及的范围内回馈曾经帮助我们的朋 友——分享，无疑是最好的回馈方式。 我们希望藉此机会，能够把T11 做成大数据行业一线研发人员每年一度的海天盛筵。在 本会场，我们CEO 要求一定讲干货，充分交流，要把话题讲透。本次大会作为第1 季，我们 请来了在硅谷的一些技术专家，他们会带来硅谷大数据领域的一些新的想法和实践经验。上 午我们将聚焦于大数据的分析系统和架构，下午将聚焦在算法模型和应用实践。 同时我们也有三次抽奖环节（上午一次，下午两次），准备了丰厚的奖品，也提前预祝大 家好运。 另外，为了方便大家交流，我们也创建了微信群“T11-大数据技术群-2015”：通过微信 “面对面加群”的功能，大家输入数字“2011”即可加入。 大家都知道，TalkingData 覆盖18 亿智能设备，拥有非常大量级的数据，也有很多朋友 对支撑如此大量级数据的平台非常好奇。黄洋成，TalkingData 合伙人兼首席架构师，曾在 BEA、Oracle、尚邮等公司担任研发和架构师职位，专注于移动分析和数据挖据平台。接下来， 洋成将基于他对数据平台的思考，和大家探讨下一代数据平台的定义、挑战以及TalkingData 在通往未来之路上的实践经验。有请黄洋成！ 黄洋成： 首先欢迎大家在北京繁忙的周末、交通拥堵的情况下非常早就来到我们的会场，另外还 需要感谢一下多位不远万里从硅谷来的专家跟大家分享目前技术领域世界领先的前沿技术。 今天我给大家带来的题目是通往下一代数据平台的狂暴之路。TalkingData 从2011 年成 立以来，我们一直致力于怎么去发展数据的一些应用，以及发掘数据的价值。通过四年来的 实践，我们也得到一些经验教训，同时也有自己的心得。 我主要分享三部分，一是分享一下数据项的流程是怎样的，要支撑这样一个流程，大家 对数据平台有什么样的期望；二是从技术的角度，从技术团队来讲，要满足这样的期望会遇 到什么的挑战；三是TalkingData 已经做以及正在做的一些事情，跟大家分享一下。 这是一个非常普通的流程，数据流程都是类似的，也没有什么特别的地方，没有特别的 地方往往也说明其实就是一个比较普适很基本的东西，很难改变这个流程。通常一个数据项 首先从一个问题开始，这个问题可能是你有某个业务上的问题需要解答，数据有疑问，需要 数据支撑。当业务提出疑问的时候，必须和相关团队来形成一个计划，说明这个问题到底分 析的是什么，怎么用数据的方法来解决或者验证这个问题。当这个方案已经初步形成以后， 接下来更多是技术团队的工作。技术团队首先要看看到底这个数据在哪里，怎么能得到它， 现在有没有，以及有什么样的特性。这个问题解决以后，往往会把这些数据根据业务数据处 理掉，传统来说就是做一些统计、某些规划，再有通过一些技术模型来看看这些数据到底隐 含什么样的信息。 这个数据流程跑完以后最终得到一个结果，这个结果有可能支撑你开始的想法，也可能 这个结果回过头来发现刚才某一步有问题，从这个结果跳到某一步，重新走一遍。这样往往 会对相关人员提交结果，比如说管理层，管理层根据你这个结果做出重要的决定。这也是一 个非常简单的数据流程。 通过这个流程，我们会发现做一个数据项，对于我们都是技术人员，我们首先需要考虑 能建一个数据平台，来支撑这个流程。 接下来看，要做一个数据平台，从流程反映出来，它到底应该提供什么？我用几个词来 描述这些需求。第一，协作；第二，迭代；第三，交互；第四，表现力；第五，智能。 协作，数据项涉及到非常多的部门，有很多人参与。从部门来讲，你的需求可能来自于 销售部门或者市场部门、产品部门，技术实施需要技术部门来做实施