刘知青：大数据时代的展望.pdfVIP

刘知青: 大数据时代的展望 2012 年 12月 21 日 我们知道数据的作用，在可以预见的将来，以大数据智能为核心的机器智 能将在众多领域达到甚至超过个体人的智能水平。汽车和飞机的自动驾驶、复杂 多层次决策问题的优化规划，这些都是可以预见到的…… 北京邮电大学教授、海博智讯首席科学家演讲实录 各位女士，各位先生，大家早上好！很荣幸今天有机会在这里跟大家共享 我们对大数据智能的体会，蒋总跟我说是不是从哲学角度上看一看这个问题， 我也是同意的，但是我是做科学的，首先从科学角度看看这个问题，然后再从 哲学角度上更深入的展望这个问题。 我将准备讨论三个问题，第一个是数据的作用，第二个是大数据智能，后 面再简单的说一下在客户行为分析上的应用。 先看今天面临的几个问题之一：“千人千面”的淘宝网购物 。网站为了更 好地满足客户的购物需求，如何为不同用户选择其个性化的商品？如何个性化 地展现商品以丰富客户的体验？ 今天面临的几个问题之二：高效的百度推广。广告商在传媒做商品推广导购 希望提高转化率，在什么关健词上做广告？用什么样的价格？产生多大的成本？ 获得多高的收益？ 今天面临的几个问题之三：城市道路交通的动态优化。如何动态地规划最优 路径，以适应不断变化的交通状况？如何动态地进行交通管理，以提高道路资 源的使用效率？ 今天面临的几个问题之四：民用航空资源优先与优化。对于国家民用航空管 理局，如何协调管理空港与航线的使用？如何提高空港与航线的使用效率？如 何提高航班的正电率？ 今天面临的几个问题之五：战斗机的设计。如何设计战斗机以适合航空母舰 的起降？如何设计战斗机以提高其操控性？如何设计战斗机以提高其隐蔽性？ 今天面临的几个问题之六：围棋博弈。如何评估围棋盘面的优劣？这是 2012 年三星杯围棋决赛：古力vs李世石，当时棋盘上有 200 左 空点没有下， 如何落子提高胜利？ 今天面临的几个问题之七：玛雅世界末日。2012 年 12月 21 日是不是世界末 日？左边这个图就是玛雅日历的今天，今天是它日历的最后一天，明天的太阳 还会不会升起来？一定程度上是个未知数，如果今天是末日，明天太阳不会出 来的话，他们右边很怪的神会跑出来。 以上是我们面临的问题，类似的问题比比皆是，这些问题我们称作复杂问 题，这些复杂问题有 特点呢？至少归结这么几点： 1、状态量和选择性。比如道路的选择、上进的展现。 2、随机性和不确定性。比如说你在购物的时候，虽然每个人有偏好，但也不 是一定要买个什么东西，总是有一个随机性在里面。 3、不存在完整的理论。存在的完整理论都不是复杂问题，都是已经解决的问 题，但是我们生活面临的需要解决的问题都是复杂问题，缺乏完整的数学理论 解决。 复杂问题的解决方法： 1、积累经验。 2、归纳条理。 3、建立模型 解决复杂问题的经验、条理与模型是否正确？它们是科学还是迷信？目前市 场上的数据挖掘与信息系统，因为缺乏数据的实证机制，其实是一种看似科学 的迷信。 数据是解决复杂问题的科学方法，科学与迷信区别是实证，实证是通过数 据体现的，数据适合描述复杂问题的选择性、随机性和不确定性，是解决复杂问 题的科学方法。 这幅图是汇映飞机设计的例子，我曾经代表国家教育部到巴基斯坦大学， 他们想在中国建一个科技大学，设计飞机。实际的设计过程中有很大的实验室， 里面有很粗 的管道，这个管道里面会有气，这个气最后通到飞机上来，等于飞 机在空气中运动，随着空气对飞机产生作用，当然也是飞机在飞行过程中的作 用，可以测试到飞机 生命力是什么样的、操控性是什么样的以及隐蔽性是什么 样，所以真正的飞机设计都是通过大数据测试完成的。 那么对于玛雅人的事情怎么看？如果有实证的话我们可以实证一下玛雅人 的末日是不是科学，但是这要等到今天结束才能知道，没有实证数据，如果没 有实证数据， 我们可以做几种方法，一个是类比，一个是可信度评估，比如说 玛雅人有没有预测其他事情，那些事情靠不靠谱，我们中国祖先有一种方法就 是占卜，占卜是我们祖 先发明的一种近似于科学的数据方法。这就是数据的作 用，数据就是用 解决实证、解决现在复杂问题的方法。 下面看看大数据智能，我们做了这么一个片子来总结，大数据智能是对人 类活动的海量数据进行获取、尊出、传输和分析，并及以采样、探索、反馈和