CNCC2014大数据总结.pdfVIP

Smart Data and Signal Processing Laboratory of Xiamen University CNCC2014 大数据高峰论坛总结 CNCC2014 大数据高峰论坛总结 庄培显 2014.10.27 ► 百度大数据引擎与大数据预测实践 [ 沈志勇博士（Bayesian 出身 ） 百度研究院大数 据实验室] 1. 百度大数据引擎 第三级平台：百度大脑（深度学习，超大规模机器学习，...） 大数据智能分析：从百度到行业 Smart Data and Signal Processing Laboratory of Xiamen University 2. 大数据预测应用案例 1 ）百度旅游预测 影响因素：往年历史数据统计（整体水平，趋势性，季节性，...），辅助因素（节 假日，天气，大事件（世博会）等） 预测模型： Smart Data and Signal Processing Laboratory of Xiamen University 2 ）世界杯预测 方法集： 基于统计量  监督学习 多源数据融合（赔率，历史战绩等）  群体 慧 专家融合 隐因子模型  复杂模型 层次贝叶斯模型 图上排序模型 攻防因子模型 单场预测结果：♦ 小组赛（48场）正确率：58.3% ♦ 淘汰赛（15场）正确率：100% ♦ 优于Google和Microsoft等预测 Smart Data and Signal Processing Laboratory of Xiamen University Smart Data and Signal Processing Laboratory of Xiamen University 3. 挑战和问题 ♦ 信息化→数据化→智能化 （数据化程度低） ♦ 数据隐私 （一大阻力） ♦ 机器学习方法的可复用性低 ♦ 领域学习成本高 Smart Data and Signal Processing Laboratory of Xiamen University ► 互联网时代的大数据 [ 张潼 百度研究院大数据实验室] 1. 背景 互联网大数据： 网页数据，用户行为记录，地图，语音和图像等； 联系人和服务： 联系人和信息，人和商品，人和人； 大数据应用： 用户体验，广告推荐系统，企业决策等； Smart Data and Signal Processing Laboratory of Xiamen University 2. 大数据智能技术发展 （大规模机器学习和深度机器学习） 智能技术发展历史： 1）人工规则 + 工程； 2 ）数据驱动 + 小规模机器学习 （模型从简单到复杂） 3 ）大数据 + 大规模机器学习 （模型从简单到复杂） 互联网公司（百度）现状： 1 ）大规模： 数据多，参数多，计算多级并行； 2 ）复杂模型：非参数，统一参数优化，自动特征学习，自动挖掘隐性概念； 机器学习发展