互联网大数据库总结.ppt

用户可以通过WEB使用！ * 关于 会议 2014.1.8-北京-国家会议中心-大数据分会B 关于会议 关于会议 关于会议 新浪信息系统部高级数据挖掘经理 李云辉 新浪大数据处理 微软托管技术高级架构师 王健 籍CloudOS之力，鼓IDC云帆 酷讯公司商业分析总负责人（BI leader）秦宇 演讲主题：大数据那些事 阿里共享业务事业部数据挖掘专 李传福 大规模用户行为数据分析 乐蜂网大数据平台部 高级经理 罗萌 乐蜂网大数据技术与应用 百度加速乐资深安全顾问 秦波 web安全大数据 IBM 新兴市场部大数据中心总监 王晓梅 大数据时代下的新机会，新价值 关于会议 关于会议 关于 主题 2013出门不提大数据感觉都不是IDC圈的人！ “大家还没搞清PC时代的时候，移动互联网来了， 还没搞清移动互联网的时候，大数据时代来了。” ——马云 BD 大数据是啥？ BD BD,为何你如此的屌！ 定义大数据？ 大交易数据 大交互数据 大数据集成 大数据处理 OLTP OLAP； 数据仓库 社交媒体数据 其他如（设备） HADOOP 数据特征 数据量 速度 多样性 价值 TB - PB以上 GB - TB 持续，年增长60% 数据量稳定，增长不快 多维数据 结构化数据为主 数据挖掘，预测 统计和报表 传统数据 大数据 “大数据”指数据集的大小超过了现有典型的数据库软件和工具的处理能力。于此同时，及时捕捉、存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力。正在快速增长，就像摩尔定律一样。 ——mckinney global institute 用大智慧去匹配大数据，探索新的价值。 ——马超 TB - PB以上 GB - TB 持续，年增长60% 数据量稳定，增长不快 多维数据 结构化数据为主 数据挖掘，预测 统计和报表 左右未来的四大趋势 社交网络将不仅包含个人员，也将包括设备，以及产品 的公司期待2013年使用内部企业社交网络应用 移动应用程序下载 首次超过PC销售额 的新开发应用将集成分析功能 左右未来的四大趋势 数据价值 华尔街根据民众情绪抛售股票； 对冲基金依据购物网站的顾客评论，分 析企业产品销售状况； 银行根据求职网站的岗位数量，推断就业率； 投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹； 美国疾病控制和预防中心依据网民搜索， 分析全球范围内流感等病疫的传播状况； 6.美国总统奥巴马的竞选团队依据选民的微博， 实时分析选民对总统竞选人的喜好。 对比传统 1.结构化、关系性 2.小样本 3.因果 4.非实时 1.数据全集 2.大样本（全集） 3.关联 4.实时要求 传统数据 大数据 先行 者们 用大数据的人们啊，你们在干啥？ 淘宝 双11 350亿哪里来？ 阿里巴巴 应用 业务系统 离线建模 任务提交 调度管理 数据源 云梯 业务系统 在线数据 天网调度 数据挖掘 服务器 IDE GETWAY 相似商品 类目关联 相似店铺 用户分群 相似品牌 购物周期 品牌偏好 价格偏好 类目偏好 店铺偏好 。。。 搜索引擎 推荐引擎 投放系统 。。。 个性化LIST 活动投放 首页 搜索 物流宝 推荐 。。。 数据模型 会员 商家 商品 品牌 物流 会员分层体系 会员诚信度评估 用户评价标签 年龄性别预测 母婴宝宝年龄预测 用户个性化偏好 商家综合排序 商家成长指数 商家诚信 预警模型 商家排序 商品基本标签 商品质量评分 关键属性挖掘 商品生命周期 品牌分层模型 品牌相识模型 品牌排序模型 品牌特性模型 物流数据集市 物流时效 预测补货模型 分仓模型 LBS模型 数据集市 基础算法 挖掘工具 产品分析 基础支撑 物流雷达 350亿！ 不容易！ 新浪 大数据之路 ？ 全景图 用户量大增长快 产品多样更新快 海量数据处理 能力 hadoop hbase Scribe\firehose 需求量大变化快 需求多样计算复杂 数据规范化 易用化、扩展 能力 数据仓库 业务数据集市 SLA服务标准 数据获取周期长 分析需求撞墙 数据开放、 安全管理能力 数据指数 自助统计查询 数据校准管理 业务多需稳定 计算实时性 计算资源掌控 能力 资源管理 调度