大数据技术展望及西山居大数据系统实践.pdf

大数据杂谈 大数据技术展望及西山居大数据系统实践 提纲 •大数据产业展望 •西山居大数据系统 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 混乱 – 思路不清晰 – 竞争无序 • 盲目 – 盲目跟风 – 盲目投资 • 浪费 – 大量智慧城市项目成为烂尾项目 – 大量购置硬件资源没有得到合理利用 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 狭义大数据 – 基于Hadoop技术的存储、计算框架及上层应用 • 广义大数据 – 将相当规模的数据进行归集、加工处理、分析 、呈现、最终找出其所蕴含的规律的技术技巧 、算法等方法统称为大数据或大数据技术。 – 由广义大数据直接或间接衍生出的业务都算是 大数据产业的一环。 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 数据流转 收集 分析 知识 • 产生 • 建模 • 规律 • 上报 • 计算 • 特性 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 大数据产业环节 收集 存储 分析 知识 交易 采集 保存 清洗 可视化 交易商 上报 安全 建模 知识总结 渠道商 分流 传输 算法 预测 市场研究 孵化器 培训 咨询 基建 广告 就业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 未来3-5年大数据产业 – 人才供需旺盛 • 预计2020年中国大数据人才需求总量超过200万人 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 • 未来3-5年大数据产业 – 衍生产品繁杂 揭示研发管理白金定律，分享那些激