大数据的体系结构及关键技术详解.pptVIP

大数据科学与工程系列 大数据体系结构  龙果·整理 主要内容 、大数据时代的新命题 、大数据的体系结构 、大数据的关键技术 四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例 ◆总结、交流、作业  谷歌大数据中心:全球主要DC有8个刘 龙果·整理 t  大数据表象概念:百度数据规模刘0 数据总量 ·100~1000PB 数据处理量·10100天 网页 ·千亿~万亿 索引 百亿~干亿 更新量 十亿~百亿/天 请求 十亿~百亿/天 日志 ·100TB~1PB/天  大数据表象概念:对系统要求0m 数据密集型 计算密集型 通讯密集型 结构存储实 访问模式 超大规模系统 设计、开发 测试、运维 体系结构、虚拟化 数据中心  龙果·整理 大数据时代的新命题: ■数据在爆炸式增长 互联网海量大数据 是最 一物联网各类型数据 发数据处理能力要求提高 大规模数据存取方式 ■海量数据与快速处理是 大数据并行技术能力 数据间关联性分析加强 社交网络关系 多业务关联性 用户行为分析 ■网络数据的实时同步 切营销都线下+线上 多业务跨地域数据同步  龙果·整理 信息时代的大数据需求 息社会卿求:信息化·智能化现代化 人力工具 动力工具 智能工具 镰刀 机车 推理机 锄头 机床 智能网 农业社会 工业社会 信息社会  龙果·整理 信息时代数据大爆炸,推动智能技术发展 三个时代的基本问题与核心理论 社会发展趋势 代演变进程 材料时代 能源时代 信息时代 工具发展水平 材料加工的 动力驱动的 处理信息的 简单工具 机械工具 智能工具 基本科学问题物质组成和 物体运动和 信息结构和 化学变化 能量转换 运动规律 核心基础理论 化学 物理 逻辑 对应经济类型自然经济 工业经济 知识经济  龙果·整理 信息时代,软件编程模型发展 “面向信息处理”的智能化编程模型,编程简化为数据配置 面向机器 机器语言 FORTRAN 助记符语言 BASIC Java Vs Net Scheme 汇编语言 Prolog 面向机器 面向过程 结构化 面向对象面向网络 智能化 程序设计 序设计程序设计 程序设计程序设计