认知计算与大数据科学.pptx

认知计算与大数据科学 目录 CONTENT 1 数据科学简介 2 大数据采集、挖掘和分析 3 社交媒体和移动云计算 4 机器智能和大数据应用 数据科学简介 在大数据、云平台以及物联网广泛应用于各个领域的今天，人们迫切需要智慧云计算平台来应对越来越多的计算存储需求。目前，大部分云计算平台的主要功能集中在对数据统一的存储处理和管理，而在认知和模拟人类感知智能方面的发展尚处于初级阶段。并且，它们在物联网感知、机器学习、数据挖掘和分析能力上有很大的发展空间。本章简要介绍了大数据理论基础、云服务模型、社交网络、移动与无线通信、物联网以及认知能力。我们用SMACT代表5个前沿技术：社交网络（Social）、移动通信（Mobile）、分析（Analytics）、云计算（Cloud）以及物联网（IoT）。同时，我们针对智慧城市、健康监护、社交媒体以及商业智能等领域，分别给出了应用案例，详细介绍了移动云和物联网资源的大数据采集、挖掘、处理和分析等方法。 大数据革命 Evolution 大数据特征：4V 大数据特征：3V Evolution 大数据特征：5V 数据科学革命式进展 下面总结了大数据研究、开发和应用中的一些开放性的挑战。 结构化数据 VS 具有有效索引的非结构化数据 识别、去识别与再识别技术 大数据的本体与语义 数据的检查与缩减技术 设计、构造、操作与描述 数据的集成与软件的互操作性 数据的不变性与永生性 数据测量方法 数据范围、标准、趋势和估计 什么是数据科学 数据科学被认为是计算科学与工程、数理统计以及实际应用领域这三个跨学科领域的交集。 大多数数据科学家是精通数学建模、数据挖掘和数据分析等领域的专家。通过领域知识和数学技能的结合，他们在设计算法的同时开发了具体的模型。 数据科学存在于数据的整个生命周期中。它结合了许多学科和领域的原理、技术和方法，如数据挖掘和分析，特别是机器学习和模式识别。 下一个十年的新兴技术 系统发展趋势 使用集群、MPPs、P2P网络、网格计算、网络云、Web服务和物联网的并行、分布和云计算的发展趋势。 从图中看到系统发展的两条演变轨迹——HPC与HTC系统。 HPC：高性能计算 HTC：高通量计算 P2P：对等网 MPP：大规模并行处理器 RFID：射频识别 技术融合 图1-6 技术融合促成互联网的云计算 （来自Buyya, Broberg, and Goscinski，转载许可[4]） 云计算由4种技术结合而成，如图所示。硬件虚拟化和多核芯片使得在云上进行动态配置成为可能。效用和网格计算技术为云计算奠定了必要的基础。面向架构的服务（SOA）、Web2.0以及平台混搭的最新进展推动着云向前发展。自主计算和数据中心自动化的操作也开始使用云计算。 云服务模型与大数据产业演变 表1-1三种云服务模型与本地部署计算的差异（基于用户、供应商和共同责任的资源控制） 资源类型 本地部署计算 IaaS模型 PaaS模型 SaaS模型 应用软件 用户 用户 共享 供应商 虚拟机 用户 共享 共享 供应商 服务器 用户 供应商 供应商 供应商 存储 用户 供应商 供应商 供应商 网络 共享 供应商 供应商 供应商 阶段 数据库 数据中心 大数据产业 时间段 1960 ~ 1990 1980 ~ 2010 2010及之后 数据大小 MB – GB -TB TB – PB - EB EB – ZB - YB 市场大小和成长率 数据库市场, 数据/知识工程 IDC 2012投入了$22.6 B， (增长了21.5%) 2013年IT投入为$34 B in , 2015年催生了4.4 M的新兴大数据工作岗位, Gartner 预测2020年这一数据将扩大到100 B 表1-2 大数据产业在三个发展阶段的演变 SMACT技术 表1-3 SMACT技术及其特点 SMACT技术 理论基础 硬件研究基础 软件工具和库 网络启用器 代表性的服务提供商 移动系统 电信、无线接入理论、移动计算 智能设备、无线、移动基础架构 安卓、IOS、Uber、微信、NFC、iCloud、谷歌播放器 4GLTE,WiFi, Bluetooth,Radio AccessNetworks ATTWireless, T-Mobile, Verizon, Apple, Samsung, Huawei. 社交网络 社会科学、图论、统计学、社会计算 数据中心、搜索引擎和WWW基础架构 浏览器、APIs、Web 2.0、YouTube、Whatsapp、微信、Massager BroadbandInternet, Sofware-Defined Networks. Facebook,Twitter, QQ,Linkedin,Baidu,