科技创新信息化趋势讲稿ppt课件.ppt

信息技术为大数据应用开辟了前进道路 信息技术进展是大数据产生和发展的外在动力 传感技术：大数据的主要来源 存储技术：不仅数据量大，而且要有信息存储模式 传输技术：不仅提供传输能力，还是数据的创造者 处理技术：不仅是处理能力，更是处理方法（结构化语义处理） 大数据技术核心之一：信息的结构化 信息的结构化是大数据技术的 核心、关键和难点 大数据结构化是一个不断发展的渐进过程 追求结构化是数据管理的基本动力和目的。获取、处理、存储、传输、利用的效率，特别是利用的有效性基于信息的机构化程度。 数值及事务处理等计算机信息系统早期对象结构化已经成熟，成为大数据结构化的基础。其他相关类型的信息：文本、音视频、图形图像等也在数据库或数据管理发展实践中得到不同程度的关注，产生了一些技术方法，大数据正是在这样的基础上发展。 结构化的两个维度：内在逻辑完备度和应用完备 内在逻辑的完备度与应用需求的完备度之间的约束。 人类科学和文明进步的主要客观存在物是概念体系，概念体系的主要载体又是文本。即使是严格定义的科学著作，也没有将其内在语义结构表示作为要求，科学越发展，积累的文献越多，文本信息结构化的难度越大、任务越重。学术界及不少国家已经认识到这个问题对科学研究和提升创新能力的重要性，并着手部署相应的研究计划和工程，著名的有美国和英国科学基础设施计划。 支撑大数据技术快速发展，体系趋于完善 1、处理、传输、存储技术延续高速发展 2、感知、显示、获取技术驶入快车道 3、内容处理、智能系统技术不断成熟 4、技术体系不断完善 信息内容的技术：走向智能的核心 信息组织、管理和利用 文字声音的转化、声音处理、图像处理 机器翻译为代表的自然语言处理 应对数量变化，2的50-100次方 应对应用需求的变化 应对音视频信息类型的变化 概念体系为基础、不同粒度、不同场景的 大规模信息组织、管理和利用 大数据技术，从内容角度要重视三个方面的来源 一是关于数据管理和处理研究，包括物理和语义两个领域数据管理。数据结构、算法和数据库相关领域取得的进展最为突出，如文件系统、数据库、数据仓库、元数据、数据模型、内存处理、云存储的研究。应当看到近十年来，关于多维数据结构和算法、机器视觉和摄录象研究和技术，对于大数据研究具有极其重要的参考意义。 二是关于数据利用及适应应用需求的研究，包括用户视图、联机数据分析、数据挖掘、检索等。 大数据技术，内容角度要重视三个方面的来源 三是关于语义上理解信息的研究，将人工智能研究成果作为大数据研究的基础，因为从语义角度理解信息是人工智能的基础。从专家系统\模式识别\神经网络\自然语言识别和理解到机器人，都是从不同角度研究理解信息的技术、方法理论。 例如 IBM的DeepQA，通过针对广泛收集特定应用领域的信息和知识，在适度结构化、一系列规则和算法的基础上，具备这一领域人的智能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里工学院，与学生一起学习，英语和数学。 Google的“谷歌大脑”将1.6万个处理器构成当前世界上最大的人工脑，模拟人类脑神经系统，通过算法从互联网中提取信息识别猫。 重视大数据发展的关键环节： 收集、组织、管理、利用 认识、技术、法律、制度、标准 主体、商业模式或运行机制 信息的结构化 大数据管理系统 （一）收集、组织、管理、利用 找矿 开矿 炼矿 用矿 找矿：发现需要的信息资源 定义需要的信息资源 确定的信息资源在哪里 是否已经以信息形式存在 是否需要采集 开矿：收集和获取 用何种方法收集、获取 要用什么样的方式采集 已有的怎么获取： 购买、交换、再收集 没有的怎么采集： 委托、技术方案、自采 提炼：变成适用信息 相对于信息，提炼的本质是按应用需求进行结构化处理 按需求、语义和物理的结构化特征 语义相对于应用的目的 考虑处理、存储、传输的速度和成本 大数据利用：与具体应用的结合 将结构化的信息与具体的应用结合，使之发挥作用 这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。 大数据需要新型管理系统 满足数据管理流程要求 满足大数据集管理基本功能要求 满足大数据管理新型体系架构 新型中间件与工具 大数据管理系统一般架构示意图 第一层前置处理体系：通信、场景、任务分配、安全等 第二层信息结构化处理体系：场景分类、单元划分规则、算法、单元地址和语义命名规则、单元为基础的记录数据库及其管理系统、地址函数库、语义特征函数库、物理标识库和语义标识库及其管理系统 第三层信息存储体系： 实体库、规则库、函数库、标识库、算法