医疗大数据及相关技术42.pptVIP

医疗大数据及相关技术介绍 翟运开 博士/副教授 河南省数字医疗工程技术研究中心 副主任 数字化远程医疗服务河南省工程实验室 副主任 郑州大学第一附属医院 河南省远程医学中心 主任 中国卫生信息学会远程医疗信息化专业委员会 常委/秘书长 目录 大数据简介 大数据相关技术 大数据挖掘 大数据平台 摩尔定律，正在走向终结 摩尔定律：集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍 单芯片容纳晶体管的增加，对制造工艺提出要求 CPU制造18nm技术，电子泄漏问题 CPU主频已达3GHz时代，难以继续提高 散热问题（发热太大，且难以驱散） 功耗太高 并发计算发展成熟 大数据时代正在来临… 1000+PB 24亿网民1天产生的数据 63% GAGR 非结构化数据增长率 数据摩尔定律：Y=C×2X X代表时间，Y代表用户的信息分享量，C代表现在时刻的分享信息量 30+TB 交易量3000+万笔/天 1PB/S CERN：核爆产生数据的速度 单位 英语标识 大小 例子 位 Bit 1或0 一个二进制数位：0或1 字节 Byte 8Bit 一个英文字母：8Bit 千字节 KB 1024Byte 一页纸上的文字：5KB 兆字节 MB 1024KB 一首普通MP3的歌曲：4MB 吉字节 GB 1024MB 一部电影：1GB 太字节 TB 1024GB 美国国会图书馆所有登记印刷版书本的消息:15TB 2011年底，其网络备份的数据量为280太字节 拍字节 PB 1024TB 美国邮政局一年处理的信件大约为5拍 谷歌每小时处理的数据为1拍 艾字节 EB 1024EB 相当与13亿中国人人手一本500页的书加起来 泽字节 ZB 1024ZB 截止2010年，人类拥有的信息总量大概是1.2ZB 尧字节 YB 1024YB 超出想象 数据量的表达单位 当前典型大数据的处理量 传统数据 vs. 大数据 传统数据处理技术面临的挑战 ——传统的IOE模式已经不能满足PB级海量数据的存储、分析和应用需求 小型机+DWH+SAN成本高企、扩容昂贵 无法满足海量数据的离线分析和实时分析 无法满足对非结构化数据的快速处理要求 Scale-Up已到极限，必须支持Scale-Out 大数据处于成长阶段，即将广泛商用 大数据是对数据更大的掌控和应用能力 大数据是淘炼黄金而不是制造更多的石头 “大数据”是数据存储、管理、处理和分析的技术和解决方案 “大数据”带来数据分析能力的质变性增强，不仅是传统BI领域 ，也为新商业机会和新商业模式提供了更大的创新空间； “大数据”是“以数据为中心”，这不仅是技术需要，也是管理需要；存储、计算、分析合一的系统成为必然的需求、趋势 “大数据”的本质不在于更多（更快）的数据，而在于对数据中蕴含信息价值的巨大掌控和应用能力；使企业更好认识数据中所蕴含的巨大信息价值，影响和改变企业决策依据与过程和生产业务的开展过程 “Big Data is nothing without Big Analysis” 大数据要解决的问题 Volume 海量的数据规模 Variety 多样的数据类型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semi-structured All the above Value Velocity 快速的数据流转 巨大的数据价值 目录 大数据简介 大数据相关技术 大数据挖掘 大数据平台 大数据与云计算、物联网、互联网之间的关系 云计算 来源：《互联网进化论》 产生海量数据 大数据是对海量数据的高效处理。 云计算是硬件资源的虚拟化，是大数据分析的支撑平台。 处理分析 需求 技术 描述 Data Warehouse 数据仓库 ETL, Data Quality 信息整合、元数据 Text Analytics Engine Visual Data Modeling 文本内容分词与分析 Hadoop Map Reduce 分布式文件系统 流计算引擎 Streaming Data 海量非结构化、结构化数据存储 结构化数据处理 实时数据处理 非结构数据分析 各类信息整合 数据处理技术的变化：满足数据的多样化 大数据技术 成本可承受（economically）的情况下 通过非常快速（velocity）的采集、发现和分析； 在大量化（volumes）、 多类别（variety）的数据中提取价值（value） 分析的数据越全面，分析的结果就越接近于真实 能够从这些数据中获取新的洞察力，并将其与已知业务的各个环节相融合 大数据带来哪些技术变革-技术驱动 大数据的基本技术 分布式文件系统HDFS（hadoop Di