医疗大数据及相关技术42.pptxVIP

医疗大数据及相关技术介绍/副教授河南省数字医疗工程技术研究中心 副主任数字化远程医疗服务河南省工程实验室 副主任中国卫生信息学会远程医疗信息化专业委员会 常委/秘书长目录大数据简介大数据相关技术大数据挖掘大数据平台摩尔定律，正在走向终结单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高摩尔定律：集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍并发计算发展成熟大数据时代正在来临…1000+PB24亿网民1天产生的数据63% GAGR非结构化数据增长率30+TB交易量3000+万笔/天1PB/SCERN：核爆产生数据的速度数据摩尔定律：Y=C×2XX代表时间，Y代表用户的信息分享量，C代表现在时刻的分享信息量数据量的表达单位单位英语标识大小例子位Bit1或0一个二进制数位：0或1字节Byte8Bit一个英文字母：8Bit千字节KB1024Byte一页纸上的文字：5KB兆字节MB1024KB一首普通MP3的歌曲：4MB吉字节GB1024MB一部电影：1GB太字节TB1024GB美国国会图书馆所有登记印刷版书本的消息:15TB2011年底，其网络备份的数据量为280太字节拍字节PB1024TB美国邮政局一年处理的信件大约为5拍谷歌每小时处理的数据为1拍艾字节EB1024EB相当与13亿中国人人手一本500页的书加起来泽字节ZB1024ZB截止2010年，人类拥有的信息总量大概是1.2ZB尧字节YB1024YB超出想象当前典型大数据的处理量传统数据 vs. 大数据传统数据处理技术面临的挑战——传统的IOE模式已经不能满足PB级海量数据的存储、分析和应用需求无法满足海量数据的离线分析和实时分析小型机+DWH+SAN成本高企、扩容昂贵无法满足对非结构化数据的快速处理要求Scale-Up已到极限，必须支持Scale-Out海量数据的高存储成本数据批量处理性能不足流式数据处理缺失有限的扩展能力单一数据源数据资产对外增值数据扩展性需求和硬件性能之间存在差距传统框架：小型机＋磁阵＋商用数据仓库大数据处于成长阶段，即将广泛商用大数据是对数据更大的掌控和应用能力“大数据”是数据存储、管理、处理和分析的技术和解决方案“大数据”带来数据分析能力的质变性增强，不仅是传统BI领域 ，也为新商业机会和新商业模式提供了更大的创新空间；“大数据”是“以数据为中心”，这不仅是技术需要，也是管理需要；存储、计算、分析合一的系统成为必然的需求、趋势“大数据”的本质不在于更多（更快）的数据，而在于对数据中蕴含信息价值的巨大掌控和应用能力；使企业更好认识数据中所蕴含的巨大信息价值，影响和改变企业决策依据与过程和生产业务的开展过程 “Big Data is nothing without Big Analysis”大数据是淘炼黄金而不是制造更多的石头大数据要解决的问题Velocity快速的数据流转ValueVolume海量的数据规模Variety多样的数据类型巨大的数据价值目录大数据简介大数据相关技术大数据挖掘大数据平台大数据与云计算、物联网、互联网之间的关系大数据是对海量数据的高效处理。云计算是硬件资源的虚拟化，是大数据分析的支撑平台。 云计算处理分析产生海量数据物联网移动互联网传统互联网来源：《互联网进化论》数据处理技术的变化：满足数据的多样化需求技术描述Hadoop Map Reduce海量非结构化、结构化数据存储分布式文件系统Data Warehouse结构化数据处理数据仓库Streaming Data流计算引擎实时数据处理Text Analytics EngineVisual Data Modeling非结构数据分析文本内容分词与分析各类信息整合ETL, Data Quality信息整合、元数据大数据技术 成本可承受（economically）的情况下 通过非常快速（velocity）的采集、发现和分析； 在大量化（volumes）、 多类别（variety）的数据中提取价值（value） 分析的数据越全面，分析的结果就越接近于真实 能够从这些数据中获取新的洞察力，并将其与已知业务的各个环节相融合大数据带来哪些技术变革-技术驱动单机集群计算横向扩展块级虚拟化单机块存储存储横向扩展分布式文件系统文件存储设备间连接10GE FC IB网络10GE SAS IB设备内连接分布式数据库非关系型数据库数据库关系型数据库大数据的基本技术分布式文件系统HDFS（hadoop Distributed File System)并行数据处理MapReduce非结构化数据表HBase流式数据处理StreamingMapReduceHBaseSt