数据分析技术工具发展现状及趋势分析.docx

PAGE 2 数据分析技术工具发展现状及趋势分析  目 录 TOC \o 1-3 \h \z \u 1. 引言 3 2. 数据分析技术现状 3 3. 数据分析工具与应用 12 4. 数据分析技术发展趋势 15 5. 参考文献 16  引言 当前全球的数据量正在迅速增长，预计在2025年将会从2018年的33ZB增加至175ZB。互联网全球化、移动设备普及化、云计算存储低成本化、物质世界网络化，都在为“数据大爆发”储蓄能量，大数据已成为继云计算、物联网之后IT产业又一次颠覆性的技术变革[1]。大数据技术和产业的蓬勃发展，使数据成为了重要的生产力，同时也使当今社会的生产关系发生了变革。大数据时代的战略意义不仅在于掌握庞大的数据信息，还在于发现和理解信息内容及信息与信息之间的关系[2]。因此，数据分析成为挖掘数据价值的关键步骤。本文从数据可视化、自动化数据建模和情景分析出发，介绍三大数据分析领域的关键技术现状，梳理各领域的前沿工具及应用场景，总结数据可视化、自动化建模和情景分析等数据分析技术和工具的发展趋势。 数据分析技术现状 大数据分析是指在强大的支撑平台上运行分析算法，并发现隐藏在大数据中潜在价值的过程[3] 。从异构数据源抽取和集成的数据构成了数据分析的原始数据，而大数据分析的核心问题是如何对这些数据进行有效表达、解释和学习[4]。因此，目前学术界一般认为数据可视化、自动化数据建模和情景感知是数据分析过程中的核心环节。2.1　数据可视化数据可视化指利用人眼的感知能力对数据进行交互的可视化表达以增强认知的技术[7]。数据可视化一般包括科学可视化、信息可视化和可视化分析3类[5]。科学可视化主要是实现对于比较具体的数据可视化，侧重于那些有自然几何结构的数据，如磁场、地理结构等；信息可视化侧重于抽象数据的可视化，如树形图、柱状图；可视化分析指在数据可视化中结合了数据挖掘等知识[6]，如分析推理、视觉呈现和交互等。本文聚焦于信息可视化，以及可视化分析中的数据可视化交互。Card等人对信息可视化（Information Visualization）的定义为对抽象数据使用计算机支持的、交互的、可视化的表示形式以增强认知能力[8]，侧重于通过可视化图形呈现数据中隐含的信息和规律[9]。数据可视化起源于18世纪，William Playfair在出版的书籍《The Commercial and Political Atlas》中第一次使用了柱形图和折线图[10] ；在随后的200多年间，直方图、饼图、折线图等广泛地应用于军事、工业、科学领域，但数据可视化技术并未发生显著进步；直至20世纪后期，计算机技术、图像处理技术和计算机视觉的迅速发展推动数据可视化由静态图表演变为动态交互图表，处理对象由二维数据扩展至高维数据；21世纪，大数据时代下，数据体量大、种类多、时效高、价值密度低的特征[11]，推动数据可视化不仅关注多类型数据源的处理，也包括大规模实时数据的处理。国内数据可视化研究学者多从数据种类的角度划分数据可视化技术。任磊等将数据可视化技术划分为文本可视化技术、网络（图）可视化技术、时空数据可视化技术、多维数据可视化技术等[9]。王艺等将数据可视化技术划分为空间标量场可视化技术、地理信息可视化技术、时空数据可视化技术、层次和网络数据可视化技术、文本和文档可视化技术、复杂高维多元数据可视化技术[12]。部分学者从数据可视化的方法划分数据可视化技术。程学旗认为数据可视化的核心方法包括曲面可视化、解析度、视觉隐喻[4]。表1从数据种类的角度入手，总结主要数据类型及对应的数据可视化技术，并介绍各数据类别下的主流数据可视化技术。表1? 数据可视化技术汇总 （1）文本可视化将文本中复杂的或者难以通过文字表达的内容和规律以视觉符号的形式表达出来，同时向人们提供与视觉信息进行快速交互的功能，使人们能够利用与生俱来的视觉感知的并行化处理能力快速获取大数据中所蕴含的关键信息[13]。截止到目前，文本可视化较为常用的是标签云（Tag Cloud）技术。标签云通过统计文本中词语的出现频率，按照一定的顺序和规律展现出关键词，如用颜色深浅或字体大小区分关键词的重要性。最初的标签云采用简单的水平排放的方式，但无法高效利用可视化布局空间；随后出现的Wordle标签云使标签云更紧凑，TagCrowd和Tagul给标签云提供了中文编码的能力，并添加了标签的轮廓。但是标签云仍有局限性，其仅对文本中的高频词汇按照逻辑顺序进行布局排列，并没有提供帮助上下文理解的可行性办法[14]。（2）网络可视化是大数据可视化的重要分类之一，通过对于点、线、面基本元素的运用组织出多种可视化图像，揭示人类无法感知的复杂数据结构[9]。网络可