基于网络大数据分析的可视化技术北京工商大学翁彬月黄今慧北京.DOCVIP

基于网络大数据分析的可视化技术 北京工商大学 翁彬月，黄今慧 (北京工商大学计算机与信息工程学院，北京 100048) 本课题得到国家级大学生科学研究与创业行动计划项目资助。 论文发表于2017年第23期《信息与电脑》，刊号：ISSN 1003-9767 指导教师：黄今慧副教授 摘要: 随着大数据产业的快速发展，每天全球产生EB级的数据流量。面对这些数据量大，产生速度快，维度高、多来源、多结构的大数据信息，研究通过借助人机交互式分析方法，运用可视化分析技术充分挖掘大数据背后的关键信息，为人们提供更为直观高效的数据认知。本文首先探讨大数据分析目前最为关注的多维数据可视化、层次数据可视化和时序数据可视化的技术发展。其次，指出在大数据可视化分析领域面临的数据规模大、维度高、多源异构等的瓶颈问题，以及对动态数据进行实时分析可视化和数据预测分析的技术挑战。 关键词: 大数据分析；可视化；多维数据；层次数据；时序数据 Abstract :With the rapid development of big data industry, EB level data traffic is generated worldwide. Faced with the large amount of data, high-speed, high-dimensional, multi-source, multi-structure of large data information, research through the use of human-computer interactive analysis method, the use of visual analysis technology to fully excavate the key information behind the large data, to provide more intuitive and efficient data cognition. Firstly, this paper discusses the development of multi-dimensional data visualization, hierarchical data visualization and sequential data visualization, which are the most concerned technologies in large data analysis. Secondly, it points out the bottlenecks of large-scale, high-dimensional, multi-source and heterogeneous data in the field of large-scale data visualization analysis, and the technical challenges of real-time analysis visualization and data prediction analysis of dynamic data. Key words: big data analysis; visualization; multidimensional data; hierarchical data; time series data 一 引言 随着大数据云时代的来临，各种智能移动设备、传感器、穿戴设备等的兴起，大众产业向着数字化、信息化快速发展，在世界互联网上每时每刻都会产生结构类型各异且数量庞大的数据。这样产生的海量的数据流，IBM公司提出大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 然而，大数据能力在企业应用时，需要以非常简单易用的方式来呈现，才能让更多的数据用户使用。对于现在大部分的企业数据用户（往往是业务、产品、营销负责人等非大数据专业人士）而言，网络数据具有结构复杂，数据量庞大，产生速度快，关键信息分散等难点，使信息使用者理解起来非常困难，不利于对数据信息的使用。同时，海量的网络数据无法直接分析，降低数据的使用效率。但是，通过大数据分析可视化技术的呈现，凸显数据之间的关键联系或差异，就可以使这些企业数据用户能更容易、更快速地从中获得想要的信息。 可视化技术起源于20世纪80年代出现的科学计算可视化（Visualization in Scientific Computing），它是指利用计算机图形学、计算机图像处理、计算机信号处理等方法对数据、信息、知识的内在结构