复杂数据可视化的研究与应用-计算机技术专业论文.docx

万方数据 万方数据 RESEARCH AND APPLICATION OF VISUALIZATION OF COMPLICATE DATA A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: Qin Long Supervisor: Chen Zheng School: School of Information Software Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘要 随着通信技术以及移动网络的发展，通信所产生的数据量大幅上升，通信相 关的复杂数据中往往包含大量的信息，这些信息反映了实际社会的人际关系特征 以及消息流动规律，根据这些特征和规律，可以进行很多例如产品推荐以及社会 安全监视的工作。但是，通信网络的用户众多，消息的产生速度非常快，这就需 要专业的数据分析处理工具进行相关数据的处理分析。本文针对这一实际问题进 行了系统化的研究和工程实践探索，具体工作如下： 1.探索多维度复杂通讯数据的可视化。为了对复杂数据进行分析处理，将数据 进行可视化，主要的可视化方法是无向图，将通讯数据中的参与者抽取为节点， 将数据中的关系抽取为连线，最后将整个数据集可视化为一个无向图代表的数据 关系网络。 2.提出基于多网融合的网络通联关系扩展算法以及基于命名实体发现的网络 通联关系扩展算法。网络的通联关系代表了网络的连通性，在连通性较好的网络 中，图的连通度高，节点与节点之间的通路数量多，对网络中消息流动以及基于 网络消息流向的预测和推荐工作越准确。基于多网络融合的网络通联关系扩展使 用多个网络，分析网络间映射，对网络的连通性进行扩展，基于命名实体识别的 网络通联关系扩展从单个网络中提取出可以扩展网络的命名实体，将命名实体与 网络的关系信息加入，扩展网络连通性。 3.提出基于地理位置聚类的快速社团发现算法。网络的社团特点是社团中的节 点连线较密而社团间的连线较稀疏，传统的社团发现算法按照网络节点的关系信 息进行社团划分，这样的社团发现算法丢失了网络中节点的线下重要信息—地理 位置。基于地理位置聚类的快速社团发现算法在原有的社团发现算法的基础上， 提前进行网络的地理位置分析，既可以加快社团发现算法的收敛速度，也可以加 入地理位置对社团分布的影响。 4.设计和实现了一套复杂数据可视化分析系统。该系统首先对数据库中的数据 进行数据缩减，过滤出用户感兴趣的数据，然后将数据从多个角度进行可视化， 使用上述算法对网络结构进行分析，从可视化的结果中计算网络参与者的影响力， 基于影响力计算结果进行宣传广告工作。 关键词：可视化，关系网络，复杂数据 I ABSTRACT ABSTRACT The improvement of communication technology and mobile network brings the increasing amount of communication data. Complex data of communication contains large amounts of information which reflect real social relationship and information flow. With these patterns and features, we can do a lot of work such as product recommendation and social security monitoring. But, there are too many communication network users and