大数据处理论文15篇.pdfVIP

大数据处理论文15篇

大数据处理论文

摘要：大数据时代随着全国交通运输行业各机构、各部门、各企业数

据量的迅速增长，以及IT企业交通运输相关数据的迅速增长，逐渐在我们面前显现，发展

大数据技术，积极应对、抓住下一次信息化变革、产业浪潮的机遇，是实现交通运输行业产

业变革、结构优化、服务社会与公众能力进一步提升的关键。

关键词

大数据处理数据论文数据

大数据处理论文:D2D通信中大数据处理关键技术分析与展望

分析了D2D通信中大数据的特征，重点阐述了数据筛选、预处理、建模等大数据处理

的关键技术，并对提高大数据无线传输的稳定性、可靠性和高效性进行了探讨和展望。

5G大数据D2D

1引言

在当前移动通信系统中，数据要经过基站、基站控制器、网关和交换机。随着大数据背

景下网络流量迅猛增长，基站将不堪重荷。终端直通（D2D，Device-to-Device）通信作为第

五代移动通信系统（5G）中的关键技术之一[1-2]，可实现数据不经过基站直接传输（如图1

所示），借助提高空间利用率来进一步提高无线频谱利用率，可使移动通信在众多场景下变

得更加直接和高效[1-3]。

但面对爆炸式的业务量，仅仅依靠D2D通信技术是远远不够的。提升如何从各种各样

的数据（包括结构化、半结构化、非结构化数据等）中快速获取有价值的信息的能力对于大

数据分析与处理来说十分关键。业界对大数据的特征进行归纳，主要包括4个“V”[4]，即数

据体量巨大（Volumn）、数据类型繁多（Variety）、数据价值密度低（Value）、有很多实时数

据要求快速处理（Velocity）。因此，传统的数据表示方法不能适用于大数据的表示。如何对

体量巨大、结构繁多的数据进行有效表示？如何通过结合D2D通信的特点，最大程度地压

缩数据的冗余度，挖掘出隐藏在数据背后的规律，从而使数据发挥出最大的价值？是D2D

通信中大数据处理技术的核心目标。

本文首先从分析D2D通信系统中大数据的典型特征出发，分析大数据处理过程中所面

临的挑战；然后具体分析了D2D通信系统中大数据的表示和处理方法；最后对未来研究方

向做了展望。

2D2D通信系统中大数据的典型特征

（1）数据量大

D2D通信为海量多媒体服务提供了一个强大的通信平台，如海量文本、图像、语音、音

视频等应用。但是，随着采集设备成本的降低和存储容量的增大，训练样本的数量往往非常

巨大，如在很短的时间内所采集到的数据可以轻易地达到几百TB。由于D2D通信中终端计

算及存储能力有限，如何有效地表示采集到的大数据集十分关键。由于D2D大数据集中数

据的分布复杂多样，因而需要采用具有较高普适性和较大灵活性的模型和方法来对数据的特

征属性进行表示和处理[5]。传统的基于参数建立起的模型及其学习算法由于模型的结构固

定，因此限定了其可以表示的数据特征。与参数模型相比，采用具有结构可调节的非参数模

型及其学习算法在这样的情况下具有更好的效果。

（2）数据的维度高

由于D2D通信中终端的异构性以及用户需求的异构性，高维和超高维的数据不断涌现。

很显然，数据维数越高（属性越多），就可以更加全面地刻画所描述的对象以及更好地分辨

对象。然而，过高的维数不可避免地对数据的表示与处理提出了严峻的挑战。研究表明，对

于大部分观测或采集到的高维数据而言，其主要信息存在于一个低维空间中。换句话说，该

低维空间包含了高维数据中的全部或绝大部分的有用信息。因此，如何在低维空间中有效地

刻画高维数据的有用信息，也是D2D通信中大数据处理领域一个不容忽视并且极具挑战性

的问题。目前已经有一些隐空间模型和方法，如主成分分析、因子分析、独立成分分析等可

以用于完成此项任务，找到这样的低维空间并将数据进行高效表示[7]。

（3）模型的复杂度和计算时间

传统的通信系统处理数据时，由于数据量不大，因此可以采用较为复杂的模型来描述数

据的特征。而在与D2D通信大数据相关的应用中，终端处理能力受限，如果仍然采用复杂

的模型来处理大数据，则计算和时间成本将大大增加；另一方面，如果采用较为简单的模型，

可能不能完全表示和挖掘出大数据的关键特性。解决方法是：一方面，尽可能设计简洁的模

型及高计算效率