基于移动互联网的数据挖掘概述.pdfVIP

China Science Technology Overview 信息技术与应用 基于移动互联网的数据挖掘概述 吴红 (首都经济贸易大学,北京 100070) 【摘　要】随着移动互联网的不断发展,海量移动互联网数据不断涌现,由于数据本身的价值,针对移动互联网数据的挖掘更为重要。分析了移动 互联网信息价值,介绍了数据挖掘以及LBS在数据挖掘中的应用,最后从数据量、安全性和数据质量三方面对移动互联网数据存在的问题进行了阐述。 【关键词】移动互联网 数据挖掘 信息价值 LBS 1 引言 务人员需要的个性化产品等。 随着各种移动设备、物联网和云存储等技术的发展,人和物的 3 数据挖掘与LBS 所有轨迹都可以被记录。与互联网不同的是,在移动互联网中的核 LBS(Location-Based Service)是与位置相关的软件服务的英 心网络节点是人,不再是网页。随着数据大爆炸时代的到来,怎样挖 文缩写,指的是一类利用和控制与位置与时间相关的计算机软件服 掘这些数据,同样面临着技术与商业的双重挑战。对于数据挖掘来 务。LBS通常是在移动终端实现的,现在很多原本只是在互联网上的 说 ,移动互联网的特殊性首先在于它能够锁定一个特定用户,其次 应用都有了LBS服务。基于位置的数据挖掘非常具有挑战力,如帮助 在于它能够获取用户地理位置信息,再次是在于移动互联网上的时 用户寻找他所在地附近可能有用的商业地点,并按照一定的规则排 空信息等多样化的数据种类。而因为这三点,导致移动互联网上的 序 ,实现并不那么容易。 数据数量会比传统互联网更大,形式也比传统互联网更加丰富,从 任何与位置相关的数据挖掘的工作必不可少的第一步就是搜 而也有更高的价值。 集关于地点的可靠数据。在这个过程中,常会面对多个不同的数据 2 移动互联网信息价值 源,有些来自互联网,而有些来自于线下,所以第一步面临的常常就 2.1 移动互联网数据形式 是数据的整合与清理。与位置相关的数据量常是在GB字节上下,对 移动互联网数据形式多种多样,在互联网上存在的各种数据类 于这个量级的数据频繁的整理、提取、集成和存储都有一定的难度, 型只是移动互联网上的一个子集。同样的互联网信息,在移动端访 但目前有一些框架和应用工具解决此问题,如Hadhoop和HBase等。 问的方式也使内容变得更加丰满。同样是都是图片,但是在移动设 各个地点之间的关联性是需要通过数据挖掘才能完成的任务。每个 备中存在的与位置相关的图片要比单存在于互联网上的图片价值 地点都有多种属性,而地点之间的关联度是根据他们各自的属性匹 高很多,或者说同样都是一句评论,但是有场景的评论和场景的评 配所得到的。目前有一些相关挖掘领域及算法,如利用PU(Learning 论相比前者更有挖掘的价值。 from Positive and Unlabeled examples)学习算法做文本挖掘 , 与传统互联网的数据不同的是,在移动互联网的数据中,文字 利用相似匹配算法做地点挖掘等。 以外的其他信息占到更加重要的比例。从数据的属性上来讲,移动 LBS应用最有价值的地方在于藉此能够对用户做精准的