数据挖掘技术应用的一点探讨.docVIP

数据挖掘技术应用的一点探讨 张富峥 S由于以后的研究方向偏向于数据挖掘领域，故实验室内常常同老师同学探讨一些数据挖掘目前的应用。先把我对数据挖掘应用的一些感悟整理如下： 首先描述一下什么是人性化的服务。比如当你想听一首歌的时候，不必想好其歌名，到搜索引擎里去搜索、下载，而是输入现在的心情，比如“激昂”，播放器就自动播放出《男儿当自强》这样的歌曲，而且一首接着一首。当你想去旅游的时候，不必苦思要去什么具体的城市，而是输入大概想法，比如“浪漫的周末度假”，就能马上看到十个建议：里面包括一家临海宾馆的情侣房、烛光晚餐、一套在周五晚起飞周日晚返归的机票。要完成这些人性化服务只靠搜索引擎是不行的，得靠数据挖掘。现在，数据挖掘的各种应用离为我们提供上面这些真实服务已经越来越近了。 数据挖掘与我们所熟悉的信息检索的不同之处在于：信息检索是针对数据的明显特征来寻找信息，比如Google等搜索引擎就是寻找含有某关键词的网页、并且根据链接数来判断其重要性。而数据挖掘则要复杂很多，其目的是要在大量数据中“挖掘出有趣的可理解的知识”，这是搜索引擎不能完成的。所以数据挖掘也叫数据库中知识发现，即从大量繁杂的数据中寻找出原来并不存在的我们感兴趣的知识。 本质上，数据挖掘能够把海量数据变成可被人类可直接利用的信息，是一个“把冰冷信息人性化”的过程。现在，针对数据挖掘的前沿应用已经非常之多，覆盖了不同的领域，以不同的方式呈现出来。今后，互联网用户所接触到的不再只会是传统搜索引擎输出的一排排的网页，而可能是温情脉脉的令自己更加亲切和感动的方式。 下面分别从音乐、广告、调研和产品改进这几个方面对数据挖掘技术进行一点探讨。 一、音乐 听音乐的确是件放松的事情，所以应该尽可能地简单。所谓简单，就是你说出你现在的心情，是感伤、怀旧、励志，还是安静？那么播放器就自动找出符合这个心情的风格的歌曲。这就是网易有道搜索引擎的新产品“音乐随心听”的表达方式。有道随心听提供包括伤感、爱情、温馨、安静等十几类心情，以及相应的歌曲。只要点击某种心情，就会自动播放相应的歌曲。并且，即使点击同一个心情，上一次和下一次播出的歌曲都是不一样的。比如“励志”这个心情，所播出的歌曲是《龙的传人》，《亚洲雄风》，《永远不要说放弃》，《永远不回头》；而第二次点击“励志”，出来的是《红日》，《愚公移山》，《壮志雄心》，《没什么不可以》。是不是还算靠谱？有道所采用的工具就是数据挖掘。互联网用户会在很多场合，比如博客和论坛里，留下很多自己对音乐的看法，比如在某种心情下推荐的歌曲，在某种情绪下整理了一张歌单。就留下了比如“今天我好亢奋，我在听《男儿当自强》”这样的线索。有道把这千千万万个用户的“声音”整合起来，通过提炼、去除噪音、自动聚合相关词、配对，就实现了心情和音乐的一一对应。 Google音乐里的“挑歌”功能，与有道随心听也神似。Google挑歌的方式是：提供可供用户自己调节的音调、音色等搜索选项，每一个选项都有一个滑块可供自由调节。用鼠标点击拖动滑块，通过节奏的舒缓或强烈、音调的低沉或尖锐、音色的丰富或单纯来查询最希望听到的音乐。笔者尝试挑出一首“节奏舒缓，声调低沉，音色适中”的歌，“挑歌”输出的结果是张学友的《相思风雨中》和徐小凤的《蒙蒙夜雨》。 这两个产品会完全改变以往的寻找音乐的方式：只有当你想好某一首歌的名字后，才能去搜索引擎里把它找出来。其实音乐的历史远远早于文字，所以音乐应当回归人类沟通的本能，挑歌和随心听的功能可以用音乐自身特性去搜索音乐，让音乐跨越语言和文字的障碍，成为人类最自然的沟通方式。 二、 广告 创业公司PeerSet新发布了一个广告数据工具，能够通过网页内容分析提供网络用户“心理”方面的特征。Peerset的技术能够有机的把用户的兴趣、价值观、生活方式、对品牌的态度关联在一起。让广告主了解到这些背景信息。基本上，Peerset的套路是跟踪社交媒体上的各种互动，试图加以解释、并且把各种信息加以关联，然后为广告主给出结果。比如，如果广告的特征“时尚”，那么Peerset就可能根据对信息的检测和梳理得出：那些谈论“情欲都市”和“麦当娜”的人就是合适的受众。Peerset就是要通过“心理”方面的特征把对不同广告合适的不同人群找出来。Peerset不只是提供关于目标人群的数据库给广告主，还会整合当前的广告系统，直接把相应的广告放到合适的网页位置上去。比如，对于想做广告的时尚服装广告主，Peerset会在接单以后，直接把广告投放到Facebook上一个喜欢《情欲都市》电影的那个用户的页面上。他的那些喜欢跟他交流比如《情欲都市》这样的电影的朋友都会看到。这种广告方式又与搜索引擎