基于Spark和改进的TFIDF算法的用户特征分析.docVIP

弓I 言(Introduction) 随着互联网的快速发展，用户的数量飞速增加，用户属性更加多 元化，大数据的应用与创新成为一个重要的关注点。通过用户的网络 行为，分析用户的特征，无论在理论研宄中还是实际应用中，都是一 个热门话题。大数据用户特征分析，整合海量用户数据，将用户标签 化，使得计算机能够程序化处理与人相关的信息，通过机器学习算法、 模型能够“理解”人。深度分析用户特征，在理论研宄上可以更好地挖掘 事件关联及预测事件；对于企业而言，无论是搜索引擎、推荐系统、 广告投放等各种应用领域，都可以进一步提高获取信息的精准度和效 率。 而Spark作为一种基于内存计算的分布式计算框架，正受到越来 越多大数据研宄者的关注。它提供了一个更快、更通用的数据处理平 台，通过将大量数据集计算任务分配到多台计算机上，并且将中间过 程的输出结果保存在内存中，不洱需要读取和写入HDFS，以提供高 效内存计算，因此Spark可以更好的应用于大数据挖掘和机器学习等 算法［1-3］。同时Spark引入了弹性分布式数据集(RDD，Resilient Distributed Dataset)。RDD是不可变的、容错的、分布式对象集合， 用户可以利用RDD的操作函数并行地操作该集合，以提高计算速度。 U前国内用户特征分析的研究主要是对社交网络、微博评论、日 志数据等进行特征分析，少部分人则对视频数据进行分析。