基于语义降维的web日志数据聚类方法研究.pdfVIP

第３０卷第１期 江苏科技大学学报（自然科学版） Ｖｏｌ３０ Ｎｏ１ 　 ２０１６年２月 ＪｏｕｒｎａｌｏｆＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）　 Ｆｅｂ．２０１６ 　　　　　　 ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３－４８０７．２０１６．０１．０１４ 基于语义降维的Ｗｅｂ日志数据聚类方法研究 卢　健，刁雅静，李　锋 （江苏科技大学 学生工作处，江苏 镇江２１２００３） 摘　要：Ｗｅｂ日志挖掘通过挖掘网站服务器中的日志记录来分析用户行为，从而优化网站结构，提高用户满意度．随着互联 网的不断发展，网站服务器日志内容数量急剧增长，数据分析的效率亟待提高．文中在分析传统Ｗｅｂ日志数据研究方法的 基础上，从减少数据维度的角度出发，提出了基于构建语义化日志的聚类方法，并通过计算 Ｄａｖｉｅｓ－Ｂｏｕｌｄｉｎ值对该聚类方 法的有效性进行了验证． 关键词：Ｗｅｂ日志挖掘；语义化；聚类；会话；本体 中图分类号：ＴＰ３９１　　　　　文献标志码：Ａ　　　　　文章编号：１６７３－４８０７（２０１６）０１－００８４－０４ Ｄａｔａｃｌｕｓｔｅｒｉｎｇｏｆｗｅｂｌｏｇｓｂａｓｅｄｏｎｔｈｅｓｅｍａｎｔｉｃｄｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎ ＬＵＪｉａｎ，ＤＩＡＯＹａｊｉｎｇ，ＬＩＦｅｎｇ （ＤｅｐａｒｔｍｅｎｔＳｔｕｄｅｎｔ’Ａｆｆａｉｒｓ，ＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＺｈｅｎｊｉａｎｇＪｉａｎｇｓｕ２１２００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｅｂｌｏｇｍｉｎｉｎｇｉｓｕｓｅｄｔｏａｎａｌｙｚｅｕｓｅｒ’ｓｂｅｈａｖｉｏｒｔｈｒｏｕｇｈｍｉｎｉｎｇｔｈｅｌｏｇｒｅｃｏｒｄｓｉｎｗｅｂｓｅｒｖｅｒｓ，ａｎｄ ｃｏｎｓｅｑｕｅｎｔｌｙｗｅｂｓｉｔｅｓｔｒｕｃｔｕｒｅｉｓｏｐｔｉｍｉｚｅｄ，ｃｕｓｔｏｍｅｒｓａｔｉｓｆａｃｔｉｏｎｂｅｉｎｇｅｎｈａｎｃｅｄ．Ｗｉｔｈｔｈｅｃｏｎｔｉｎｕｏｕｓｄｅｖｅｌｏｐ ｍｅｎｔｏｆｔｈｅｉｎｔｅｒｎｅｔ，ｔｈｅｎｕｍｂｅｒｏｆｗｅｂｓｅｒｖｅｒｌｏｇｃｏｎｔｅｎｔｓｉｓｉｎｃｒｅａｓｉｎｇｒａｐｉｄｌｙ，ａｎｄｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｄａｔａａｎａｌ ｙｓｉｓｎｅｅｄｓｔｏｂｅｉｍｐｒｏｖｅｄ．Ｔｈｅｐａｐｅｒａｎａｌｙｚｅｓｔｈｅｔｒａｄｉｔｉｏｎａｌｒｅｓｅａｒｃｈｍｅｔｈｏｄｓｏｆｗｅｂｌｏｇｄａｔａ，ｐｒｏｐｏｓｅｓ，ｆｒｏｍ ｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎ，ａｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｃｏｎｓｔｒｕｃｔｉｎｇｔｈｅｓｅｍａｎｔｉｃｌｏｇ，ａｎｄｔｅｓｔｓ ｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｍｅｔｈｏｄｔｈｒｏｕｇｈｃａｌｃｕｌａｔｉｎｇｔｈｅｖａｌｕｅｏｆＤａｖｉｅｓ－Ｂｏｕｌｄｉｎ． Ｋｅｙｗｏｒｄｓ：Ｗｅｂｌｏｇｍｉｎｉｎｇ；ｓｅｍａｎｔｉｃ；ｃｌｕｓｔｅｒｉｎｇ；ｓｅｓｓｉｏｎ；ｏｎｔｏｌｏｇｙ 　　Ｗｅｂ日志数据是记录在服务器上，用以反映 挖掘中，使用模糊关系对 Ｗｅｂ用户进行聚类；文 用户和服务器交互的数据，它记录了用户进入网 献［６－７］基于不确定理论研究了Ｗｅｂ浏览模式 站的所有行为（包括用户浏览网页、在线交易等 的模糊粗糙聚类．随着互联网的飞速发展，网站 信息）．这些行为能够反映用户的兴趣模式和属 内容更加丰富，站点结构也越来越复杂，每天产 性特征．对Ｗｅｂ日志数据的研究一直是国内外学 生的日志文件呈几何级数成倍增长，利用现有的 者研究的热点，由于日志数据的特殊性，对其研 技术和算法对这些日志文件进行分析需要耗费 究主要集中在两个方面：日志数据的预处理和用 更多的时间和成本．因此，文中从减少日志数据 户会话的聚类．文献［１］在１９９６年首次对Ｗｅｂ日 量和复杂度的角度出发，首先构建语义化日志， 志数据做了相关研究；文献［２］使用关系聚类的 减少ＵＲＬ过长造