基于奇异值分解的异常切片挖掘.docVIP

基于奇异值分解的异常切片挖掘( 遇 辉1,2+, 马秀莉1,2, 谭少华1,2, 唐世渭1,2, 杨冬青1 1(北京大学 信息科学技术学院,北京 100871) 2(北京大学 视觉与听觉信息处理国家重点实验室,北京 100871) Exceptional Slices Mining Based on Singular Value Decomposition YU Hui1,2+, MA Xiu-Li1,2, TAN Shao-Hua1,2, TANG Shi-Wei1,2, YANG Dong-Qing1 1(School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China) 2(National Laboratory on Machine Perception, Peking University, Beijing 100871, China) + Corresponding author: Phn: +86-10 Fax: +86-10 E-mail: yuhui@, Received 2004-07-16; Accepted 2005-03-11 Yu H, Ma XL, Tan SH, Tang SW, Yang DQ. Exceptional slices mining based on singular value decomposition. Journal of Software, 2005,16(7):1282?1288. DOI: 10.1360/jos161282 Abstract: Slice is one of the major operations in on-line analysis processing, which has played an important role in the application of decision support. In this paper, a method of mining exceptional slices is presented for extracting the distribution feature of the slice data based on the technique of the singular value decomposition, and the exceptional slices can be found by utilizing the distance-based outlier detection technique on the singular value feature. The effectiveness of the approach is experimentally demonstrated on the artificial data and the real slices data. Key words: exceptional slices mining; feature extraction; singular value feature vector; distance-based outlier detection; on-line analytical processing 摘 要: 切片操作是联机分析处理的主要功能之一,在决策支持应用中发挥着重要作用.由于人工的切片过程非常低效,且易忽略重要信息,提出了一种自动、智能的异常切片挖掘方法.该方法基于奇异值分解技术来提取切片的数据分布特征,然后在提取出的奇异值特征之上,利用基于距离的孤立点检测技术发现异常的切片.在人工生成的数据和实际应用的切片数据上所作的实验结果都表明了该方法的高效性和可行性. 关键词: 异常切片挖掘;特征提取;奇异值特征向量;基于距离的孤立点检测;联机分析处理 中图法分类号: TP311　　　文献标识码: A 联机分析处理(OLAP)是一种数据分析技术,它通过提供多角度、多粒度的查询和展现数据的功能,使得人们得以灵活地观察和分析数据. 自从E.F.Codd于1993年提出联机分析处理的概念以来,针对OLAP的研究大致分为两个阶段.目前广泛使用的OLAP基本操作属于第一阶段,即上钻、下钻、旋转、切片、切块等.近几年,研究者们根据实际应用的需要,进一步提出了OLAP的高级操作符,包括智能上钻、智能下钻、用户导航符、异常指示符、对数据立方体进行语义压缩的商方体以及方体间的关联分析等[1?6]. OLAP的基本操作是用户指