data ining中的统计方法及其应用.pdf

摘 要 随着计算机和电子数据技术的不断发展以及Internet和各种局域网的广泛普 及，人们获得的数据正以前所未有的速度急剧增加，最近几十年产生了很多超大型 数据库，遍及超级市场销售、银行存款、天文学、粒子物理、化学、医学以及政府统 计等领域．那么，如何从这些大型数据库中发现有用的信息、模式和知识?如何开 发有效的挖掘方法?已成为众多科技工作者共同关注的焦点．在过去几年，一个称 为“数据挖掘”(Data Mining)的新领域得到了快速发展，这是一个介于统计学、 模式识别、人工智能、机器学习、数据库技术以及高性能并行计算等领域的交叉新 学科，已在经济、商业、金融、天文等行业得到了成功的应用，在国际上掀起了一 股空前的研究热潮． 从总体上，国外在数据挖掘领域中的研究内容十分广泛，已经取得了明显的成 果，如Han，J．andFu，Y．(1995)等人对于定量关联规则以及其他种类的关联规则 方法的改进，以及我们所列文献中对聚类规则的研究、数据泛化、简约和特征提取 研究等．目前，国内的许多科研单位和高等院校竞相开展数据挖掘的基础理论及其 应用研究，例如：模糊方法在知识发现中的应用研究；对数据立方体代数的研究；对 关联规则开采算法的优化和改造；非结构化数据的知识发现以及Web数据挖掘． 然而，对数据挖掘技术的统计方法专门研究的不多，为了发展数据挖掘的技术与理 论，更好地应用于实际，我们将就数据挖掘的统计方法及其应用展开研究，其中包 括事务性数据库的压缩、数据的排序及有向聚类分析、关联规则的进一步研究、针 对时序稠密数据的基函数拟合与预测等． 我们在第一章中从技术和商业的角度介绍了数据挖掘的定义，数据挖掘与知识 发现的关系，以及数据挖掘的对象． 第二章我们从国内外在数据挖掘领域中的发展状况，概括出了数据挖掘领域的 II 摘 要 思想。说明了统计学者在数据挖掘领域中所做的贡献． 第三章我们研究了事务性数据库的压缩问题．首先构造了事务性数据库信息系 所研究的事务总量，称u为论域； Q是描述对象(事务)属性的一个有限集合， 映射．根据不可识别性的定义，以减少事务数增加可识别性，将原信息系统s压 缩为s’={矿，Q，K，)，这里U+为等价关系兄口将论域c，分成等价类族．在 此进而，我们相对于具有某种属性特征的子集A∈Q，将原信息系统S压缩为 霸={扩，A，玖，，)．同时，我们利用Shannon的信息熵，对压缩后的信息系统或 数据库的信息损失进行了统计分析． 事务数据库的列联描述也是数据库压缩的一个方面，我们定义 uij垒扛：，(z，‰。)=n缨A，(z，qa。)=趔， o艘E vqo，，n蚜∈‰，，Vx∈u}， 来构造二维条件属性项之间的列联关系；我们定义 A，扛，d)=b，ai∈K。，幻∈Yd，vx∈u)， 札0垒{g：，(z，qt)=ai 构造条件属性项与决策属性项之间的列联关系；定义 qi∈Q， “巧皇{z：f(x，qi)=aj，aj∈K。，Vx∈u)， 构造属性项与属性值之间的列联关系． 另外，我们基于Rough集理论、相依性、广义线性分析、多重相关性等理论和 方法对事务数据库的属性项压缩进行了探讨．其研究结果表明，Rough集理论与 现代统计方法的结合对数据库的压缩有明显的效果． 在数据挖掘中应用是检验方法好坏的重要途径。利用我们所构造的数据库压缩 方法，对某地区中国移动手机用户从2001年9月到2002年3月的缴费情况的共 计149632条信息的原始数据库进行了压缩分析．不仅验证了方法的可行性，而且 还得到了许多有实际意义的结论． 第四章研究了数据的排序及有向聚类问题．就排序而言，我们以信息源和综合 属性为标准研究了事务项(样本)的排序。以PCA的思想针对事务数据库。提出 了加权构造综合属性函数方法，利用该方法对某地区中国移动手机用户的消费情况 进行综合评价，通过可视化和统计分析验证了方法的可靠性．同时，针对信息系统 S={U Q，U，)压缩成的r×c的双因素单向有序列联资料，我们定义了平均秩效