文本聚类算法的参数设置问题分析-analysis on parameter setting of text clustering algorithm.docxVIP

文本聚类算法参数设置问题研究摘要数据挖掘技术是多种学科相结合的产物，它集合了数据库技术、人工智能、机器学习等多学科发展成果，是一种理论性和应用性都很强的技术。作为一门多学科综合应用技术，此项技术把多门技术结合起来加以应用，包括最新的人工智能技术，以及机器学习，还包括传统数据库技术，通过对信息的挖掘和模式的识别，由计算机按照某种方法自动生成，把数据中发现未知的、具有潜在应用价值的信息识别出来，解决数据量大而知识贫乏的矛盾。目前这一技术已在商业、金融、保险、医疗等多个领域产生了巨大的效益。目前文本聚类技术在算法设计方面取得了大量成果，并形成了自己的一套理论和方法体系，作为非监督学习问题中的典型问题，文本聚类算法用不同的数据分析方法，设计研发出众多聚类算法，常见的由划分方法、层次的方法、基于密度的方法、基于网格的方法以及基于模型的方法等，这些算法都在特征选取、分类计算等技术环节给出了解决方案，在性能和质量上都有不错的表现。这些算法在文本聚类的主要步骤都差不多，只是在各个步骤的处理实现上方法不同，因此也都有了各自优点和缺点。比如目前比较流行的K-Means算法，其优点和缺点都很明显，为此很多研究者提出多种改进算法。在详细分析了这些不同类型的文本聚类算法，并总结他们的优点和缺点的基础上，提出了一个新的算法设计思路：综合多种不同类型算法，针对不同的需求，在聚类的不同阶段使用不同算法混合计算。进而，针对K-Means算法的K参数选取问题，设计了一种混合计算方法，有效的提高了K-Means算法的聚类质量。此算法在特征选取阶段使用了基于密度的聚类算法，使得K-Means算法的初始值选取避开了孤立点，同时在聚类阶段仍然使用划分法，使得整个算法兼顾了时间和质量上的平衡，从而取得了更佳的聚类结果。关键词：数据挖掘；文本聚类；加权聚类；K-MeansResearchOnParameterSettingforDocumentClusteringAlgorithmABSTRACTDataminingtechnologyistheproductofthecombinationofdatabasetechnology,artificialintelligence,machinelearning,avarietyofdisciplines,isatheoryandapplicationofthenewcapitalastrongtechnology.Itspurposeisartificialintelligence,machinelearninganddatabasetechnologytogethertodiscovertheunknown,withapotentialvalueofinformationorpatternsfromexistingdataautomaticallybyacomputer,tosolvethecontradictionoflargevolumesofdata,lackofknowledge.Thistechnologyhasbeenofenormousbenefitinthecommercial,financial,insurance,medicalandotherfields.Textclusteringtechniquesinalgorithmdesigntoobtainalargenumberofresults,andformedtheirownsetoftheoryandmethodology,asatypicalunsupervisedlearningproblems，textclusteringalgorithmistostartfromadifferentperspectivegiventhevarietyofclusteringalgorithms,suchaspartitioning,hierarchicalmethods,density-basedapproach,basedonseveraltypesofgridmethodandmodel-basedmethods,thesealgorithmsarefeatureselection,classificationandcalculationoftechnicalaspectsofthesolution,intermsofperformancehavegoodperformanceandquality.Themainstepsoftheclusteringofthesealgorithmsinthetextaresimilar,butdifferentinthevariousstepsofprocessingtoachieve,andthereforeha