门户网站分布式数据挖掘分析.docVIP

门户网站分布式数据挖掘分析 摘要:数据采集与存储、数据预处理、数据挖掘算法并行化、数据输出与应用等是数据挖掘的核心技术。在移动云时代,门户网站分布式数据挖掘云平台架构通常由数据源、大数据挖掘平台和客户端三大层级组成,并通过D超级代理、CDN云计算化、访问记录与日志分析、用户数据动态分发网络等实现数据挖掘与智能调度。 关键词:门户网站；分布式系统；数据挖掘；云平台架构 在信息技术不断发展的背景下,多样化的数据信息通过网络进行传输,数据的类型和规模均呈现出“爆炸式”增长。数据规模的不断增长呼唤有效的数据处理和分析技术,只有能够整合数据资源并输出有效数据产品的技术才能够真正挖掘数据的价值,实现更高效的数据运用。数据挖掘技术作为一种在较高层次对数据进行高级查询和筛选的技术,具有数据记录、整理、分析、输出的能力,尤其是在云平台的支持下,数据挖掘被赋予了更强的计算能力和更大的存储空间[1]。通过云端进行更高效的数据运算和智能分析,能提升数据挖掘的报告质量和输出价值。 1云时代数据挖掘的核心技术 1.1数据采集与存储。数据采集是进行数据挖掘的基础阶段,采集技术分为线上和线下两种类型。线上数据采集主要通过网络终端后台实现,例如档案、日志、浏览、点击等相关信息[2];线下数据采集则通过传感器、磁卡片、RFID技术等进行,获取用户的线下行为数据,从而建立用户的行为数字数据库。数据采集后,还须存储已采集