网络动态数据挖掘模式及其关键技术.pdf

第５９卷 第１０期　２０１５年５月 网络动态数据挖掘模式及其关键技术 １ １，２ ■ 黄晓斌 　张兴旺 １ ２ 中山大学资讯管理学院　广州５１０００６　 桂林理工大学图书馆　桂林５４１００４ 摘要：［目的／意义］大数据蕴藏着大知识和大情报，但呈现出价值密度低、分布不规律、价值隐藏深、变化 频繁等特征，给数据挖掘工作带来巨大机遇与挑战，有必要探索新的挖掘方式。［方法／过程］以大数据环境下 网络动态数据挖掘模式作为切入点，从数据生产方式、生产规模及技术成熟性等维度选择金融管理、新型互联 网应用、移动互联网位置服务等应用领域，对其基本特征进行分析，最后以Ｆａｃｅｂｏｏｋ的动态数据挖掘分析平台 为例进行系统说明。［结果／结论］提出应从体系结构、动态数据传输、系统接口、高可用技术及负载均衡等关键 技术入手，对系统进行设计与优化。 关键词：大数据　动态数据挖掘　动态竞争情报　Ｆａｃｅｂｏｏｋ 分类号：Ｇ２５０．７３ 　　ＤＯＩ：１０．１３２６６／ｊ．ｉｓｓｎ．０２５２－３１１６．２０１５．１０．００３ １　引言 动态数据挖掘、动态竞争情报分析研究具有重要的参 考价值。 　　云计算、移动互联网、物联网等新型信息技术与服 务的快速发展，促使人类进入大数据时代。从“事实→ ２　网络动态数据挖掘模式与应用领域 数据 信息 知识 情报”５个环节形成的信息链［１］ → → → ２．１　大数据环境下网络动态数据挖掘模式 所揭示的价值流向，可知大数据必然蕴藏着大信息，大 　　要挖掘大数据中蕴含的大价值情报，就必须要对 信息能够提炼出大知识，大知识必将在更高层面、更广 其进行内容上的分析与处理，而大数据环境下数据处 视角、更大范围内帮助用户获取大情报，从而有效地提 理模式有３个巨大转变，即：要全体不要抽样、要效率 升企业决策力及智能化水平。由于受到大数据的规模 ［２］ 不要绝对精确、要相关关系不要因果关系 。由此可 大、类型多、速度快、真实性强特性及动态数据挖掘过 知，大数据蕴含价值的有效实现与三大要素密切相关， 程的动态变化性、不确定性、开放性、时序性等特性的 即大数据分析、大网络带宽、大数据内容。 影响，这些总量极大的数据呈现出价值密度极低、分布 ２．１．１　大数据分析　只有通过不断优化的大数据分 极其不规律、信息隐藏深度大、发现有用价值较困难等 析方法对大数据进行高效、快捷、实时的计算与分析， 鲜明特征。大数据的这些特征给动态数据挖掘带来了 挖掘出数据间关联关系或隐藏在数据内部的规律与内 巨大的机遇与挑战，这就要求大数据环境下网络动态 在逻辑，才能够帮助用户厘清事实背后的真相，预测事 数据挖掘及动态竞争情报分析体系必须具备高性能、 件发展趋势，从而正确做出决策，获取全新的价值。 可扩展、实时性等特性。 ２．１．２　大网络带宽　任何技术、理念及模式的实现都 　　目前，国内外已有一些网络动态数据挖掘技术的 需要稳定高效的网络环境的支撑，大网络带宽可以提 相关研究，初步形成了以Ｇｏｏｇｌｅ的ＭａｐＲｅｄｕｃｅ编程模 供良好的基础设施，以利于在更大范围内进行数据收 型、Ａｐａｃｈｅ基金会的Ｈａｄｏｏｐ开源架构、Ｓｔｏｒｍ、Ｓｐａｒｋ和 集，更快速度地进行数据传输，从而为大数据挖掘、分 Ｓａｍｚａ大数据分析与处理框架等为代表的较为高效稳 析、处理及显示等环节提供时间、空间方面的重要 定的大数据挖掘、分析及处理系统，这些研究对于网络