大数据时代的数据挖掘技术分析.docxVIP

147 电子技术 大数据时代的数据挖掘技术分析 金　伟 , 刘冬秋 1 2 （1. 贵州财经大学商务学院计算机科学系 , 贵州 惠水 550600;2. 贵阳中医学院图书馆 , 贵阳 550025） 摘　要：本文通过对大数据的发展、算法分析以及平台设计进行探究，对大数据平台的应用进行了展望，力求为智能化技术的发展提供创新的 思路。 关键词：大数据 ; 人工智能 ; 算法设计 10.16640/j.cnki.37-1222/t.2017.13.133 DOI: 1　大数据的发展概述 3.3　服务层 　　采用基于 WEB 与 环境分析入手，加强端口的管理与流程的优化，从而实现端口的智能 配置与数据交换，让大数据的共享变得科学合理简洁。服务层属于高 级别管理层次，因此应当加强对输入输出的合理控制，使其可以实现 的大数据挖掘处理技术，从大数据的 　　大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理 和处理的数据集合。大数据包括海量的数据信息与高强度的数据处理 能力，对于传统的数据处理系统来说，大数据处理有着相当多的优势， 可以对于大型复杂的数据模块进行高效地分析，包括数据的收集、分 析、共享与传输等。大数据可以采用预测的方式进行分析，在用户分 析后进行数据提取，将其价值体现出来。 4　大数据算法的应用分析 　　数据集分析可以发现新的联系与信息。科学家在电子科学工作中 遇到了很多需要处理海量数据的问题，涉及气象学、基因组学、复杂 物理模拟、生物学和环境研究等。 4.1　数据挖掘 　　数据挖掘是发现大数据数据规律的计算过程，涉及人工智能、机 器学习、统计和数据库系统结合的方法，它是一个跨学科的计算机科 学子领域。数据挖掘过程的总体目标是从数据集中提取信息并将其转 换为可以理解的结构以供进一步使用。除了原始数据分析外，它涉及 数据库和数据管理方面、数据预处理、模型和推理、复杂性考虑、结 构整合处理、可视化和在线更新。数据挖掘是数据库信息分析的过程。 目标是从大量数据中提取模式和信息，而不是数据本身的提取。数据 挖掘是一个热门的领域，并且经常应用于各种形式的大规模数据或信 息处理，主要包括收集、提取、存储、分析和统计以及计算机决策支 持系统的应用，包括人工智能、机器学习和商业智能。这些模式然后 可以被视为输入数据的一种分类方法，并且可以用于在机器学习和预 测分析进一步分析。 2　大数据技术中的算法分析 2.1　神经网络算法 　　神经网络系统是由众多的神经元可调的连接权值连接而成，具有 大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。 神经网络是一种计算方法，基于神经单元的大集合，解决由轴突连接 接，并且可以对所连接的神经单元的激活状态影响中实施抑制。每个 单独的神经单元可以具有将所有其输入的值组合在一起的求和功能。 在每个连接和单元本身上可以存在阈值函数或限制函数，使得信号在 传播到其他神经元之前必须超过极限。神经网络已被用于解决使用普 通的基于规则的编程难以解决的各种各样的任务，如智能化学习。历 史上，神经网络模型的使用向高级人工智能的方向移动，其特征在于 包含在具有一些动力系统的认知模型的参数中的知识。 4.2　机器学习 　　机器学习是计算机科学的子领域，它使计算机能够学习而不用明 确编程。从模式识别和计算学习理论在人工智能的研究演变而来，机 器学习探索学习对数据进行预测算法的研究和构建，这样的算法克服 了严格的静态程序指令数据驱动的预测或决策，通过从样本输入来建 立一个模型。机器学习在一系列计算任务中使用，比如垃圾邮件过滤、 检测网络入侵者或恶意内部人员、光学字符识别、搜索引擎和计算机 视觉，这些方面都没有明确的算法表示。机器学习与数学优化有着紧 密的联系，它将方法、理论和应用领域传递到现场。机器学习有时与 数据挖掘相结合，后者的子领域更侧重于探索性数据分析。 2.2　灰色关联度分析 　　灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度， 来进行归纳和评价，作为衡量因素间关联程度的一种方法。灰色关联 度分析使用特定的信息概念。它定义没有信息为黑色的情况以及具有 完美信息为白色的情况，这些理想化的情况都不会出现在现实世界的 问题中。事实上，这些过渡阶段的情况被描述为灰色。因此，灰色系 统意味着其中部分信息是已知的并且部分信息是未知的系统。根据这 个定义，信息质量形成从信息的缺乏到完整信息的存在过渡过程。由 于不确定性总是存在，灰色分析可以得出一系列关于解决方案的清晰 陈述。在一个极端情况下，这种方案无解，在另一个极端情况下，具 有完美信息的系统具有独特的解决方案。在中间情况中，灰色系统将 给出各种优化的解决方案。灰色分析试图找到最好的解决方案，提供 了确定一个好的解决方案的技术来解决现实世界的问题。 5　总