基于大数据的桥梁监测信息分类技术研究（行业资料）.docVIP

基于大数据的桥梁监测信息分类技术研究（行业资料） 文档信息 ： 文档作为关于“行业资料”中“医学资料”的参考范文，为解决如何写好实用应用文、正确编写文案格式、内容素材摘取等相关工作提供支持。正文7637字，doc格式，可编辑。质优实惠，欢迎下载！ 目录 TOC \o 1-9 \h \z \u 目录 1 正文 2 文1：基于大数据的桥梁监测信息分类技术研究 2 0 引言 2 1 大数据及其应用平台 3 2 Ｋ近邻文本分类算法 4 （1）设定ｋ的值，ｋ最近邻的数量； 4 （3）根据下式计算测试样本与训练集中所有样本的相似度： 4 （5）根据公式（2）收集这ｋ个最近邻的类别， 5 3 工程实例 5 3．1 实例模型 5 3．2 文档预处理 5 3．3 特征选择 6 3．4 文档向量化 7 3．5 分类 7 3．6 结果分析 7 4 结论 8 文2：基于大数据的网络安全态势感知技术研究 9 1 网络安全防御过程中所存在的问题 9 2 对于大数据的网络安全态势感知平台的分析 9 3 促进态势评估方法的分析 11 4 结语 12 参考文摘引言： 12 原创性声明（模板） 13 文章致谢（模板） 14 正文 基于大数据的桥梁监测信息分类技术研究（行业资料） 文1：基于大数据的桥梁监测信息分类技术研究 0 引言 随着桥梁事业的蓬勃发展，多数桥梁上建立了健康监测系统，可以通过传感器获取各种环境下的反映结构响应行为的信息，期间从各个监测点收集的数据量可达到ＧＢ级，而面对海量数据却不能及时得到反映桥梁结构状态的有效信息，桥梁结构监测系统的分析与处理不能及时完成，大数据概念和大数据技术的适时出现提供了一个分析处理桥梁监测历史数据的途径。Ｈａｄｏｏｐ作为一个开源的云计算平台提供了分布式文件系统ＨＤＦＳ和并行编程模型Mａｐ／Ｒｅｄｕｃｅ，以其高容错性、高伸缩性等优点允许用户将Ｈａｄｏｏｐ部署在大量廉价的硬件上，人们可以充分利用集群的存储和高速运算能力，完成海量数据的处理，其中包括海量文本数据的分类问题。分类算法是一种重要的数据挖掘算法，该模型通过对海量样本数据进行训练能把未知类别的样本映射到给定类别中的某一个，以此判别桥梁状态所属类别，Ｋ近邻（Ｋ－Ｎｅａｒｅｓｔ Ｎｅiｇｈｂｏｒ，ＫＮＮ）文本分类算法是基于训练集的文本分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。 云计算提供的海量数据存储和分布式计算能力在数据挖掘以及相关领域中是一种非常受青睐并且有效的方法，结合大数据技术和数据挖掘算法—ＫＮＮ文本分类算法进行桥梁健康监测，在Ｈａｄｏｏｐ平台下运用ＫＮＮ文本分类算法对桥梁结构缩尺模型加速度数据进行分类分析，采用分布式文件系统ＨＤＦＳ对监测数据进行存储和访问，应用Mａｐ／Ｒｅｄｕｃｅ并行计算框架对桥梁各环境参数进行计算，使用分布式文件系统Ｈａｄｏｏｐ Ｄiｓｔｒiｂｕｔｅｄ Ｆiｌｅｓｙｓｔｅｍ来存储原始文档（已分类的数据）和待分类文档（监测数据），将文件读写和分布式并行计算框架MａｐＲｅｄｕｃｅ相结合实现ＫＮＮ文本分类，将监测点的监测数据分到已有的工况中，并据此判断监测点属于何种工况，以便采取相关措施对桥梁进行维护，以此来探索基于大数据技术的桥梁监测分析处理的方法。 1 大数据及其应用平台 “大数据”是一个体量很大，数据类别多样的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理，主要具有数据体量巨大；①数据类别大； ②数据来自多种数据源， 囊括了半结构化和非结构化数据； ③数据处理速度快，在数据量非常庞大的情况下， 也能够做到数据的实时处理；④数据价值密度低，价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”并通过对海量数据进行分析获得有价值的数据成为目前大数据背景下亟待解决的难题。 Ｈａｄｏｏｐ是Ａｐａｃｈｅ软件基金会旗下的一个开源分布式计算平台及分布式处理的软件框架，主要用来处理大量数据，它实现了MａｐＲｅｄｕｃｅ一样的编程模式和框架，能在由大量计算机组成的集群中运行海量数据并进行分布式计算。处理的海量数据能达到ＰＢ级别（1ＰＢ＝1024ＴＢ），并可以让应用程序在上千个节点中进行分布式处理。以Ｈａｄｏｏｐ分布式文件系统（ＨＤＦＳ，ＨａｄｏｏｐＤiｓｔｒiｂｕｔｅｄ Ｆiｌｅｓｙｓｔｅｍ）和MａｐＲｅｄｕｃｅ（Ｇｏｏｇｌｅ MａｐＲｅｄｕｃｅ的开源实现）为核心的Ｈａｄｏｏｐ为用户提供了系统底层细节透明的分布式基础架构。ＨＤＦＳ的高容错性、高伸缩性等优点允许用户将Ｈａｄｏｏｐ部署在低廉的硬件上，形成分布式系统；MａｐＲｅｄｕ