一种大数据时代海量数据抽取的开发模型研究_.pdfVIP

网络出版时间：2013-06-28 16:08 网络出版地址：/kcms/detail/51.1196.TP1608.047.html 优先出版 计 算 机 应 用 研 究 第30 卷 一种大数据时代海量数据抽取的开发模型研究* 1 2 1 罗恩韬 ，胡志刚 ，林 华 湖南科技学院 计算机与通信工程系,湖南 永州 425000；2. 中南大学 软件学院,长沙410073) 摘 要:随着云时代的来临，时下对大数据（Big data ）的关注和研究是越来越高，大数据通常是用来形容大量非结构化 和半结构化数据，随着大数据增长速度提高，数据体量增大，数据的冗余也将会越来越大，传统的数据软件分析模型已 经不能满足需要海量信息的处理和分析的需要，如何从大数据里面抽取有效的信息，对数据的进行有效的分析和决策， 建立新的数据模型对数据进行分析和处理就显得尤为重要，本文采取了一种更适合大数据时代的数据抽取模型，并给出 了数据抽取的判定方法，此方法具有复杂度低，易于实现，具有良好的估计性能。 关键词: 大数据；数据抽取；SAT 模型； 中图分类号:TP391.4 文献标志码: A Big data era development model research of huge amounts of data extraction 1 2 1 LUO En-tao , Hu Zhi-gang , Lin-Hua （1.Dept.of Computer Communication Engineering,Hunan University of Science Engineering,YongZhou Hunan 425100,China;2 School of SoftwareCentral South University,Changsha,410073 ） Abstract: With the coming of cloud era, we pay more attention and do more research on Big data which is usually used for describing large quantities of unstructured and semi-structured data. With the big data’s growth speed and its quantity increasing, data’s redundancy will be more serious. So the traditional Data software analysis model can’t satisfy the need of mass information’s processing and analysis. So it’s especially important that how to get useful information from mass information, how to analyze data and how to set up new data model to analyze and process data. This passage uses a data extraction mode which is