Q_NFHA 01-2019大数据采集标准.pdf

Q/NFHA 01-2019 广东南方海岸科技服务有限公司企业标准 大数据采集标准 2019-08-01 发布 2019-09-01 实施 广东南方海岸科技服务有限公司 发布 Q/NFHA 01-2019 目 录 第一章 概述 1 第二章 范围 1 第三章 规范性引用文件 1 第四章 术语和定义 1 第五章 总体要求 2 第六章 大数据采集架构3 第七章 数据源要求4 第八章 大数据来源5 第九章 大数据类型6 第十章 大数据采集技术7 Q/NFHA 01-2019 大数据采集标准 第一章 概述 为进一步规范大数据采集过程，实现大数据统一采集，为后续大 数据报送、传输和分析做好准备，特制定本标准。 第二章 范围 本标准规定了大数据采集要求。 本标准适用于大数据采集过程。 第三章 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文 件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其 最新版本 （包括所有的修改单）适用于本文件。 ITU-TY.3600-2015 基于云计算的大数据需求与能力 （Bigdata - Cloud Computing based requirements and capability） 第四章 术语和定义 ITU-TY.3600-2015规定的，以及下列术语和定义适用于本文件。 1. 大数据 Big Data 大数据是指在可能具有实时性要求的条件下，为实现采集、存储、 管理、分析和可视化的数据量大、类别大的数据集[ITU-T 1 Q/NFHA 01-2019 Y.3600-2015]。 2. ETL Extract Transform Load 数据从数据来源端经过抽取 （Extract）、转换 （Transform）、 加载 （Load）到目的端，然后进行处理分析的过程。 3. 大数据采集 Big Data Collection 大数据采集是指从传感器和智能设备、在线系统、离线系统、内 网平台和互联网平台等获取各种类型的结构化、半结构化及非结构化 的海量数据的过程。 4. 数据仓库 Data Warehouse 数据仓库是一个面向主题的 （Subject Oriented）、集成的 （Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(DecisionMakingSupport)。 第五章 总体要求 大数据采集对大数据进行ETL操作，最终挖掘数据的潜在价值, 然后提供给用户解决方案或者决策参考。 ETL从数据源抽取出所需的数据，经过数据清洗,最终按照预先 定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中 的数据进行数据分析和处理。 对于不同种类的数据进行数据分析，必须通过提取技术,将复杂 格式的数据进行数据提取，从数据原始格式中提取 （Extract）出需 2 Q/NFHA 01-2019 要的数据，丢弃一些不重要的字段。为提高对数据源大数据采集的准 确性，必须对提取后的数据进行数据清洗，将不正确的数据进行过滤、 剔除。 针对不同的应用场景，以及不同的数