大数据应用与产业发展指南.docxVIP

大数据应用与产业发展指南

第1章数据基础与核心概念

1.1数据分类与特征

数据是信息的载体，是用于描述事物属性或现象的集合。在大数据应用中，数据可以分为结构化数据、非结构化数据和半结构化数据三类。结构化数据如数据库中的表格数据，具有明确的字段和数据类型；非结构化数据如文本、图像、视频等，缺乏固定的格式；半结构化数据如JSON、XML等，具有一定的结构但不完全符合关系型数据库的规范。数据特征主要包括数据量、数据维度、数据时效性、数据完整性、数据准确性、数据关联性等。例如，电商平台的用户行为数据具有高维度、高时效性和强关联性，常用于用户画像和推荐系统。

数据分类方法有多种，如按数据类型分、按数据来源分、按数据用途分、按数据状态分等。例如，按数据来源可分为用户数据、设备数据、传感器数据等；按数据用途可分为分析数据、决策数据、预测数据等。数据特征的分析方法包括数据量的统计、数据分布的分析、数据关联性的计算、数据质量评估等。例如，通过统计数据量的大小判断数据是否充足，通过数据分布分析判断数据是否均衡，通过数据关联性分析判断数据是否具有可挖掘性。数据分类与特征的确定对大数据应用至关重要。例如，在金融风控中，通过分类数据为信用风险、欺诈风险等，结合特征如交易金额、用户历史行为等，实现精准的风险评估。

数据分类与特征的标准化是大数据应用的基础。例如，采用国际标准如ISO25010