数据分析技术与应用指南.docxVIP

数据分析技术与应用指南

第1章数据基础理论与测量

1.1数据与信息的本质区别

数据是客观世界中经过结构化存储的原始符号集合，它本身是中性的、无意义的比特流，例如数据库中的2023-10-2714:30或传感器记录的温度：25.5，这些数据没有内在的故事或结论，必须经过人类理解才能产生价值。信息则是经过加工、组织、筛选或转换后，能够被人类感知、思考并用于决策的有用内容，如将上述时间戳转化为“某日特定时刻的办公活动高峰时段”，或将温度数据转化为“当前处于过热风险预警”的结论。

数据具有多源异构性，来源包括传感器、数据库、社交媒体等，格式各异（如CSV、JSON、图片、音频），且往往包含大量重复、冗余甚至错误的数据，需要统一的编码标准才能进行整合。信息具有时效性，一旦产生即面临过期风险，例如昨天的销售数据若不及时更新，在分析当周趋势时就会失去参考价值，而数据本身一旦写入存储介质理论上可永久保存。数据强调准确性，要求数值精确、逻辑一致，例如计算用户年龄时，不能简单地将出生年份相加，而需考虑是否跨越了闰年或生日已过等边界情况，确保基础数值的可靠性。

信息强调相关性，即数据点之间必须存在逻辑联系，例如将“用户购买A产品”与“用户注册时间”关联，才能推断出“新用户更倾向于购买高端型号”，这种关联是通过信息加工建立的。

1.2数据治理与数据标准

数据治理是指通过组织架构、流程、制