数据处理五项原则.docxVIP

发去我们新近翻译的文章，供分享并请批评指正。

数据分析的五项基本原则

作者：麦克劳克林.格雷戈里.C

美国佛罗里达州福特·劳德戴尔和麦克劳克林合伙人有限责任公司

翻译杨启善1杨晓光2

1中国电子技术标准化研究院，2电子科学研究院

关键词

统计，数据，数据分析，大数据

摘要

●太多的数据以及误导性的分析，常常会让决策者感到困惑。

●正确分析数据有五条基本规则，必须遵循这些规则才能解决问题、带来价值并避免误解。

●使用这五个规则将保证能作出成功的明智决策，这种决策依赖于预测性和可操作的信息。

没有数据，企业或组织就无法运转。今天的口号是收集海量数据，这被称为大数据。大数据催生了大分析。高管们在分析上投入了大量资金。据估计，这一支出达到1870亿美元，而且还在增长。问题是，大并不总是等于好。

对许多人来说，大数据分析似乎并没有回答不精确的问题或提供新的见解。问题的根本原因是对下述固有行为的不正确认识，即与数据有关的可预测性和一致性相关的固有行为，这种不正确认识也适用于大数据集或小数据集，并根植于失败的数据分析。

这些失败导致了巨大的损失，例如，IBM估计数据分析失败仅在美国就造成高达3万亿美元的损失，不良的数据分析正像流行病那样频繁出现，这是由于下述因素造成的：有太多数据需要审查和评估，未能遵守假设或要求，缺乏有关风险和不一致的知识，以及认为没

有多少价值和经常出现错误在所难免。

有多少价值和经常出现错误在所难免。

需要适当的分析和解释来解决新问题，得到新答案，而不

需要适当的分析和解释来解决新问题，得到新答案，而不是犯同样的旧的统计错误。使

用本文中提出的数据分析的五条规则为这种流行病提供了一种治疗方案。一个熟悉的例子(标准普尔指数或标准普尔股票指数)将有助于理解这些概念。

一、五项规则

第一项规则：不能单靠数字解决问题或做决定

数字描述的是什么,而不是发生过什么,也不是将会发生什么。单靠数字不能解决问题，

也不能做出正确或最佳的决定。

也不能做出正确或最佳的决定。

企业和决策者可能过于依赖数字。例如，如果销售比前一周下降了10%,你会作出何种反应，是进行调查研究还是进行监督控制?如果数字发生变化，最好的建议是什么?最好的

选择是进行调查研究，为什么?因为你必须确定发生变化的原因，因为仅凭数值无法提供答案。例如，标准普尔指数在2019年5月1日收盘于2667.19点，这个数字提供了什么价值?除了描述性价值外，数字并不能提供对下一个交易日或任何一天的预期信息。

用数据而不是数字来做决定。数据通过解释数字的含义，将数字置于特定的时间范围内、与已知的值或标准进行比较，以及确定其重要性和优先级来将数字转换为信息。让事实、经验和直觉来指导你做决定，而不仅仅是凭情感、主张或感觉来指导你做决定。

数据应该揭示一些关于事件、问题、难题、威胁或机会的信息。必须了解不准确、丢失、误用和不适当的数据，以及数据输入方面的问题。安然公司使用不准确的财务数据来掩盖其资金(偿付能力)问题，其倒闭和股东价值的损失广为人知。

第二项规则：数据的描述性和可视化

数据具有极好的描述性属性，并且应该是可视化的(例如，图表、曲线图、结构图或表格)。

分析数据包括开发数据的描述性概要、可视化模式和行为。分析结果允许用统计技术测试和确认数据，以开发长期预测剖面。

大多数分析师和决策者使用少量的数据来做决定。他们可以检查数字并得出一些结论。然而，将数据可视化并不困难，通常可以提供更多的细节和信息。考虑2019年4月的标准普尔每天收盘时的全部指数值(见表1)。为了将这些数据可视化，可以从绘制一个简单的图表(指数值Y与日期X)开始。

表1

2019年4月标准普尔指数(交易日结束时)

2,867.19

2,867.24

2,873.40

2,879.39

2,892.74

2,895.77

2,878.20

2,888.21

2,888.32

2,907.41

2,905.58

2,907.06

2,900.45

2,905.03

2,907.97

2,933.68

2,927.25

2,926.17

2,939.88

2,943.03

2,945.83

SP=标准普尔指数

该指数从第一天开始上升，但不是连续上升。有些日子有起有落。图表显示了数据是如何随时间变化的，这是一种可视化一致性的极佳方法。可重复数据保持不变，不一致的数据变化或频繁变化，并且没有模式。您可以通过下图看到数据中的“散布”。在绘制和解释数据时，通常是有助于检查数据如何相对于已知或计算值改变(变化或散布)的。

图1数据缺乏一个基准点或标准来进行比较，这样难以判断指数的增长率或预测未来。