【干货教程】数据建模那点事教程.docx

数据建模那点事儿雪姬2015-12-21 9:57:48干货教程评论(2)作者：陈丹奕今天要说内容是建模。为啥我作为一个数学能力并不强的人要在这献丑讲建模的事呢？其实我的目的很简单，就是为了告诉大家一个事实：数据分析中的建模，并没有想象中那么高深莫测，人人都有机会做出自己的模型。第一部分：数据建模理论和逻辑一、从数据分析的定义开始维基百科对数据分析的定义如下：Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision making. Data analysis has multiple facets and approaches, encompassing diverse techniques under a variety of names, in different business, science, and social science domains.（来源：Data analysis）简单翻译：数据分析是一个包含数据检验、数据清洗、数据重构，以及数据建模的过程，目的在于发现有用的信息，有建设性的结论，辅助决策的制定。数据分析有多种形式和方法，涵盖了多种技术，应用于商业、科学、社会学等多个不同的领域。和上篇文章中我画的图对比一下：我在上篇文章中为了让初学者更容易走通全流程，简化了数据清洗的过程，实际上数据清洗绝非一次完成，“检验-清洗-检验”的过程可能会重复数次乃至数十次。而建模呢？再次引用维基上对数据建模的定义：Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.（来源：Data modeling）简单翻译：数据建模是一个用于定义和分析在组织的信息系统的范围内支持商业流程所需的数据要求的过程。因此，数据建模的过程需要专业建模师与商业人员和信息系统潜在用户的紧密合作。这段话的定义更偏向信息系统和商业数据建模，我之所以在此引用这段话，是为了明确接下来的讨论内容主要方向是商业数据分析和建模，至于科学研究方向的数据建模，不在这篇文章的讨论范围以内。请注意上边这段话中的一个核心：支持商业流程。商业数据建模，乃至商业数据分析，其最终目的都是要支持某种商业流程，要么优化原有流程，提高各部分效率；要么重构原有流程，减少步骤；要么告诉决策者，哪些流程改造方向是错误的，以避免走错路。最终的目标，一定是提升效率。但在不同的情况下，提升效率的方式也是不同的，因此在每个模型建立时，都需要确定其解决的具体目标问题。再往前走一步，数学—主要是统计学，在建模的过程中又扮演什么样的角色呢？继续引用维基：Mathematical formulas or models called algorithms may be applied to the data to identify relationships among the variables, such as correlation or causation. In general terms, models may be developed to evaluate a particular variable in the data based on other variable(s) in the data, with some residual error depending on model accuracy (i.e., Data = Model + Error)（来源：Data modeling）简单翻译：数学公式或模型称为算法，可应用于数据以确定变量之间的关系，如相关性或因果关系。在一般情况下，模型开发出来后用于评估一个特定的变量与