大数据建模概述.pptxVIP

演讲人：通用名大数据建模概述大数据建模概述全文共13页，当前为第1页。大数据建模应遵循的规律大数据建模概述全文共13页，当前为第2页。数据挖掘增大对业务的认识与猜测提高了信息作用能力大数据建模的价值不在于预测的准确率模式因业务变化而变化以业务目标作为实现目标业务知识是每一步的核心做好数据预处理试验对寻找解决方案是必要的数据中总含有模式①以业务目标作为实现目标→↓↓←大数据建模概述全文共13页，当前为第3页。大数据建模技术，是为了解决业务流程问题。数据建模的核心：业务目标。 我们要什么样的数据挖掘模型 业务调研 问题定位 可解释、有实际业务涵义、可使用的 制定目标②业务知识是每一步的核心→→→大数据建模概述全文共13页，当前为第4页。 业务知识是理解问题的基础。例如大数据分析“饮食与疾病的关系”“糖尿病与高血压发病关系”，这些分析都需要对医学相关知识有一定了解才能建模。数据分布 数据质量 指标选择 衍生指标③做好数据预处理 数据预处理比数据挖掘其他任何一个过程都重要且费力，数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术更容易利用它。大数据建模概述全文共13页，当前为第5页。数据预处理两种方法 第一种方法是将数据转化为可以分析的完全格式化的数据，比如，大多数数据挖掘算法需要单一表格形式的数据，一个记录就是一个样例。数据挖掘者都知道 什么样的算法需要什么样的数据形式，因此可以将数据转化为一个合适的格式。 第二种方法是使得数据能够含有业务问题的更多的信息，通过这些领域的知识，数据挖掘者可能可以找到一个合适的技术解决方案。数据提取 数据清洗 数据审核 数据集成→→→大数据建模概述全文共13页，当前为第6页。④试验对寻找解决方案是必要的→→→大数据建模概述全文共13页，当前为第7页。 挖掘过程中往往通过算法和业务知识结合进行多次试验，才能揭示数据隐藏的规则。了解业务知识对模式有更好的理解，模式也对业务知识有贡献。模型初步构建 模型优化 模型带动业务业务带动模型⑤数据中总含有模式大数据建模概述全文共13页，当前为第8页。 在一个与业务相关的数据集中，即使一些期望的模式不能被发现，但其他的一些有用的东西可能会被发现。一些数据挖掘项目失败是因为开始的数据采集存在问题。⑥数据挖掘增大对业务的认识大数据建模概述全文共13页，当前为第9页。 为什么数据挖掘必须是一个业务过程而不是一个技术过程？ 业务问题是由人而非算法解决的。 数据挖掘算法揭示的模式通常不是人类以正常的方式所能认识到的，帮助业务专家解决他们不能单独完成的业务问题。如：通过大数据分析帮学校找到学生学习困难的原因。⑦与猜测提高了信息作用能力大数据建模概述全文共13页，当前为第10页。 数据挖掘算法揭示的模式通常不 是人类以正常的方式所能认识到的。 聚类和关联模型也有预测特征。聚类：预测一个个体属于哪个群体。eg：预测个别交易是否为欺诈。关联：基于已知基本属性预测更多属性。eg：预测客户行为。⑧大数据建模的价值不在于预测的准确率大数据建模概述全文共13页，当前为第11页。 准确性和稳定性是预测模型常用的两个度量。准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，其预测结果变 化有多大。 一个好的大数据是为了改变企业的行为以及预测的结果来改善企业的行为，会不会适应业务发展需要才是它的衡量标准。⑨模式因业务变化而变化→大数据建模概述全文共13页，当前为第12页。 模式的变化 认识的变化 预测模型会因行为的变化、市场的变化、竞争的变化以及整个经济形势的变化而过时，当他们不能准确预测时，应该定期更新。谢谢观看！汇报人：ABC大数据建模概述全文共13页，当前为第13页。