大数据挖掘与第一章解析.pptx

大数据挖掘与分析电子商务课程;第一章大数据分析概论 第二章格微知识体系和知识图谱 第三章数据分析方法论 第四章数据准备和魔方原理 第五章数据处理 第六章数据分析法 第七章数据可视化 第八章数据分析报告;0. 课程介绍 大数据概念 何谓数据分析 数据分析师的职业发展 案例分析 涉及专业知识 软件工具;大数据挖掘与分析是基于格微公司的知识魔方产品而设立的对口课程，是一门综合学科，包括统计学、数学、计算机、管理学等专业知识。 未来大数据应用领域： 企业日常数据 产生大量数据的机器驱动（传感器中的数据） 客户数据 互联网数据 （门户网站、社交网络、电子商务等数据）; 大数据技术(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业???营决策更积极目的的资讯。 ;1、数据分析 简单来说——对数据进行分析。 专业说法——指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这里的数据也称观测值，是通过实验、测量、观察、调查等方式获取的结果，常常以数量的形式展现出来。 ;2、数据分析的目的 把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。 例如，企业的高层希望通过市场分析和研究，把握当前产品的市场动向，从而制订合理的产品研发和销售计划，这就必须依赖数据分析才能完成。;在统计学领域，有些学者将数据分析划分为描述性数据分析、探索性数据分析以及验证性数据分析(参见图1-1 )。 其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。;4、数据分析的作用;5、数据分析步骤;明确分析目的;;;图1-4所示，是以PEST分析理论为指导，搭建的互联网行业PEST分析框架，故而使数据分析变得有血有肉有脉络，真正做到理论指导实践。其他具体应用在后面会相继介绍。 ;数据收集是按照确定的数据分析框架，收集相关数据的过程，它为数据分析提供了素材和依据。 这里所说的数据包括第一手数据与第二手数据，第一手数据主要指可直接获取的数据，第二手数据主要指经过加工整理后得到的数据。一般数据来源主要有以下几种方式，如图1-5所示。;数据处理是指对收集到的数据进行加工整理，形成适合数据分析的样式，它是数据分析前必不可少的阶段。数据处理的基本目的是从大量的、杂乱无章、难以理解的数据中，抽取并推导出对解决问题有价值、有意义的数据。 ;数据分析是指用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。 ;;数据分析报告其实是对整个数据分析过程的一个总结与呈现。通过报告，把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考。所以，数据分析报告是通过对数据全方位的科学分析来评估企业运营质量，为决策者提供科学、严谨的决策依据，以降低企业运营风险，提高企业核心竞争力。 一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容;图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。 另外，数据分析报告需要有明确的结论，没有明确结论的分析称不上分析，同时也失去了报告的意义，因为我们最初就是为寻找或者求证一个结论才进行分析的，所以千万不要舍本求末。 最后，好的分析报告一定要有建议或解决方案。作为决策者，需要的不仅仅是找出问题，更重要的是建议或解决方案，以便他们在决策时作参考。所以，数据分析师不仅需要掌握数据分析方法，而且还要了解和熟悉业务，这样才能根据发现的业务问题，提出具有可行性的建议或解决方案。下面的图1-8给出了一个分析报告的基本框架示例。 ;何谓数据分析;数据分析师的职业发展;数据分析师如此抢手的原因何在呢？ 答：一个简单的原因就是社会越发达，人们对数据的依赖就越多。无论政府决策还是公司运营，科学研究还是媒体宣传，都需要数据支持。那么，对数据有如此大的依赖，就必然导致对数据分析的大量需求。因此，将数据转化为知识、结论和规律，就是数据分析的作用和价值。 ;面对这样庞大的数据，对数据分析师的要求就不仅仅是单纯做分析了，更重要的是与相关业务部门进行合作，将数据真正应用到业务中，根据实际的业务发展情况识别哪些数据可用，哪些不适用，而不是孤立地在“真空环境”下进行分析。 这就要求数据分析师不仅具备洞