数据分析入门之随笔记 光环大数据.pdfVIP

光环大数据--大数据培训知名品牌 数据分析入门之随笔记 光环大数据 数据分析是一个大话题，借这篇小笔记整理一下自己的思路：数据分析是什 么？涉及到哪些技术？有哪些数据公司玩家？如何定位数据分析的价值？ 前言 数据的一面是银弹(SilverBullet)：无所不能，增长黑客(GrowthHacking)， 决策分析(DecisionMaking)；数据的另外一面是镜子(Reflection)：可以看清楚 很多苟且和远方的田野。如何发现利用数据的价值，就是数据分析的目标。 数据分析的重要性可以分为两点： 第一是帮助核心业务(Business)成长，找到和验证业务增长点 第二是有效的业务推动（Marketing），提高推广的效率(ROI)。 我把营销(Marketing)作为独立的数据分析角度，因为数字营销极度依赖于 数据分析，并且有一些通用的分析模型，它同时也是一个非常大的产业，它是各 个软件巨擘必争之地。 最近十几年，数据的收集和处理能力大大提升，越来越多的传感器和数据收 集，许多大公司的数据正在从TB 级别走向PB 级别。互联网公司之间的模式竞争， 也转战到对于数据价值的挖掘的能力上，很多时候也就是速度和效率的竞争。不 要迷信数据，更不要忽视数据。很多时候，数据是你业务的指南针和护城河。 数据量快速增长，数据分析人才紧缺，数据分析工具依赖性，数据分析服务 的强需求都反映了公司从粗放型到精细化的转型。 1.什么是数据分析（DataAnalysis）？ 为了理解数据分析，首先理解一下数据的概念。管理学家罗素·艾可夫在 1989 的《“FromDatatoWisdom”，HumanSystemsManagement》提出了DIKW 体系体 系，这是关于数据、信息、知识及智慧的一个模型，完美诠释了四者的关系。 Data(数据)-Information(信息）-Knowledge （知识)-Wisdom(智慧)。 2.数据分析的技术 技术上就是以发现有用信息，知识和洞察为目的，进行数据收集，处理，清 光环大数据 光环大数据--大数据培训知名品牌 晰，过滤，以支持决策制定。有好几概念有些混淆，花点时间解释一下： a.数据挖掘(DataMining)：数据挖掘是以预测为目标的数据建模和知识探索 的一个子学科，好多年前，它一直是一个热门的研究生专业，直到信息检索专业 的出现。 b. 商务智能 (BusinessIntelligence):BI 是一个利用数据的聚合 (Aggregation)和分片(Slice)的能力，进行业务监控和洞察发掘。 数据分析也是一种艺术(Art)，所谓艺术就是结合技术，想象力，经验和意 愿的综合因素的平衡和融合。数据分析也是一个经验和想象力的融合：它涉及到 数学算法，统计分析，工具和软件工程的一种结合，最后的目的是解决业务的问 题，帮助人从数据中获得智慧。 下面列了几个常用的分析技术范式： 1.统计模型：利用统计模型处理数据的方法 2.探索式(exploratory):不设定假设目标，自由发掘和探索 3.稳定性(StabilityofResults)：分析结果的稳定性评估，又是进行交叉验 证。 4.假定验证(HypothesisTesting):预先设定好结论，通过测试校验结论 下面是涉及到算法，工程，统计等的相关技术，每一种细分技术都是一个大 学问，好的数据科学家，可以游曳穿行其中，找到数据中有价值的洞察。 3.数据从业者的职业名称 从事数据的工作者，历史上我见识过了不少名称，包括“数据分析师”，“数 据经理”，“运营分析师”，“软件工程师”，“算法工程师”，“策略分析师”，“数据 科学家”等等。其中最酷的名字还是 LinkedIn 发明的“数据科学家 (DataScientist)”，这个名称也被Forbes 评为本世纪最”性感“的工作了。我 估计，这是全世界最多的科学家团体了，小时候总觉得科学家必须白发苍苍才行 的，现在很多同学刚毕业就是”数据科学家“，很