数据分析来源.docxVIP

数据挖掘是从数据中找规律????????数据挖掘的英文是Data Mining，直译就是数据挖掘。韩家炜教授在《数据挖掘：概念与技术》一书中介绍过数据挖掘一词的来源。在科研界，最初一直沿用“数据库中的知识发现”，即KDD，Knowledge Discovery in Database。在第一届KDD国际会议中，委员会曾经展开讨论，是继续沿用KDD，还是改名为Data Mining（数据挖掘）。最后大家决定投票表决，采纳票数多的一方的选择。投票结果颇有戏剧性，一共14名委员，其中7位投票赞成KDD，另7位赞成Data Mining。最后一位元老提出“数据挖掘这个术语过于含糊，做科研应该要有知识”，于是在科研界便继续沿用KDD这个术语。而在商用领域，因为“数据库中的知识发现”显得过于冗长，就普遍采用了更加通俗简单的术语——“数据挖掘”。???????数据挖掘就是从数据里找规律。规律这样讲很抽象，以电信公司为例。国际???家大的运营商经常面临的问题就是客户流失。因此电信公司就需要了解哪些客户容易流失，原因是什么，能不能在流失之前就找到他们，建立预警系统，分析流失客户和忠诚客户的差别是什么，我们称之为流失特征。例如每月打电话时长递减，投诉后没有反馈等。通过数据挖掘找出这些特征后，就可以选出可能会流失的客户，争取挽留。那么规律，作为一种复杂的模式，在这个案例中就体现为流失特征。????????再比如企业通过分析销售数据，得出销售高峰出现在春节等节假日，这也算一种规律，可以帮助企业决定何时进行资源储备，人员配备以及营销活动等。但是这种规律不需要通过复杂的数据挖掘，通过看销售数字就可以得出来。????????所以，我个人觉得对于规律没有严格的界限，只要这个规律对于公司业务的理解和未来业务规划预测有帮助，我认为这都可以算作数据挖掘。如果单指通过统计模型得出的结论才算数据挖掘，我认为有些狭义。实际上，数据挖掘是一个涵盖商业智能、人工智能、统计分析、经济学等的大概念。????????我认为数据挖掘分析可以分为8个层级，常规报表、即席查询、多维分析、警报、统计分析、预报、预测性建模和优化。不同的企业，发展阶段的不同，会有不同的数据挖掘需求。这主要取决于三点。首先是企业数据准备的程度。统计学很重要的一个出发点就是过去发生的事情在未来会重现。否则，没有分析的必要。那么拥有一个月的数据和过去三十年的数据，分析的结果是天壤之别。因此企业内部需要有足够的数据量作支撑。其次，数据质量要有保证。我曾经总结过一个三个月的数据挖掘项目，其实做模型只用了两周，其余时间都是整理数据。如果数据质量不过关，就会出现挖掘结果不合常理，或者在业务上解释不通的情况。最后从系统流程角度，如果商业智能这些方法都不能解决企业问题的话，就可以考虑引入数据挖掘。当然还需要企业从业务流程，内部政策上针对数据挖掘的结果作出相应改进才行。很多时候我们发现预测模型没有和企业的流程挂钩。项目进行期间，企业会采用数据挖掘的结果，但是一旦项目结束，就又按照原来的套路了。理想的流程，以客户流失为例，是每月做一次下月流失预测，将结果交给业务部门，由业务部门作出相应的挽留行动。但是很多企业都是在月底看下流失率，如果流失太多就会告诉下属下个月要注意，下属就自己想尽办法把流失率降下来。因此要在流程上作出改进，使数据挖掘观念嵌入在公司业务体系中，这样才能使数据挖掘结果为企业带来有效持久的效果。????????天时地利人和造就数据挖掘发展????????数据挖掘现在受到广泛关注是产业不断发展的结果。在2000年到2005年，业界讨论最多的是数据仓库的概念。而在2000年以前，大家对数据仓库也不了解。因此，关于数据的发展是一个渐进的过程。????????首先，我们已经具备足够的数据量。数据挖掘一定要基于庞大数据量的基础才能分析。以前企业的客户可能只有一两百，通过人眼就可以看出用户的特点。但是现在企业动辄就有几百万，甚至上亿的用户群体，这时就需要数据挖掘技术帮助公司分析。????????其次是行业精细化管理的需求。以前企业的管理属于粗放型，即使客户数量多，数据量足够，也不需要对用户和市场进行深入分析，就可以盈利。这种情况在垄断行业比较常见。领导很多时候只要拍拍脑袋，自己出个政策或者决定就可以了。但是现在随着市场的成熟，竞争程度加剧，迫使许多企业从粗放型向精细化发展，因此对数据挖掘更加重视。????????第三，企业的管理者观点发生了转变。这种转变需要一个过程。以前我和企业老板沟通的时候，谈到数据挖掘，他们都觉得这个概念很好，但是对于如何应用于自己公司的业务流程中，完全没有概念。及时我和他们分享了国外成功的案例，他们还是认为企业暂时不需要。这与前面提到的数据量和管理方式有关。经过几年不断和客户的沟通，