数据挖掘分析的要素和方法.docxVIP

数据挖掘分析的要素和方法 　　摘 要 本文通过从数据分析的价值，延伸到数据分析三要素能力应用的案例，进而探索式的分享做好数据挖掘分析工作的五步法，为有志在这行业发展的人提供一些思路参考。　　【关键词】数据分析 数据挖掘 方法论　　1 绪论　　在互联网快速发展的时代，通信、互联网、金融、制造业等这些行业每天产生海量的生产运营数据。拥有这些关于数百万潜在顾客的海量数据，结合软件工具、数据库技术、各种硬件设备的飞快发展，使得我们分析海量数据成为可能，也使得数据分析师能更好的为领导决策提供参考依据，进而节约成本，提高企业盈利能力。　　2 数据挖掘分析思维的三要素　　数据分析师不在于掌握多高深的分析方法和算法技术，而是要对分析的指标深入理解，理解数据背后的业务场景，同时，要不断的去探究为什么，不是只告诉人家What，还要告诉人家下一步的How，这才是数据分析师的价值。　　比如针对一组数据分析结果，“XX年7～9月公司的客户活跃度是12%。”要更好的抓住和解决客户活跃度的问题。需要考虑以下三大要素。　　 反馈场景现状――描述问题　　这个活跃度的数据统计口径是什么？客户活跃度是如何得到的？数值代表业务发生了什么？客户活跃度是如何定义的？这次取的数据是否具有一定的代表性？活跃的人群具有什么特点：是访问了一下就走，还是呆了比较长时间才走，主要访问了哪几个功能模块等，尽可能如实的描述数据在场景下的状态。　　 比较找到定位――比较问题　　描述了之后还要做比较，如12%算高还是低呢，要结合我们制定的活跃度目标，只有这样才能明确这个活跃率是高还是低，要有个定性的结论：它是增长了还是衰退了；而且还需跟行业内其他竞争对手相比，还需同比和环比的情况，只有这样，我们分析的数据才有立体感。　　 顺藤找到根源――分析和解决问题　　描述问题、比较问题，最终都是为了分析和解决问题。要?M一步探究原因，找到解决方案和思路。　　通过分析，对以下几个问题就可以很好的做决策辅助：　　 对客户　　最近要对已有产品设计改版，活跃的人经常访问的内容是否跟我们的客户投诉有关联？哪些设计能极大提升客户的满意度？　　 对活动　　这次活跃度的提高或降低是因为什么原因？因为做营销活动带来的提升么？如果是，我们的营销效果情况怎样？后续要如何更好的跟踪和评估效果。　　上面的转换思考例子，更多的要求数据分析师能结合一定的业务场景，并且能把业务的问题数据化，把数据的问题可视化，进而对后续的经营决策做辅助支撑。　　3 数据挖掘分析5步法　　数据挖掘分析工作都有一定的模式和方法论，重点以下5步骤如何更好的执行。　　 需求明确，理解业务　　业务理解阶段重点把握以下两点：　　 需求分析，抓住痛点　　具体可考虑以下三个方法：　　用户使用场景梳理，明确问题在哪里？怎么发生的问题；　　用户访谈、调查调研；　　利用原型法来确定或引导用户需求，评估项目中可能的问题。　　以上三个方法还需要考虑，满足用户的需求，并在痛点需求上引导用户。　　 业务目标的明确和可行性分析　　做好了需求分析就要明确业务目标，明确目标需要业务背景，明确数据挖掘分析的成功标准是什么。同时要做可行性分析，要从技术角度、业务角度、商业市场等角度，结合拥有的资源，条件和限制，评估风险，并做成本和效益估计，并对数据挖掘分析做整体的规划，初步估计用到的工具和技术。　　 数据准备，加工处理　　 数据准备，探索数据属性　　重点做好收集原始数据并对收集的数据进行简单的统计分析，了解数据的分布属性，结合数据挖掘目标和数据质量选择合适的数据，包括表的选择、记录选择和属性选择，只有这样才能科学的选择样本数据，分析场景结果。　　 数据加工处理，为分析建模做数据资源准备　　重点是做好ETL，清洗加载转换数据过程是核心和灵魂，把数据从各种原始的业务系统中读取出来，按照预先设计好的规则将抽取的数据进行转换，使本来异构的数据格式能统一起来，最后把转换完的数据按计划增量或全部导入到目标结果库中。　　 建立模型，寻找规律　　在数据准备加工好后，需要利用数据分析的方法和工具对对处理过的数据进行分析，重点是包含以下四个内容：　　选择建模技术：确定数据挖掘算法和参数，可能会利用多个算法；　　测试方案设计：设计某种测试模型的质量和有效性的机制；　　模型训练：在准备好的数据集上运行数据挖掘算法，得出一个或者多个模型。　　 模型评估，目标导向　　模型评估阶段，主要包括以下三个内容：　　结果评估：从商业角度评估得到的模型，甚至实际试用该模型测试其效果；　　过程回顾：回顾项目的所有流程，确定每一个阶段都没有失误；　　确定下一步工作：根据结果评估和过程回顾得出的结论，确定是部署该挖掘模型还是从某个阶段开始重新