产品数据分析建模方案.docxVIP

产品数据分析建模方案 概述 建设背景 对于企业在人才管理上的问题：不能有效的发现自己的人才储备落后于行业的发展，在职员工可能存在上面异常的方面，更好的规划薪酬范围，让员工在个人岗位上获得满足感。依据能力制定合理的薪酬范围。依据行业画像，个人能力画像，提供分层数据，做决策展示。项目经理对人才的选拔。 建设目标 通过建立大数据体系下的数据挖掘平台，分析业务数据，为我们的客户提供更好的决策，并开发可视化模块，将结果展示给我们的客户，并且确定经营方向，做好推广工作。 需求分析 数据来源 主要的数据来源之一是现有的数据库数据，接通到大数据平台进行分析，还有一部分外部数据，使用爬虫爬的数据，实时更新每日的趋势展示，另外一部分从业者的信息，能否通过购买其它合作企业的信息，满足分析需求。 数据提取整体思路，算法需求设计 行业信息展示的数据提取，主要是为了展示某职位在行业的各个特征维度下的占比，比方说 以地域来划分行业对当前职业的需求饼图。某职位在每个行业的每日需求趋势。每个行业对某主要需求的职位的技能词云统计。洞悉趋势 薪酬预测的数据，需要职位的分类信息，以及每个分类下的每日整体数据，包括最大值，最小值，平均值。以预测这一部分数据为指导，通过数据分析是手段，找到相关的特征信息，比方说，每日上线的从业者，每日简历的更新次数，发布新需求的企业个数等等作为特征，由数据挖掘工程师进行抽取。人才倾斜，造成竞争力处于行业底层 客户画像展示将从业者对当前行业投递的简历信息聚合，进行多维度的展示，并对聚集的数据，进行算法分层，提供一个标签输入栏，输入标签数据，获得从业者在分层系统。客户当前的行业画像展示，由人才构成图，工资趋势，行业的趋势，每年发布招聘的行业个数的变化，新公司名称的个数。行业招的岗位分布情况。 建设方案 数据挖掘算法系统框架图参考 产品的可视化原型展示 大数据算法模型平台架构 集群服务节点规划 机器1 机器2 机器3 机器4 机器5 机器6 机器7 HDFS NameNode NameNode DataNode DataNode DataNode DataNode YARN Resource Resource Node Node Node Node ZOOKEPER Zookeeper Zookeeper Zookeeper Zookeeper Zookeeper Zookeeper KAFKA Kafka Kafka Kafka Hbase Master Master Master Region Region Region flume Flume Flume Flume Flume hive Hive mysql Mysql spark Spark mongodb mongodb 爬虫 Python 另外提供爬虫提取互联网数据方案。 算法实现举例 回归模型算法设计案例 薪酬回归预测算法构建案例（算法方案来自于携程赛十四个月出行产品预测，我们所在的队伍荣获大赛一等奖第一名） 回归预测的数据场景非常的相似，整体的数据架构和算法评分，都可以进行移植。 赛题介绍 如何使用现有的历史数据与商店信息，预测出行产品未来14个月每月的销量，从而指导产品的库存管理和定价策略，这对于收益管理和客户价值的提升有着重要作用。 特征工程 下面我将用图表的形式，向大家展示一下我们数据分析的整个过程。 首先，筛选一批从14年一月起就有历史数据的商家，以此为基础，分析每个月份占全年的比重，为剔出整体增长趋势的影响，我们采用了以下的方法。 可以看出总体每个月趋势变化如下图所示： 通过对地区进行分析，发现district_id1 中10201地区的商家占了97.5%，且district_id1、district_id2、district_id3、district_id4 依次属于从属关系，所以做出以下推断：district_id1是国家代码，district_id2是省级代码，district_id3是市级代码，district_id4是县级代码。? 并且为了更加细致分析商家历史趋势变换趋势，同时又不过多的加入噪声，我们对市级区域内的商家做了聚类分析。对于同一个市内商家个数多于16个的，归为一类，对于同一个市内商家个数少于16个的，按省份进行归类，对于国外的商家按同一地区进行归类，对于都不属于以上几种情况的商家，按照坐标地址归属到最邻近的地区。对每个商家进行区域分类之后，利用分析总体每月趋势变化的方法，对每个区域内进行单独的分析，提取出每个区域的历史变化趋势。 解决框架 下面就是第二个核心部分——模型。 如何学习好关于月份的变化趋势是本题的一个重点难点，为了更好的学习每个月份的趋势，我们设计一个分12个月去单独预测每个月份这样的一个模型。 我们的模型能够保证足够