产品数据分析建模方案.docVIP

产品数据分析建模方案 一、 概述 建设背景 对于企业在人才管理上的问题：不能有效的发现自己的人才储备 落后于行业的发展，在职员工可能存在上面异常的方面，更好的规划 薪酬范围，让员工在个人岗位上获得满足感。依据能力制定合理的薪 酬范围。依据行业画像，个人能力画像，提供分层数据，做决策展示。 项目经理对人才的选拔。 建设目标 通过建立大数据体系下的数据挖掘平台，分析业务数据，为我们 的客户提供更好的决策，并开发可视化模块，将结果展示给我们的客 户，并且确定经营方向，做好推广工作。 二、 需求分析 数据来源 主要的数据来源之一是现有的数据库数据，接通到大数据平台进 行分析，还有一部分外部数据，使用爬虫爬的数据，实时更新每日的 趋势展示，另外一部分从业者的信息，能否通过购买其它合作企业的 信息，满足分析需求。 数据提取整体思路，算法需求设计 行业信息展示的数据提取，主要是为了展示某职位在行业的各个 特征维度下的占比，比方说以地域来划分行业对当前职业的需求饼图。某职位在每个行业的每日需求趋势。每个行业对某主要需求的职 位的技能词云统计。洞悉趋势 薪酬预测的数据，需要职位的分类信息，以及每个分类下的每日 整体数据，包括最大值，最小值，平均值。以预测这一部分数据为指 导，通过数据分析是手段，找到相关的特征信息，比方说，每日上线 的从业者，每日简历的更新次数，发布新需求的企业个数等等作为特 征，由数据挖掘工程师进行抽取。人才倾斜，造成竞争力处于行业底 层 客户画像展示将从业者对当前行业投递的简历信息聚合，进行多 维度的展示，并对聚集的数据，进行算法分层，提供一个标签输入栏， 输入标签数据，获得从业者在分层系统。客户当前的行业画像展示, 由人才构成图，工资趋势，行业的趋势，每年发布招聘的行业个数的 变化，新公司名称的个数。行业招的岗位分布情况。 三、建设方案 数据挖掘算法系统框架图参考 ( SVM ) ( LR ) r KAteorw 66DT ) ( UA ) ( MF Optimizer I Metric I ObjectiveMcxfel Martix Vector Optimizer I Metric I Objective Mcxfel Martix Vector Feature p$Func Jnnc Updater MLRurvier MLLeamer TrwnTask AngelPSCIient PSModdPool PSVector API Spark 七 ient — Core PSAgent - 亠 、 Worker 1 Cftchc Indcxrr Controller Worker Group Tttk Client 1 Network Storage RFC z RDMA Memory / Dik PSServer 产品的可视化原型展示大数据算法模型平台架构数据采集实时数据处理 数据存储离线数据处理JAVA, SCALA, PYTHON, R 产品的可视化原型展示 大数据算法模型平台架构 数据采集 实时数据处理 数据存储 离线数据处理 JAVA, SCALA, PYTHON, R 集群服务节点规划 机器1 机器2 机器3 机器4 机器5 机器6 机器7 HDFS NameNode NameNode DataNode DataNode DataNode DataNode YARN Resource Resource Node Node Node Node ZOOKEPER Zookeeper Zookeeper Zookeeper Zookeeper Zookeeper Zookeeper KAFKA Kafka Kafka Kafka Hbase Master Master Master Region Region Region flume F1 ume Flume F1 ume Flume hive Hive mysq 1 Mysql spark Spark mongodb mongodb 爬虫 Python 另外提供爬虫提取互联网数据方案。 四、算法实现举例 回归模型算法设计案例 薪酬回归预测算法构建案例（算法方案来自于携程赛十四个月出 行产品预测，我们所在的队伍荣获大赛一等奖第一名） 回归预测的数据场景非常的相似，整体的数据架构和算法评分， 都可以进行移植。 赛题介绍 如何使用现有的历史数据与商店信息，预测出行产品未来14个月每月的销 量，从而指导产品的库存管理和定价策略，这对于收益管理和客户价值的提升 有着重要作用。 特征工程 F面我将用图表的形式，向大家展示一下我们数据分析的整个过程。 首先,筛选一批从14年一月起就有历史数据的商家,以此为基础,分析每个 月份占全年的比重,为剔岀整体增长趋势的影响，我们