《大数据架构与设计》课程报告讲解-基于招聘网站的离线统计及实时分析系统.pptxVIP

基于招聘网站的离线统计及实时分析系统

目录目录项目架构项目算法和实现项目成果展示

目录目录项目架构

目录1.1分布式环境部署

目录1.2项目架构

目录目录2.项目算法和实现

目录2.1离线推荐部分算法和实现离线统计服务从MongoDB中加载数据，将【岗位缺口个数统计】、【岗位薪资平均统计】两个统计算法进行运行实现，并将计算结果回写到MongoDB中；离线推荐服务从MongoDB中加载数据，通过ALS算法分别将【用户推荐结果矩阵】回写到MongoDB中。

目录2.2实时推荐部分算法和实现Flume从综合【业务服务】的运行日志中读取日志更新，并将更新的日志实时推送到Kafka中；Kafka在收到这些日志之后，通过kafkaStream程序对获取的日志信息进行过滤处理，获取用户关注数据流【UID|MID|SCORE|TIMESTAMP】，并发送到另外一个Kafka队列；SparkStreaming监听Kafka队列，实时获取Kafka过滤出来的用户评分数据流，融合存储在Redis中的用户最近期望岗位队列数据，提交给实时推荐算法，完成对用户新的推荐结果计算；计算完成之后，将新的推荐结构和MongDB数据库中的推荐结果进行合并。

目录2.3算法结果可视化

目录目录3.项目成果展示可视化大屏：81.68.252.38:1999业务系统：162.14.65.239:5000

目录3.1全国城市岗位分布地图

目录3.2热门城市中薪资和经验分布热力图

目录3.3学历、工作经验、雇主公司类型分布

目录3.4岗位提供城市岗位数统计

目录3.5各技术栈薪资差异统计

谢谢大家!