基于大数据的精准推送分类信息发布平台.docxVIP

基于大数据的精准推送分类信息发布平 台 韩雪松 林霞 摘要：目前校园内信息的交换方式主要依靠 QQ 群、空间动态、朋友圈等，这些 方式在区域范围内会产生不少信息孤岛，信息分散、利用率低。分类信息发布 平台通过网站、微信服务号、微信小程序等相关服务的部署，实现了失物招 领、二手闲置信息、生活优惠信息和招聘信息的精准推送，极大地方便了用户 对信息的获取。 关键词：分类信息发布;机器人;精准推送 ：G642 ：A ：1009-3044 (2022) 14-0086-02 1 项目背景 大学区域内在学习资源交流、失物招领、生活信息交流等方面均有信息发布的 需求，这部份信息流通主要是在 QQ 群、微信群、空间动态、朋友圈等平台，这 种平台校内存在不少，就像一个个“孤岛”一样， 导致信息分散，信息利用率 低。 并且现有平臺浏览麻烦，信息重复率高。所以需要串联 “孤岛”实现信息 整合共享，并通过各项技术：机器人服务、微信小程序及大数据技术的应用， 将临沂大学区域分类信息实现价值最大化。 2 关键实现技术 2.1 大数据技术 平台将用户上传的数据或者通过机器人转发的数据等信息作为数据源导人到大 数据重要的组成部份： 计算层，在这里我们采用了Hadoop 平台。 Hadoop 平台 2.3 静态资源 OSS 存储 所包含的两大核心框架 HDFS (分布式存储)和 MapReduce (分布式计算)对于 信息发布平台来讲，这两部份较为适合本项目信息整合的需求场景。具体体现 在： Hadoop 平台适应于一次写入，多次读取的场景，也就是数据复制进去之 后，长期在这些数据上进行分析。同时 Hadoop 平台还具有一大优势为高效 性，这也是 Hadoop 平台的核心竞争优势所在。接收用户的数据请求后， Hadoop 可以在数据所在的集群节点上并发处理。这无疑提高了对于信息处理的效率。 固然它也存在一些不足，如在 Mapreduce 框架下，很难处理实时计算，作业都 以日志分析这样的线下作业为主。但对于这样的信息发布平台所需要的需求来 讲不会产生任何形象。 通过 Hadoop 平台对信息资源进行合理的分类整合后，会将信息内容整合到对应 的模块，为此我们在信息发布平台设立了切合实际需求的一些信息展示模块。 并通过机器人实时推送到有相关需求的群体之中去。 2.2 反爬虫技术 分类信息发布网站有可能会遇到黑客爬虫进行的信息抓取盗用， 市面上已有的 反爬虫技术相对来讲比较完善了， 传统反爬虫手段，像动态页面 ajax 请求，后 台对访问进行统计，如果单个 IP、session、userAgent 访问超过阈值，予以封 锁。平台在已有反爬虫的基础上在某些代码层增加 SQL 注入语句甚至 XSS 语 句，使爬取的黑客爬虫数据库被强行删库或者被我方 getshell 达到另类反爬效 果。 3 平台的设计与实现 通过 OSS 存储技术将动态资源与静态资源分离，降低了服务器压力，也同时提 高了用户的访问效率。通过对静态资源的 OSS 存储鉴权验证进一步增强了网站 的网络安全防护能力，使得木马文件即使绕过防火墙上传到 OSS 服务器中也无 法执行。 2.4 技术架构先后端分离 为保证用户数据安全，提升大数据调用性能，降低维护成本方便多平台接入管 理。平台采用先后端分离，解耦思想。先后端分离中，传输的是数据、 Model。 数据怎么展示，全部交给前端来处理，后端只负责提供数据。网页之间有各种 跳转交互， 在先后端分离中，跳转的页面控制全部是由前端来决定，跟后端完 全没有关系，这也从根源上杜绝了一些前端逻辑漏洞造成 getshell 的情况。管 理上只要做到前端后端一起鉴权， Node 层校验登录态，后端校验登录态，同时 后端校验数据归属，这几个层面就基本上能够保证系统的软件层安全， 再将后 台管理服务器与数据库分离，通过 IP 归属校验与强规则权限限制，可以保证程 序数据的安全。 2.5 机器人推送 通过 QQ 机器人功能， 联合平台大数据分析中心将用户与多个孤岛平台串联，让 用户通过与 QQ 机器人对话的形式参预平台的使用，增