一种基于DNS大数据分析实现宽带共享监控系统架构的设计.docVIP

一种基于DNS大数据分析实现宽带共享监控系统架构的设计 　　摘 要 一种基于DNS大数据分析实现宽带共享监控系统，由数据层、支撑层以及应用层构成。基于DNS大数据分析实现宽带共享监控系统建设，建立起对用户行为进行全范围、全过程的大数据分析系统。通过从DNS服务器采集海量的用户信息，使用大数据分析模式，定位用户行为信息、定位核心价值数据，放于业务场景之下统一分析，提高传统系统提升数据价值的回报率。 　　关键词 DNS大数据分析；宽带共享监控；云计算 　　中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2017）196-0047-02 　　1 背景技术 　　随着宽带战略的推进，宽带业务得到不断的发展，当用户数达到一定规模，就会产生海量的数据，同时伴随着对用户行为管理能力的要求越来越高。因此深刻挖掘数据本身的价值越来越被人们当作提高服务质量、增加业务收入的主要方式。面对现在日益激烈的市场竞争，解决精确定位和快速响应用户需求、解决用户障碍、有效管理部分利用管理漏洞进行私接和包月账号违约共享的用户等问题是摆在运营管理机构面前的难 　　题。因此有必要建立一套基于云平台，能够对海量数据处理?M行分析与管理的系统，对宽带用户进行有效管理和监控。 　　2 系统架构 　　有鉴于此，本系统的目的是提供基于DNS大数据分析实现宽带共享监控系统。实现对宽带用户进行有效管理。本系统的基于DNS大数据分析实现宽带共享系统，包括以下 　　方面。 　　数据采集，通过探针采集的方式，从DNS服务节点上采集DNS日志、RADIUS日志等 　　数据。 　　数据储存，通过数据的清理、新旧数据对比更新、增量数据保存、垃圾数据清理、备份步骤将采集的数据按照统一格式保存在分布式文件系统内。 　　索引分析框架，依据已经建立好的索引进行数据处理，以便最大化的减少数据处理的时间。 　　大数据中心云平台，提供的任务调度、云资源调度、数据流管理、元数据管理、工作流管理、计算资源管理 　　服务。 　　自学习云计算框架，将任务语言翻译成机器语言并分发到分布式计算环境中；自学习云计算框架包括机器学习、语意翻译、计算任务在所述扩展接口中，提供多种协议的开放接口，最大限度地提升与第三方系统的联动能力。 　　应用层，接入DNS大数据分析平台，用于提供不同的应用公子模块，包括BI智能分析、特征识别分析、用户行为分析、流量分析、权限管理、云资源管理的模块，实现数据的分析管理，获得用户行为管理的有效数据，进行用户管理。 　　3 具体实施方式 　　本系统基于DNS大数据分析实现宽带共享监控系统，包括以下方面。 　　1）数据采集：数据采集过程是通过探针采集的方式，从各地市的DNS服务器上采集各类应用程序生成的各类DNS请求数据、Radius日志信息。这些信息包含用户的行为信息、流量信息与设备信息等。 　　2）数据储存：将采集到的信息数据通过数据处理，按照统一格式保存在分布式文件系统内。在数据保存前，需要进行重复数据清理、新旧数据对比更新、增量数据保存、垃圾数据清理、备份策略制定等不走，保证大日志数据分布式文件系统中保存的数据是最新的、准确的解析结果。 　　3）索引分析框架：对海量数据快速查询索引，当需要从数据中进行快速统计或检索时，依据已经建立好的索引进行数据处理，以便获得最大化的减少数据处理时间[5]。为了得到用户违规行为信息，需针对性的对能反应违规信息的日志信息进行处理。 　　4）自学习云计算框架：将系统预置的定期分析任务或用户界面下发的分析要求，根据分析原语翻译为机器语言及代码，并将执行代码下发到分布式计算环境中。系统预置的用户行为管控任务，通过自学习云计算框架，被分配到分布式计算环境中，进行 　　计算。 　　5）大数据中心云平台：从DNS端采集数据，通过分布式平台的任务调度和分析查询引擎对核心数据进行检索、分析、数据挖掘和定位等处理。对私接终端用户生成管控黑白名单，如连续多天未符合限制要求，则生成管控名单，存储于相应的数据库中。同时，系统根据DNS日志信息，精准定位用户请求地址，并实时更新用户地址的 　　变化。 　　6）应用层：接入基于DNS大数据分析实现宽带共享监控系统，用于提供供不同单位使用的数据应用子模块。当用户被列入违规用户黑名单后，将对其进行权限管理，通过DNS系统将其请求引导到代理服务节点，代理服务将向真实数据源获取请求系统，并在获取结果中插入弹窗代码，最终在用户请求响应信息中推送限制提醒或者插入干扰信息。 　　上述各组成部分中，数据采集与数据存储是基于DNS大数据分析实现宽带共享监控系统的数据层，通过各地市DNS服务器将日志信息采用压缩传输的方式上传到集中几点，进行存储。同时为了保证数据存储的质量，在存储前，