Q_0898HNYGZG003-2018找工联盟会员访问行为分析系统.pdf

找工联盟会员访问行为分析系统 前言 本标准依旧 《计算机软件开发规范GB566-88》要求起草。 本标准由海南阳光智国网络科技有限公司提出。 本标准起草人：刘洁 本标准为首次发布。 1、范围 本标准规定了找工联盟会员访问行为分析系统的功能要求、自身 安全功能、技术指标。 本标准适用于 “找工联盟”APP找工联盟会员访问行为分析系统 的设计、开发及检测。 2、规范行引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文 件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最 新版本 （包括所有修改章）适用于本文件。 GB/T5271.8-2001信息系统； GB 17859-1999计算机信息系统 安全保护等级划分准则； GB/T 18336.3-2008 信息技术 安全技术 信息技术安全评估准 则。 3、系统的分析与设计 3.1 系统分析 找工联盟会员访问行为分析系统，将实现一种互联网用户行为分 析系统，用于实时获取互联网网络用户的上网数据，并对这些数据进 行分析，同时通过图形化界面显示用户行为分析的结果。 3.2 系统设计 3.2.1 数据采集 所谓数据采集就是获取用户访问网络的流量数据,数据采集技术 主要可分为三类：基于SNMP、基于Net Flow 以及基于流量全镜像， 下面对这三种技术做一下介绍。 基于SNMP：该技术主要是通过读取交换机等网络设备中SNMP代 理(Agent)提供的管理信息库中（MIB）特定对象表示符(OID)的信息， 来得到相应的流量数据。该技术的优点是使用简单，效率较高，设备 的支持范围比较广，但是由于它的流量数据是根据链路层的地址进行 聚合的，所以无法得到网络层以上的信息，如IP地址和端口号等。 基于Net Flow：Net Flow是思科(Cisco)公司倡导的一项网络数 据流统计技术，该技术通过分析在网络中传输的数据包的相关属性， 可以快速区分网络中传送的各种不同类型业务的数据流(Flow)。对区 分出的每个数据流,Net flow可以进行单独地统计相关的信息，并可 将统计完成后的信息按照一定的格式发送到指定的接收设备。由于整 个分析处理主要是由硬件来完成，所以效率较高，而且还可以获取网 络层的信息，但是需要路由器硬件支持Net Flow技术。目前最新的 版本是Net flow V9，主要的实际应用版本则是Net flow V5。 基于流量全镜像：流量全镜象简单来说就是把交换机等网络设备 的所有端口（源端口）的流量完全拷贝一份，复制到另外一个端口（目 的端口），这个端口就叫做镜像端口。使用这种方法来采集流量数据 的方式是通过一个采集探针接在镜像端口上，来捕获网络中传输的数 据包，并进行相应的处理分析。使用该技术的优点是它可以提供丰富 的信息，但是它对采集探针所在的服务器的要求比较高。 3.2.2 数据分析 数据分析实际上是一个从海量数据获得有价值的信息的数据挖 掘过程，通过对采集到的流量数据的过滤、预处理、综合分析处理等 程序，从中获取有价值的分析结果，并以准确直观的方式表示出来。 目前来说，Top N分析是网络用户行为分析的一种最常用的方法。因 为对某类用户行为进行分析时，Top N用户最大程度代表并影响了该 类用户的特性，而且对TopN用户采取相应的策略措施也是最有效的 方式。因此结合实际需要，本系统通过对应用，会话，来源，目的等 进行Top N 分析来达到对用户行为进行分析的目的。 3.3 系统框架及模块划分 基于上述的设计思想，整个网络用户行为分析系统采用C/S的三 层架构，即数据采集层，数据处理层和数据显示层。系统的框架如下 图所示： 3.3.1 数据采集层 该层的主要功能是采集网络中的流量数据，并送到数据处理层进 行相应处理。它包括基于流量全镜像技术的采集探针，也包括支持 Net Flow技术的交换机等网络设备。 基于流量全镜像技术的采集探针和交换机等网络设备的镜像端 口相连接，通过这种方式来获取该流经该设备的全部流量数据并进行 相应的处理，然后发送到接收模块。采集探针的部署方式如下图3-1 所示： 采集探针部署的服务器上有两块网卡，网卡A和核心交换机的镜 像端口相连，接受镜像端口发送过来的镜像流量。网卡B和核心交换 机的内网端口相连，并分配内