Z-LOG日志管理系统-卓智网络科技有限公司.PDFVIP

卓智网络科技有限公司 Z-LOG 日志管理系统 文档版本v1.0 卓智文档，未经许可不得传播 卓智网络科技有限公司 产品概述 Product Summary Z-LOG 是卓智自主开发的数据分析系统，该产品不但可以接收网关、流控设备同步的 NAT 日志和用户访问互联网络的URL ，还可以接收运营管理系统同步的用户账号信息、用 户访问网络资源时的上下线明细、用户认证时的错误信息，网路管理系统同步的设备 SYSLOG 等。软件平台通过HBase 的方式进行数据存储，引入elasticSearch 作为二级索引， 提升数据查询的效率。 Z-LOG 通过将用户账号信息与采集数据进行关联，实现实名数据记录，完全满足公安 部82 号令《互联网安全保护技术措施规定》信息留存及监督的要求，以及无线新网《公共 场所无线上网安全管理系统》相关规定的管理要求。数据的分析采集为管理者的管理提供数 据方面的支撑； 文档版本v1.0 卓智文档，未经许可不得传播 卓智网络科技有限公司 产品特性 Product Features ① 相关数据集中管理  接收出口设备日志  接收出口设备的NAT 日志、用户访问互联的URL 信息，出口设备流量信息等；  标准日志数据接收接口，支持大部分常见网关设备；  接收运营管理系统数据  运营管理系统保存大量用户账号信息、用户访问网络资源的上下线信息、用户接入 网络时认证信息；  通过系统联动实现运营管理系统数据异地保存；  接收网络管理系统数据  监控平台主要用于网络实时监控，在监控过程中会收集大量的设备日志信息；  通过系统联动实现网络状态数据异地存储、分析，为周期性网络健康分析提供支撑； ② 网络海量数据存储  数据存储  Z-LOG 使用主流框架hadoop-hbase 作为数据仓库，存储性能较高，单节点测试性 能20000 条/秒；HBase 不同于一般的关系数据库，它是一个适合于非结构化数据 文档版本v1.0 卓智文档，未经许可不得传播 卓智网络科技有限公司 存储的数据库。另一个不同的是 HBase 基于列的而不是基于行的模式；HBase 是 一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase 技术可在 Server 上搭建起大规模结构化存储集群。  数据检索  引入elasticSearch 作为二级索引，大幅提高查询效率，单节点测试性能2000 条/秒， 满足实时分页查询需求。 ③ 基础数据模型化分析  用户画像  通过收集的NAT 日志\URL 信息反向解析，分析出学生喜欢访问网站的类型；  通过爬虫技术收集用户经常浏览的数据内容，并分类整理； 文档版本v1.0 卓智文档，未经许可不得传播 卓智网络科技有限公司  用户体验  通过Z-OS 系统同步的用户上网明细，分析用户上网轨迹；  分析校园网热点区域的位置、上网高峰时间、网络中接入主要终端类型等  网络健康度  通过 Z-NMS 系统同步的网络设备实