公安网网络流量大数据分析知识讲义.docx

公安网网络流量大数据分析 和管控项目需求书 目录 1 项目概述 4 1.1 项目背景 4 1.2 解决思路 4 1.3 项目目标 5 1.4 建设原则 7 1.4.1 参考标准 7 1.4.2 可靠性及可用性 7 1.4.3 安全性 8 1.4.4 成熟性 8 1.4.5 先进性 8 1.4.6 可扩展性 8 2 架构描述 8 2.1 整体架构 8 2.2 功能架构 9 2.2.1 应用层 11 2.2.2 接口层 11 2.2.3 分析服务层 11 2.2.4 数据资源层 11 2.2.5 基础设施层 12 2.2.6 数据可视化 12 2.2.7 数据交换 12 2.2.8 流量采集 13 2.2.9 运维管理 13 2.2.10 安全管理 13 3 平台建设需求 13 3.1 业务门户功能需求 14 3.1.1 业务功能需求 14 3.1.2 门户管理功能需求 14 3.2 业务功能需求 16 3.2.1 应用识别 16 3.2.2 流量展示及异常流量识别 17 3.2.3 流量智能调度 19 3.2.4 用户画像 21 3.2.5 应用关联关系 27 3.2.6 应用画像 29 3.2.7 精准推送 33 3.2.8 行为识别 35 3.3 数据可视化需求 37 3.4 大数据处理分析组件建设需求 38 3.4.1 数据服务模块建设要求 39 3.4.2 大数据分析算法库建设要求 39 3.4.3 分布式存储建设要求 46 3.4.4 分布式并行处理建设要求 46 3.4.5 实时内存分析处理建设要求 46 3.4.6 实时分析结果查询建设要求 46 3.5 ETL工具建设需求 46 3.6 实时流量数据收集建设需求 47 3.7 基础设施建设需求 47 3.8 数据交换组件需求 47 3.9 安全管理需求 47 3.10 运维管理需求 49 4 数据采集建设需求 49 4.1 采集器部署要求★ 49 4.2 采集器数据采集方案 50 4.3 流量控制调度能力要求 50 4.4 采集器性能及可靠性 51 ? 1 项目概述 1.1 项目背景 目前内网运行管理中面临以下三方面挑战： 1. 流量分布不均 流量分布不均体现在，忙闲时流量差距较大、区域性流量差距较大和流入流出差距较大。造成此类问题的主要原因不是链路资源不足，而是数据资源分布不均。因此，现有扩容链路是解决拥塞问题的办法之一，优点是效果明显，升级链路后拥塞能够得到有效缓解，但是无法从根源去解决此类问题。 2. 应用服务质量保障不到位 随着应用的不断发展，部分业务系统的服务范围和可靠性要求提出了新的要求。一方面，随着应用的广泛使用，内网上系统的数量、种类和系统数据量在大幅增加。在此背景下，内网按照原有的网络设计承载能力和数据转发机制上，无法发挥现有网络传输能力和利用带宽资源，易发生网络拥塞和服务质量下降等情况。另一方面，业务系统的服务质量和服务要求已经不满足于畅通率的指标，而对网络传输质量、带宽保障和延迟等提出了新的要求。现有运维手段无法满足此类保障要求。 3. 网络管控手段有限，时效性不强 随着应用的快速发展，网络服务内容也在发生更本性变化。从最初的提供数据传输管道，到提供更好的网络传输质量保障。目前主干网在网络流量管控、调度方面，存在不足，传统的QOS需要网络全程部署，精准度低、调整范围广、工作量大，无法满足现阶段内网运营管理需求。尤其是针对突发流量导致的网络拥塞、网络设备或者链路故障导致传输能力下降、临时提出的固定时间、固定区域的网络保障要求等问题时，没有高效的流量调度和管控手段。即使发现问题，无法第一时间精准管控和调度。 1.2 解决思路 针对内网运行管理中面临的，应从三个方面进行解决，具体内容如下： ? 首先，应该做到能够准确了解内网中的流量，分析内网的各个链路的流量中，都有哪些数据和应用、每个应用的流量大小、服务时段、服务的质量如何、这个应用在为哪些系统和用户在服务，以及详细的流量信息，便于开展流量的调度和应用服务保障策略的制定。 ? 其次应该能够准确预测流量，这个预测不是简单的通过现有的今年流量数据和曲线去测算明年的流量，而是通过对应用分类，针对各个应用的流量、服务时段和服务质量，去测算每个应用的流量趋势，再通过汇总，可以精准的评估出内网每条链路每个时段的流量大小和趋势。一方面可以更为精准的预测流量，为链路扩容和网络流量调度提供更为精准的数据支持，另一方面，也可以为重点应用服务保障策略提供准确的数据支持。 ? 再次应该能够准确管控流量。管控不是关停相关服务，也不是按照传统网络策略采取的丢包式的牺牲策略。而是通过对不同应用的网络需求，制定不同的调度和管理方案。例如，对网络延迟较敏感的实时类应用，提供较高的带宽保证传输质量，对于网络速度不敏感的应用，按照时段