信息采集网络支撑系统设计与实现.docVIP

信息采集网络支撑系统设计与实现 潘竹虹1 许卓斌2 1（厦门大学信息与网络中心 厦门 361005） 2（厦门大学信息与网络中心 厦门 361005） 摘 要：基于网络数据帧转发原理，提出了一种端口镜像设计方法，并实际部署了一个独立于生产网络的、可精确筛选的、多输出的网络流量镜像系统, 为厦门大学多套网络信息采集分析系统提供网络支撑。 关键字：网络安全；信息采集；端口镜像 分类号：TP393 Design and Implementation of Network Supporting System For Information Acquisition Pan ZhuHong1 Xu ZhuoBin2 1（Information and Network Center, Xiamen University, Xiamen, 361005, China） 2（Information and Network Center, Xiamen University, Xiamen, 361005, China） Abstract： Based on the principles of network data frame forwarding, a design technique of port mirroring was proposed，and an accurate filtering multiple-output network traffic mirrored system which is independent of production network was deployed to provide network support for the Xiamen University network information acquisition and analysis system. Keywords： Network security; Information Acquisition; port mirroring 引言 随着 信息技术的不断发展，校园网内网络信息采集的需求大量增加。流量监控、入侵检测、上网行为日志审计、舆情监控等信息安全管理，图书馆数据库热度分析、数字资源偏好分析等用户行为分析系统，以及CDN、Cache等网络加速系统等，都需要对相应的网络数据进行网络信息采集。 大部分网络信息采集系统仅关心网络数据流中的部分信息，但当前的常见网络数据输出技术往往将包含相关信息的全部数据报文传输至信息采集系统，存在着以下两方面的矛盾：一、信息采集系统能够采集到校园网全部网络数据报文，对校园网管理而言存在严重的数据隐私泄露等合法性及安全性问题，违背了网络安全管理规范，这也是信息采集系统特别是第三方系统部署时遇到的最大的问题；二、校园网主干网络的流量动辄达到万兆，基于通用处理器以软件方法实现包头解析的信息采集系统通常无法处理该级别的流量，信息采集所产生的信息数据量巨大，其中仅基础的网页访问日志即可达传统本地化资源分析架构难以承载的TB数量级，成为基于传统架构的信息采集与分析系统的部署难题。 而另一方面，当前国内外园区网高端交换机受限于设备软硬件能力，往往仅支持少量用于支撑信息采集系统的网络数据输出链路。即使在网络设备的支持数量范围内，过多的数据输出也存在着影响生产网络健壮性和稳定性的可能。如厦门大学校园核心网络当前部署的多种网络数据输出技术最大可支持8路链路，目前已使用7路，无法满足未来的爆发式的信息采集需求。 为解决以上矛盾，本文致力于研究设计一种独立于生产网络的、可精确控制的、多输出的数据输出系统作为信息采集的网络支撑，该系统从校园网核心网络设备获取一份网络数据，再由该系统将网络数据进行过滤或分流后多路输出至相应安全级别的信息采集系统，以实现对输出数据的安全控制以及对多套信息采集系统的支持。 技术背景 2002年7月18日IEEE通过了802.3ae万兆以太网标准后，万兆以太网凭借其高达10Gbps的带宽以及种种技术优势，逐渐在局域网乃至城域网中普及应用。高校校园网是万兆以太网的重要应用场合，利用10GE的高速链路构建校园网的骨干链路以及各个分校区和本部之间的连接，实现端到端的以太网访问，提高网络传输的效率，可以有效地保证远程多媒体教学、数字图书馆等业务的开展。 这同时也给网络测量及信息采集分析系统带来了极大压力。网络数据采集可分为基于专用硬件的网络数据采集和基于通用处理器平台的网络数据采集，基于专用硬件的采集方法在高速链路的环境下有巨大的性能优势，但是昂贵的成本让大多数系统仍选用基于通用处理器以软件方法实现包头解析，受限于操作系统和硬件性能，目前处理速度仅能达到1Gbps（1488Kpps）[1]，