一种共享IP流记录分布式平台①.PDFVIP

计 算 机 系 统 应 用 2011 年 第 20 卷 第 6 期 一种共享 IP 流记录分布式平台① 张国良，丁岳伟 (上海理工大学 光电信息与计算机工程学院，上海 200090) 摘 要：开发了一种基于多个机构之间流量记录共享的分布式平台，平台内的机构在其允许范围内把采集的流 记录存储到单独的主机中，然后提供给他人访问服务器的网关。由于保密问题，此平台使用一个预保留、加密 和匿名算法，以便流量轨迹数据交换遵从不同规范。 关键词：分布式平台；流记录；保密问题；匿名算法；流量轨迹 Distributed Platform for Sharing IP Flow Records ZHANG Guo-Liang, DING Yue-Wei (University of Shanghai for Science and Technology, Shanghai 200090, China) Abstract: This paper develops a Distributed Platform for Sharing IP Flows (DipSIF) based on NetFlow records between multiple institutions. It is assumed that NetFlow traces collected by each participant are archived on separate storage hosts within their premises and then made available to others using a server that acts as a gateway to the storage. Due to secrecy issues the platform presented here uses a prefix-preserving, cryptography-based, and consistent anonymization algorithm in order to comply to different regulations determining the exchange of traffic traces data. Keywords: distributed platform; NetFlow records; secrecy issues; anonymization algorithm; traffic traces 1 引言 SIF) 。 DipSIF 对从不同机构所采集的流记录实现共 IP 流量记录广泛应用于不同领域。一方面，轨迹 享，以便使研究人员在不同地方使用。为了实现流量 用来观察流量特性以便改进流量分析工具；另一方面， 轨迹数据共享，平台提供了定义好的接口，允许研究 基于实时流量轨迹评估新的入侵或异常探测算法。设 人员能够以访问存储在本地的 NetFlow 记录的方式远 计 IP 流量的新演算法时，一个重要缺陷是这种算法因 程访问存储在网络主机中的流记录。同时，为了履行 缺少大量的实时流量轨迹不能被精确地评估。以常的 保护数据的保密性和安全性、并遵守网络法规的协议， 流量轨迹只是本地使用（例如流量数据来自实验室网 该平台使用了预保留、基础加密、一致性匿名算法。 络或者校园网），很少为他人使用，因此研究人员远程 该平台已实现，并且进行了相关测试。 访问流量轨迹所面临的是技术和法律问题。技术问题， 一方面，缺少访问不同存储器的统一方法；另一方面， 2 流量采集与记录匿名 在访问流量轨迹之前，缺少对流量轨迹的预处理，往 设计 DipSIF 最重要的两个方面是：（一）采集和 往会出现用于分析的流量轨迹只是所下载流量轨迹数 存储流量轨迹，（二）匿名分享。 据的很小一部分的现象，造成数据资源的浪费。在法 2.1 流记录的采集和储存 律问题上，主要涉及到流量轨迹数据的保密和安全。