烽火科技的大数据之路-南京大学PASA大数据试验室.PDF

烽火科技的大数据之路 烽火通信科技股份有限公司 安全产品线大数据首席专家：王胤然 写在最前面的话 简介公烽火的基本情况和从事的行业信息 公司简介 烽火科技集团（FiberHome Technologies Group ）是中国优秀的信息通信领 域产品、解决方案与综合服务提供商，“中国光谷”的核心企业，直属国务院 国有资产监督管理委员会管理。1974年正式成立，经过三十年的发展，集团目 前已形成覆盖光纤通信技术、数据通信技术与无线通信技术三大产业的发展格 局，旗下拥有多家子公司。烽火科技集团的前身—— 武汉邮电科学研究院 （WRI ）是中国光通信的发源地，也是国内唯一集光通信三大领域：通信系统、 光纤光缆、光电器件的研究、开发、生产和销售于一体的科研与产业实体。是 中国电子信息百强和软件百强企业。经国家批准为：“国家光纤通信技术工程 研究中心”、“国家光电子工艺中心”、“国家高新技术研究发展计划成果产 业化基地”、“亚太电信联盟培训中心”，06年被国家确定为103家创新型试 点企业 然而我们不止卖光纤 南京烽火是国内拥有完全网络信息安 全资质的三家企业之一，凭借其电信 级别的数据采集信息提取能力和海量 PB级别大数据分析处理能力坐拥行业 信息安全领域70%以上的市场份额。 理论基础 从数据的发展规模以及面对的实际处理需求出发建立行业大数据处理方法论 老生常谈的大数据飞速发展 数据增量大 988 1580 2529 6043 信息充斥着我们的生活，信息改变着我们的生活，社会 的每个个体无时无刻产生着各式各样的数据，信息量巨 大。随着信息化程度越来越高，数据增量越来越大。 数据增量变化快 数据本身体积大，产生速度快，随着硬件产品、网络技 术的不断更新和发展，数据可被利用和存储的量越来越 2011 2012 2013 2014 大，导致数据增量越来越大 老生常谈的大数据飞速发展 价值密度低（V a l ue ） 数据量大（V ol um e ） 在成本可接受的条件下，通过快速采集、 存储的数据量巨大，PB级别是常态，因而 发现和分析，从大量、多种类别的数据中 对其分析的计算量也大。 提取价值的体系架构。 快速（V el oci t y ） 4V 数据增长速度快，而且越新的数据 价值越大，这就要求对数据的处理 1C 多样（V a ri et y ） 速度也要快，以便能够从数据中及 数据的来源及格式多样，数据格式除了传 时地提取知识，发现价值。 统的结构化数据外，还包括半结构化或非 结构