SJ_T 11615.1-2016网络数据采集分析软件规范 第1部分：框架.pdf

ICS 35.020L 79SJ备案号：中华人民共和国电子行业标准SJ/T 11615.1—2016网络数据采集分析软件规范第1部分：框架Specification for network data collection and analysis softwarePart 1: Frame work2016-01-15发布2016-06-01实施发布中华人民共和国工业和信息化部 SJ/T11615.1—2016前言SJ/T11615《网络数据采集分析软件规范》系列标准分为4个部分：第1部分：框架；-第2部分：数据格式描述；第3部分：信息识别；第4部分：服务要求，NDH本部分为SJ/T11615的第1部分DRA胞细和编写》给出的规则起章。本部分按照GB/T11-2009《标准化工作导则第1部分请注意本文件的某些可能涉及专利。本文件的发布机构不遵识别这些专利的责任。TION本部分由工业和信化部软件服务业司提出。本部分由全国信息技术标准化委员会归口本部分起草单位中国电技术标准花研件技术开究院、上海计算租干发中心上海市互联网信息力正电子有限同、厦门办公室、北息技术股份有限计算机与信息工程学院、上海改网络科技有术学院、9司、信阳师范学院计算机与信息技大学密西根学院。本部分主要起草人：杨瑜、史睿、卢海美胡芸、刘扶东家良奇、崔建峰、肖2HNOLOGY黄式李冕蕾、杨建武东INLSSD SJ/T11615.1—2016网络数据采集分析软件规范第1部分：框架1范围SJ/T11615.1一2016的本部分规定了网络数据采集和分析的基本流程、软件框架和-般要求。本部分中的网络数据是指互联网中用户行为数据。本部分适用于互联网数据采集分析软件的开发商、信息化建设单位、最终用户、第三方监理或者质量保障单位、评测单位等，用以指导在软件的设计、开发、运行和维护等各个阶段的维教据不鲜力ORMATIONA相关工作。DUSTRY2规范性引用文售天本文凡是注日期的用文件，仅注凸期的版本适用于本文件。下列文件耐件的店用是的的用文件，凡是不注日期真最新版本（包据于本文件斤有的修改单）TECHNOLOGY信息GB1300201通用多八位编码字符集（UCS网络类SJ/T集分析软件规范第3部分：信识别R网络数SJ/T糖来集分精软作第4部分：服务要求IY3术语和定必L下列术语和是义适用于A3.1V结构化数据struetured data般可存储到关系型数据库中。可用关系型数据库的二维表结构来逻辑表达实现的数据，RD3. 2半结构化数据semi-structured data具有一定的结构性，但其结构变化很大，无法建立二维表进行对应。3. 3非结构化数据non-structureddata不能用数据库二维逻辑表来表现的数据。注：包括文本、图片、图像和音频/视频信息等。3.4用户行为user behavior用户在互联网中所进行的发布、获取、使用、评价物品或服务的各种行动。1 SJ/T11615.1—20164缩略语下列缩略语适用于本文件。API——application programminginterface，应用程序编程接口。5网络数据采集和分析流程网络数据概述5.1网络数据可以分为结构化数据、半结构化数据和非结构化数据，其具备以下特点：a)结构化数据1)信息易抽取；2)规模小；3)缺乏个性化的属性信息；b)半结构化数据1)信息较易抽取；2)规模较大；3)具有个性化的属性信息；4)形式多样；5）含有噪声；非结构化数据c)1)信息不易抽取；2)复杂多样；3)规模大。5. 2采集流程网络数据采集是对用户行为数据进行采集、接收以及存储，包括文本、图片、视频和音频等，并将静态信息和动态信息保存到媒体上。互联网相关数据源作为输入，经过数据数据采集、数据传输和数据存储最终存放至采集库中，如图1所示。互联网数据+数据采集+数据传输文结构化数据数据存储N半结构化数据采集库非结构化数据图1网络数据采集流程2 SJ/T11615.1—20165.3分析流程网络数据分析应基于保存于媒体上的数据按一定规则和算法建立的模型，并在真实数据之上进行信息识别，同时应利用分析的结果提供各种数据服务。网络数据分析依据采集得到的数据，将其分为结构化数据、半结构化数据及非结构化数据。其中半结构化数据和非结构化数据经过信息抽取处理之后，与结构化数据一并进行数据整合，存放入知识库中，作为进一步加工处理的数据储备。最终根据用户服务的不同需求，将知识库的数据通过推理、推荐和统计等方法进行数据加工，并将结果展示给用户。图2给出了网络数据分析流程。服务↑信息加工推理推荐统计知识库结构化数据数据整合半结构化数据信息抽取非结构化数据图2网络数据分析流程6网络数据采集与分析软件框架6.1概述网络数据采集与分析软件包含采集和分析两个主要