SJ_T 11615.4-2016网络数据采集分析软件规范 第4部分：服务要求.pdf

ICS 35.020L 79SJ备案号：中华人民共和国电子行业标准SJ/T 11615.42016网络数据采集分析软件规范第4部分：服务要求Specification for network data collection and analysis softwarePart 4:Requirements of service2016- 01-05发布2016-06-01实施Su发布中华人民共和国工业和信息化部 SJ/T11615.4—2016前言SJ/T11615《网络数据采集分析软件规范》系列标准分为4个部分：第1部分：框架；第2部分：数据格式描述；第3部分：信息识别；第4部分：服务要求。IN本部分为SJ/T11615的第4部分ND《标准的结构和编写》给出的规则起草。本部分按照GB/T2009《标准1上作导则第1部于火本部分由工业和信息化部软件服务业司提出。本部分由全国信息技术标准化技术员会归口。草单位上海算机软件技术发中心、中国电本部分起技术标准化研究北大方正电子有限TE尔思信信息技术公司、北京拉理工学院计算信息工程海市互联网信息办鹿学公室、信阳院计算权息技术学院、上海微趣网络科限公司。T有教主要起CHNOLOGY本部分卓人：家、刻振宇、胡芸、吴晨新丽杨瑛、芯史睿、杨建武、许良奇、N肖蕾、量峰、顾程、张VSRD SJ/T11615.4—2016网络数据采集分析软件规范第4部分：服务要求1范围SJ/T2016的本部分规定了网络数据采集分析软件服务的具体要求。本部分适用于互联网数据采集和分析软件的开发商、信息化建设单位、最终用户、第三方监理或者质量保障单位、评测单位等，用以指导在网络数据采集分析软件的设计、开发、运行和维护等各个阶段的相关工作。ANDDINFORMATIONJSTRY2规范性引用文件下列文件对本文件的应用是必不可少的。凡是注日期的引用文代T日期的版本适用于本文件。住N凡是不注日期的弘用文基最新版本包活所有的修改单）活用于本SJ/T 115网络数据采集分析软件TECHINOLOGY第1部分：3术语和SJ/T1615111中界定的及用于本文件，3.1报0m竞争情报mpetitive指关于环竞争对手和竞争策略的信息和研究。意3. 2V元搜索引擎meta-search engine-通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合（甚至是同时利用若于个）搜索引擎来实现检索操作ARUND4服务的功能要求4.1概述本部分中的服务指使用不同的方式向用户提供所需数据或信息的活动。本章将从功能方面对网络数据采集和分析的服务做出要求。服务的非功能要求参考本部分第5章。4.2信息过滤4.2.1概述信息过滤是根据用户的信息需求，在动态的信息流中搜索用户感兴趣的信息，屏蔽其他无用和不良信息。根据用户的不同需求，信息过滤功能可分为基于关键词的信息过滤、基于分类的信息过滤、基于1 SJ/T11615.4—2016语义分析的信息过滤。信息过滤功能分类见表1。表1信息过滤系统分类用户需求表达形式信息过滤系统过滤方法关键词基于关键词匹配与评分布尔模型、向量空间模型白动分类分类信息基于分类语义分析语义评价基于语义分析4.2.2基于关键词的信息过滤基于关键词过滤的要求如下：a)应提供需要进行信息过滤的网络信息：b)应将用户需求与动态信息流按照过滤模板进行匹配计算，得出过滤结果：c)应提供过滤结果的去重、相关性排序等操作；d)支持关键词及其变体的匹配，变体形式包括拆字、替字（同音相似、同形形似）等：e)支持基于字段的匹配规则，可根据作者、标题、正文等信息进行分类；f)规则的书写宜支持与(*)、或(+)、非(-)、异或（°)等布尔逻辑运算；示例：作者=（李四+王某)-正文=外汇，标题=世界杯*正文=（汉城+中国队），应按照用户需求选择对应的过滤模板。g)注：过滤模板可包含若干类匹配规则，每类匹配规则下或者有若干条基于关键词的匹配规则，或者有一组机器自动学习生成的分类器。4.2.3基于分类的信息过滤基于自动分类的过滤技术应具备如下特点：a)用户通过提供正反例样本来表达自己的过滤需求：b)过滤系统根据正反例样本学习一个二值分类器，通过分类器进行信息过滤；c)过滤效果可以通过不断补充正反例样本的方式进行自适应学习，从而不断提升效果。4.2.4基于语义分析的信息过滤基于语义分析的信息过滤可选用下列的技术方法：a）方法1：先对待分析文本中的形容词或能够体现主观色彩的短语进行抽取，然后对抽取出来的形容词或短语逐一进行倾向性判断并赋予一个倾向值，最后将上述所有倾向值累加起来得到文章的总体文本倾向性；b）方法2：预先建立一个倾向性语义模式库，有时还会附带一个倾向性字典，然后将待评估文档参照语义模式库做模式匹配，最后累加所有匹配模式对应的倾向性值从而得到整个文档