基于声纹识别的广告监测系统研究与建设.docxVIP

基于声纹识别的广告监测系统研究与建设 摘要：本文介绍了一种采用声纹识别技术，实现了对广播电视的样本声音和节目声音提取声纹特征，并对样本声纹与节目声纹进行分析匹配，最终得出广告识别报表。本系统完成了从音视频实时流采集、音视频分离与合并、音频转码、样本导入与截取、声纹提取与识别、广告识别报表导出的全业务流程，使监管部门更准确高效地掌握广播电视广告播出情况，为广告播出及内容管理提供有力依据。 0引言一直以来，广播电视是国家和党中央舆论宣传的重要工具，广播电视播出的质量好坏，直接影响到国家方针政策的宣传贯彻和社会稳定，对广播电视内容和传输的实时监测，尤其是对广播电视广告播出内容的监测是广播电视行业的重要任务。目前，有些广播电视台仍然使用人工监看记录的方式来监测广告，随着广播电视节目数量增加和广告播放量增加，通过人工监测监看方式增加了大量的劳动量，同时人为疏忽也会降低广告监测的准确率；有些广播电视台虽然已经使用数字化技术监测手段，但由于识别率不够高或人工介入工作量较大，也无法解决日益增长的监测业务量带来的问题。综上所述，使用先进的数字化技术监测手段替代人工监测或过时的技术监测已经成为发展的趋势，这样既能降低值班员的工作强度，又能提高播出系统的技术管理水平，确保信号播出安全。为此，我们引入一种基于声纹识别的纯软件算法技术，大大提高识别准确率；引入疑似广告智能提醒技术，有效降低人工劳动强度；引入广告样本导入接口实现广告批量导入，实现人工轻量化操作，进一步降低人工劳动强度。1系统架构设计1.1系统架构基于声纹识别的广告监测系统（以下简称“系统”）主要包括信号采集、数据处理、监管平台三部分，系统采用B/S与C/S相结合方式，系统架构如图1所示。系统接入卫星电视信号、有线电视信号的直播流进行采集收录。有线电视信号和卫星电视信号（含广播和电视信号）通过有线电视前端设备和卫星接收机解码后输出TS Over IP流给信号采集服务。音视频流采集后进入数据处理环节，包括有三个部分，一是数据处理服务从收录的音视频流文件先找出跨天的头尾两个文件，再根据时间戳分离，并按日期合并出某一天的文件，最后分离出8k Hz,16位的单声道WAV纯音频节目文件；二是数据处理服务自动发现需要特征提取的文件，将文件提交给识别引擎服务器，后者将文件进行声纹特征提取形成特征文件；三是监管平台批量导入广告样本或剪辑样本后，数据处理服务自动对样本提取声纹特征并形成特征文件，然后自动将节目和样本的特征文件的对比任务提交给识别引擎服务器，从识别引擎服务器获取结果后形成识别报表。监管平台可以直观看到识别结果，对疑似出现新广告的地方智能提醒，用户根据提醒将新广告截取发送入库，监管平台还实现了整个系统的管理、配置。1.2业务流程系统的业务流程主要包括信号采集、音视频合并、音频分离、音频声纹特征提取、音频声纹特征对比、识别报表展示和人工剪辑等，系统业务流程如图2所示。1.信号源包括音频流和视频流，支持各种协议的网络视频音频流输入，包括但不限于TS、RTMP、HLS、HTTP等；2.音视频信号经过信号采集服务的流收录为TS文件，一般为每半小时一个文件，连续两个文件是无缝录制的，存储于采集服务器，信号采集服务可以实现横向扩展，从而构建更大型的监测系统；3.数据处理服务首先按日期找出该日期所有相关文件，并对该日期前一天的最后一个文件按时间戳分离出该日期的开始部分，再对该日期的最后一个文件分离出该日期的结尾部分，最后按顺序合并出该日期的24小时完整文件；4.数据处理服务对上一步合并的24小时文件分离出音频文件，结合磁盘空间与声纹特征识别率综合考虑，我们将音频文件格式设定为8k Hz、16位、单声道、PCM WAVE格式；5.数据处理服务自动发现需要特征提取的文件，将文件提交给识别引擎服务，识别引擎服务将文件进行声纹特征提取形成特征文件；6.监管平台批量导入广告样本或剪辑样本后，数据处理服务自动对样本提取声纹特征并形成特征文件，然后自动将节目和样本的特征文件的对比任务提交给识别引擎服务器，从识别引擎服务器获取结果后形成识别报表；7.监管平台可以直观看到识别结果，对疑似出现新广告的地方智能提醒，用户根据提醒将新广告截取发送入库，数据处理服务对新广告立即进行特征提取和识别，形成最新的识别报表；8.系统管理是管理员对信号流地址、存储路径、技术参数等设置，还包括用户设置、频道设置、广告属性设置、广告类别设置、日志查询等。1.3数据流向系统的业务数据流向如图3所示。数据流程包括：TS流收录服务、数据处理服务（包括音视频智能合并、音频分离、声纹特征提取、声纹特征对比）、识别引擎服务、样本导入、样本剪辑，系统管理、日志系统、报表打印等。