搭建多指纹库.PDF

目录 一 项目背景 二 技术方案 三 项目详细内容 四 应用及效果 项目背景 为履行企业社会责任，保障广大用户通信权益，自2012年以来，中 国移动持续开展垃圾短信治理工作。依托垃圾短信集中管控平台，治理主 要采用“系统监测”模式。随着中奖诈骗类、政治违法类、涉黄涉黑类、 病毒诱导类、商业广告类等违规短信层出不穷，垃圾短信数量居高不下， 年均疑似垃圾短信高达3亿余条，垃圾短信治理形式严峻。 系统监测：主要指通过“频次+关键词” 等过滤方式，筛选得到现网疑似垃圾短 信。如：内容含“发票代开”，1分钟 内发送20次等。 若想提升垃圾短信治理效率，亟需引入 新的方法。 面临的问题以及现有方案 技术难点 ： Ø 表示稀疏问题：单条短信内容短小，传统的BOW模型无法获取足够的特征信息，用来区 分垃圾短信和非垃圾短信。 Ø 数据噪音问题：存在大量的非正规语言的使用现象，传统的基于词汇的文档表示模型无 法处理该问题。 Ø 动态演化问题：短信内容和语言使用随时间高速演化，固定的特征集合和分类模型无法 应对该问题。 短文本分类方面，终端安全公司大多使用以贝叶 google公司前期提出Simhash算法，将长文本 斯算法为代表的机器学习方法，在终端侧对用户接 转化为64位的哈希码进行计算、比对。 收到的短信进行识别，将疑似垃圾短信拦截在垃圾 方法在业界广受好评，但目前仅限于在长文 箱内。 本方面（如网页）应用。 目前已得到广泛应用。 ！ 信 短 圾 垃 滤 过 ！ 页 网 复 重 找 查 目录 一 项目背景 二 技术方案 三 项目详细内容 四 应用及效果 技术方案选择 将垃圾短信自动化识别系统成功应用到现网中，关键在于保障接入识别算法的准确率与 查全率。 通过对2016年3、4月份历史数据进行抽样分析，约有 12%的样本内容完全一致，有 34%的样本内容相似，合计比例达46% ！ 序号 样本总量 重复样本 相似样本 重复占比 相似占比 数量 数量 1 753383 73465 249232 9.8% 33.1% 2 946749 155991 322144 16.5% 34.0% 3 967990 118395