商品类目的自动识别.pdfVIP

机器学习在电商领域的 场景化应用 “商品数据多维度优化” 郑志彤 京东商城基础平台部首席研究员 电商商品数据 – Multi-Modal Noisy •商品数据录入难以有效监管，数据质量参差不齐 现状 ： •用户反馈数据没有得到有效使用 目标： • 对于商家录入的商品数据进行清洗，提升数据准确率 • 对于原先没有得到有效利用的数据，整合抽取 • 为商家生态提供算法支持，从源头把控商品数据质量 目录 •电商数据的信息合规 •商品基本属性优化：图文不一致校验 •电商短文本理解：商品标题属性理解与重组 •智慧生态：商品类目的自动识别 •富集商品数据：多维度知识抽取 •构建商品知识图谱 信息合规 违禁词理解 上线效果： More ！通用信息合规服务： 无效审核下降73% ： 漏掉率为7.2% ： 价格敏感词识别 广告用语识别 联系方式识别 低俗用语识别 信息合规 自营店铺价格合规 每天自动审核发现数千价格违规现象 信息合规 自营店铺价格合规 基于全卷积网络的文本行定位 由于商品详情图片的版面复杂，风格差异较大，传统的基于启发式规则的版面分析方法是行不通的。我们采用在图 像语义分割领域十分有效的深度学习模型-全卷积网络（Fully Convolutional Networks ），来实现端到端的可学习 的图片版面分析和文字定位算法，达到区分文字和背景区域的目标，如下图所示。 信息合规 自营店铺价格合规 端到端的通用字符串识别系统 如图所示，通过CNN model获得图片的特征，与基于大规模 语料数据训练循环神经网络（LSTM ）的通用语言模型相结合， 再通过基于时序分类（CTC ）输出。 端到端的文本检测与识别算法克服了传统OCR鲁棒性不足的问 题，即使对于京东网站上各种压缩失真和版面复杂的图片，也 能得到很好的文字识别结果。 目前每天可以自动发现数千个价格不一致现象。同时图片文字 识别出的语句在通过文本合规服务后，自动发现包含违禁语义 的图片，净化京东生态 商品基本属性优化：图文不一致校验 图文不一致校验 商品基本属性优化 •属性间的不一致对上层系统影响巨大，搜索、推荐调用错误数据，结果随之错误 图文不一致校验 商品基本属性优化 • 目前覆盖四个一级类目：运动户外、服饰内衣、鞋靴、礼品箱包 • 颜色识别覆盖61个三级品类，准确率95.65% • 累计修正2亿条以上商品属性，1亿多条sku商品数 图文不一致校验 商品基本属性优化 对商城图片进行颜色检测时 ，如果将图片直接输入 ，去识别颜色的话 ，会导致很多问题。 比如一张图片里女model提着红色手包 ，穿着白色上衣 ，蓝色裤子 ，这种图片直接识别不能分别得到这三个主体的颜色 分类。 特征提取+ 主体颜色识别：faster r-cnn 改进特征提取部分 ，加入reception和resnet结构以提高检测和分类准确率 ，实际过程中也提高了训练速度。 reception和resnet结构 电商短文本理解