全景解密阿里文娱智能算法.docx

文娱智能算法 185目 录 文娱智能算法 185 计算机视觉 5 分区域处理的图像和视频清晰化技术 6 基于人类视觉感知的视频体验评价体系 17 端侧智能算法在优酷场景的应用 26 大千 XR-Video 技术概述 35 大千 XR-Video 技术在互动剧上的应用 49 优酷视频换脸技术实践 52 基于多模态内容理解的视频智能裁剪 57 阿里文娱视频智能裁剪技术实践 61 技术实践-精准的视频物体分割算法以及应用 65 媒体智能引擎 SmartAI 72 媒体智能平台之推理服务 73 海量视频解构数据全生命周期流转 80 内容智能 87 内容全生命周期里的文娱大脑 88 《长安十二时辰》背后的文娱大脑：如何提升爆款的确定性？ 101 4 搜索 112 智能多轮对话式搜索技术实践 113 优酷语义模态匹配模型设计与实现 118 优酷多模态搜索设计与实现 125 5 推荐 131 基于 Bi-LSTM 深度学习模型的 Term Weight 算法 132 多模态视频多标签分类在优酷推荐算法中的实践 137 增长与营销算法 146 本节摘要 147 因果推断在用户增长中的应用 149 基于 Uplift Model 的营销增益模型 154 外投 DSP 自动报价算法实践 161 搜推统一分发系统 167 本节摘要 168 基于图执行引擎的算法服务框架 169 面向多级多模态场景的召回引擎 174 基于内容图谱体系的特征与索引更新平台 179 文娱智能算法 3 序 序 阿里是一家坚信数据力量的公司，而文娱涉及的相关产业非常广泛，从线上到线下、从影剧综漫到现场娱乐以及文学小说等，其组成、形式、展现、分发的复杂性交织在一起为业务数据化带来了巨大的挑战。 近三年来，阿里文娱摩酷实验室始终以助力业务发展和增长为核心驱动，形成如下四个的技术方向： 内容 内容 ? 标签化理解 解构 ? 元素化解构 内容宣分发 引导TS提升 统一价值流量分发 内容生产 智能云剪辑 视频体验增强 关键生产要素 内容 数据化评估 评估 ? 核心生产资料控货辅助支撑 内容理解是文娱相关算法技术的基石，IP、小说、剧本、视频、音乐等不同形态的内容对构建起领域知识图谱带来了很多困难，在这其中计算机视觉、自然语言处理、图谱推理、图神经网络、多模态内容分析等技术被广泛应用于内容解构。以视频为例，影剧综视频的时长很难用一些低层级的标签来抽象表达其内容，基于多模态的分析技术在这类内容上也会碰壁，因此融合内容专家及机器学习系统的半自动化微标签体系成为一种可行的出路。与短视频快速的线上反馈闭环不同，即使制作周期最短的综艺节目也需要 3 个月以上，期间还面临内容监察审核的不确定，这就导致影剧综内容制作高度的不确定性，如何基于复杂的数据分析线索以及历史的成败规律来选择评估内容是各个综合视频平台所面临的核心挑战之一，而阿里文娱北斗星系统就是用来解决这一问题的。 搜索和推荐作为两种解决信息爆炸的重要手段被广泛应用于各个 APP 中，而影剧综内容的复杂性导致用户想精确描述一个内容非常困难，仅通过节目名、演员名去检索给用户也造成了很大的困扰。在文娱内容的分发体系中对搜索模式、推荐模式的融合成为新的用户需求，如何更为准确的通过类强化学习的用户意图理解过程来协助他们尽快找到喜爱的内容，成为文娱搜 推体系下一阶段的首要任务。 文娱作为产业互联网发展的重要行业，人工智能技术在这个领域中的应用空间广大，而我们也仅仅是迈出了一小步，期待工程师们能够创造出更大的奇迹，加速文娱产业数字工业化时代的到来。 阿里文娱摩酷实验室负责人 王晓博 2020.02.01 文娱智能算法 5 文娱智能算法 5 计算机视觉 分区域处理的图像和视频清晰化技术 作者| 阿里文娱高级算法专家 出林、阿里文娱高级算法工程师 文渊 苍华 一、UPGC 视频和图像质量面临的挑战 在优酷这种综合性的视频平台，用户的观看体验永远是第一位的，而画质是影响观看体验的重要因素。对于影视剧来说，画质和拍摄年代有较强相关性，也就是说随着拍摄设备和技术的提升，画质也在提升。用户一旦习惯了更高清的内容，就“回不去了”，进而对视频画质甚至显示设备提出更高要求。而对于目前大量增加的 UPGC 视频，画质情况却不容乐观，UPGC 视频来源主要包括两种：一种是由正片切条产生的短小视频经用户上传的，这种情况下，由于用户使用的片源清晰度无法保证，又经过多次的转码、压缩、缩放，会导致画质下降，导致压缩噪声、块效应等问题；另一种是用户拍摄上传的，虽然目前手机相机成像质量越来越好，分辨率越来越高，甚至出现了 1 亿像素、30 倍变焦等黑科技，但在不受控的拍