为了听不到的你——世界杯首次数智手语解说技术详解.pdfVIP

观潮 ︱ Focus 为了听不到的你 ——世界杯首次数智手语解说技术详解 文/咪咕视讯科技有限公司 陈望都 林晓青 摘要 ： 生动精准的手语播报、自然连贯的动作……当笑意盈盈的弋瑭以一袭红色套装亮相时，真实感和亲切感瞬间扑面而来。这是世界杯上 首次出现数智人手语主播，她带来了世界杯首次数智手语解说，也是中国移动咪咕公司为“科技观赛”注入的“人文情怀”。在弋瑭暖心播 报的背后暗藏了哪些“黑科技” ？这一期我们就了解她背后的技术。 关键词 ： 手语解说 ；AI 字幕 ；数字人 2022 卡塔尔世界杯顺利收官 , 作为世界顶级体育赛事 , 此次卡塔尔世界杯在全球掀起了足球观赛热潮。在这 场足球盛宴中 , 中国移动作为本届世界杯持权转播商 , 为“科技观赛”注入了“人文情怀”。据悉 , 全球有超 4 亿人 听力受损 , 被“听不清、听不真”所困扰 , 为了打破“无声的世界”, 让更多人同频感受到体育赛事的激情 , 中国移 动咪咕公司推出首个数字人手语主播弋瑭 , 为听障人士打通“信息无障碍”的桥梁。 图1 手语数字人弋瑭 图2 弋瑭解说画面 26 影视制作 观潮 ︱ 2022卡塔尔世界杯转播回顾 Focus 图3 弋瑭解说画面 图4 弋瑭解说画面 1. 整体技术路线 逼真度 3D 渲染等多项技术，搭建手语数字人播报引 擎，实现了手语数字人在大型体育赛事直播场景中的 北京冬奥会期间，咪咕视频针对各项赛事转播上 应用。 线的“AI 智能字幕”，有个温暖的名字——“为了听 咪咕 AI 手语数字人整体技术路线为 ：通过文稿或 不到的你”，在国内首次实现大型国际赛事超高清直播 语音作为源数据输入 ；以手语与料库为基础，由 AI 语 的实时双语字幕创新规划化应用，也被网友称为冬奥 义蒸馏系统和 AI 手语分词快编系统组合成的手语数字 观赛最暖心的功能之一。习近平总书记叮嘱 ：“办冬 脑，进行手语转写；通过手语词—动作映射库，进行 AI 奥不是一锤子买卖，不能办过之后就成了‘寂静的山 手势生成；最后驱动手语数字人，在实体机器人、屏幕 林’。”冬奥会后，咪咕技术团队持续优化智能播报课 或电视 / 网络播报终端进行展示，服务于听障人群。整 题，融合动作数据捕捉、神经网络自然语言处理、高 体技术路线图如图 5 所示。 图5 整体技术路线 影视制作 27 观潮 ︱ Focus 图6 直播技术框架 2. 直播技术框架 息的 SEI 编码能力，因为需要在 APP 播放器中实现字 幕的语种切换、开关等操作，而传统演播室制作的字幕 手语数字人在世界杯期间应用于 10 场重点赛事， 形式并不适合用在本案例中。 从直播技术层面，整合了咪咕公司多个技术平台与系统 因此在整体框架中，字幕转译平台进行了 2 次字幕 能力，分别为 ： 转译处理 ：第 1 次输出字幕流，实现了对于演播室图 ·直播运营系统 ：所有直播频道的任务下发。 形渲染引擎中的手语数字人动作驱动，在演播室环境内 ·能力开放平台 ：接收运营系统任务，并将相关技 完成了源流 +