融媒体对AI虚拟主播技术方案.pdfVIP

融媒体对AI虚拟主播技术方案

融媒体对AI虚拟主播项目方案建议书

一、项目概况

1.项目名称：融媒体对AI虚拟主播项目

2.背景：

随着自媒体人和短视频平台的崛起，网络流量正在从文字

向视频加速聚集。但由于真人主播受限于个人条件，其表现形

式单一，影响观众体验。因此，出现了以虚拟形象代替真人的

视频产品——虚拟主播。但这类产品中的虚拟形象通常为动画

制作的角色，制作周期长，视觉效果欠佳。

当前的主流媒体在信息流化、智能化、自媒体化、视频化

方面缺乏有力的产品，对于满足用户日益增长的信息需求进展

较慢，且各级媒体内容资源缺乏有效整合。因此，急需建设和

打造一个将自媒体和传统平台相结合的、与时代和用户需求相

匹配的、能为用户提供精准资讯服务，对各级主流媒体有效整

合的智能新媒体移动平台。

人工智能技术给传媒业带来了一场全新的变革。AI虚拟

主播与“媒体大脑”皆为人工智能技术所带来的传媒技术创新，

技术领域的重大突破必然为传统的新闻报道带来转型升级。

AI虚拟主播的核心是将人工智能技术引入新闻生产与报道中，

运用人脸识别、人脸建模、语音合成、智能传感器及深度研究

等多项前沿技术。

二、平台核心需求讨论：

1.AI虚拟仿真人编辑系统：

利用预先构建的语音合成模型得到对应输入文本的语音序

列，利用预先构建的生物状态合成模型得到对应输入文本的虚

拟主播图像序列。所述生物状态合成模型与所述语音合成模型

是基于同一时长模型构建的。同步叠加所述语音序列及所述虚

拟主播图像序列，得到虚拟主播音视频数据。利用语音合成、

深度研究、图像处理等多项人工智能技术，实现了动态换脸功

能。利用语音合成、人脸建模、唇型预测、图像处理等多项人

工智能技术，实现了文本到视频的自动播报输出。实时高效，

精准口型，画质清晰。

2.AI智能语音合成系统：

支持中英文、多语种、方言等众多不同风格的男声、女声、

童声音库。在音频内容生产流程中实现了在文本编辑基础上的

音频一键合成，能够提高编辑记者的工作效率，解放生产力。

数据系统是通过采集不同类型的数据集合，如音频、视频、

文本、图片和模型等，进行预处理、聚合、清洗和转换等操作，

从而实现数据有序高效结构化存储。

新一代A.I.虚拟主播平台是自主研发的，运用最新的A.I.

虚拟形象技术，结合语音识别、语义理解、语音合成和虚拟形

象驱动等A.I.核心技术。通过手机APP、大屏一体机等终端展

现形式，实现用户与虚拟客服之间的“面对面”互动交流、业务

咨询、智能问答和服务导览。平台整体架构包括数据层、服务

层和可视化层。

数据层是底层支撑，负责数据的采集、处理、存储，知识

图谱构建与计算，资源的整理和模板的定义，采用分布式的方

法实现数据的高效支撑。服务层基于数据处理层的基础进行认

识智能和感知智能，对数据进行深层的处理和运用，实现智能

化建模和自动化生成。可视化层实现数据、场景、内容、应用

和交互的可视化。

AI虚拟主播的核心是将人工智能技术引入新闻生产与报

道中，运用人脸识别、人脸建模、语音合成、智能传感器和深

度研究等多项前沿技术，实现三大工作原理：通过人工智能技

术识别和匹配信息，根据语义合成面部表情并标签化；通过深

度研究技术，提取声音、面部、表情等生成仿真模型；进行高

逼真度的唇语合成，自动生成海量播报视频。结合智能技术和

人机协作，AI虚拟主播已经在新闻报道的时效性、受众分析、

报道资讯分发与传输、报道体验等环节全面渗透，为新闻传播

提供了多样化的报道与呈现方式。

平台主要功能模块包括AI虚拟仿真人编辑系统、AI智能

语音合成系统和数据系统。AI虚拟仿真人编辑系统的制作流

程包括2D正面人头像图片转3D模型、利用视频采集方式AI

从仿真人的模型采集训练___研究、实现自动化建模AI仿生

人的智能语音回答交流，根据客户需求进行形象租用或灵活定

制，支持2D/3D。