- 1、本文档共13页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
远程沉浸式自然交互
第 12 卷第 2 期 信息技术快报 Vol.12 No.2
Information Technology Letter Apr. 2014
远程沉浸式自然交互
黄美玉 尹苓琳 纪雯 张博宁 王向东 陈益强
摘要:本文提出了沉浸式视频自然交互的概念和应用场景,同时介绍了几种能够加强沉浸式自然交互的方
法,研究其中的关键技术。具体内容包括:通过准确的视频对话人提取和多个视频对话人的统一虚拟场景
融合,实现不同空间位置的远程视频交互,使参与者犹如身处同一个虚拟会议室,以排除空间隔离感,增
强沉浸式体验;通过矫正用户视频镜头中的头部姿态和视线方向,实现远程视频交户中的自然眼神交流;
通过 QoE 模型研究远程视频交互时视频传输的自适应调整问题,保证在带宽不对称、终端不一致的情况下
的高质量远程视频交互;通过采用远距离语音采集,支持多人任意参与远程语音互动,实现清晰连续、具
有方向和距离感的高保真沉浸式音频交互。
关键字: 沉浸式 视线矫正 抠像 QoE 模型 高保真音频
1
v
5 1 引言
6
5
0 以高速交互的视音频应用为基础、以人和家庭为中心的物联网电视正走进人们的生活。
0 沉浸式视频交互以自然的操控方式将远方世界更逼真地拉入眼前,并提供信息服务。远程沉
.
5 浸使分布在不同地点的使用者能够在同一虚拟空间协同工作,创造出“比亲自到对方现场还
0
6 要好”的环境。沉浸式视频交互将以一种新型的交互方式满足现代人对快节奏、个性化、高
1 质量生活的追求。
0
2 未来视频会议将会结合音
: 沉浸式自然交互
v 频、视频、投影、通信等一系列
i 技术来加强视频沉浸感,突显交 自然 面对面 沉浸
X
a 互的自然性。当人们进入视频会
n 议房间时,无需在固定位置开启 技 术 支 撑
i
h 视频设备建立连接,随时随地便 计算机 音频 通信
投影技术
c 可与对方进行远程视频交互。摄 视觉技术 处理技术 传输技术
像头如同对参与者随时跟踪,将 自然眼 精准前 高保真 三维效 自适应
多角度可调节画面传送给对方。 神交流 景抠像 音频 果呈现 QoE
同时,传送过来的数据通过投影 逼真虚
实结合
技术、虚拟场景融合技术,将对
方人像立体呈现在参与者身边。 图1. 沉浸式自然交互技术支撑点
音频技术将收集处理参与者音
频信号。参与者无论处于房间何处,与对方的交流都如同带上了耳麦那样清晰。未来人们可
以在房间内并发地进行自己的工作和参加视频会议。视频会议将以一种“面对面”、无干扰
的自然方式渗入人们的生活。总之,这种所谓“沉浸式自然交互”指的是在不打扰用户原始
文档评论(0)