如何提供更好的VR体验.PDF

如何提供更好的VR体验 王西颖 2017.4 0.影响VR体验的关键因素 Ø 延迟 听觉 Ø 光学与显示效果 视觉 交互 Ø 图像视频播放 沉浸 感 Ø 交互 Ø 音效 算 Ø 位置跟踪 法 软 Ø AI 件 硬件 1. 降低MTP延迟 1. Motion-To-Photon 延时 l 传感器延时 l 图像渲染延时 l 安卓系统的显示延时 l 屏幕显示延时 2. 传感器延时的优化 3. 图像渲染延时的优化 4. 安卓系统显示优化 5. 屏幕显示优化 2. 提高显示效果 1. 屏幕 2. 光学畸变 3. 色散 4. 光学设计相关 l FOV l 清晰度 l 畸变导致几何形状的变化，而 像差影响了成像的清晰度 2.1 屏幕 • 高分辨率 2K/4K/8K • 高刷新率 60/75/90/120Hz • 高PPI/PPD 30 • 低显示延时,降低拖影 • 单屏or双屏 人眼视觉 2.2光学成像 • 非球面与菲涅尔 • 非球面与球面比较，边缘像差更小 • 非球面镜片比球面更薄 • 菲尼尔的尺寸厚度大幅降低，减重明显；但问 题是带来了杂散光，在明暗对比度大的场景下 更加明显 • 其他形式的Near-Eye-Display成像方式 2.3成像像差 • 轴上球差 • 慧差 • 像散 • 场曲 场曲 2.4光学设计 • 近视与物距调节 • 瞳距调节与自适应 • FOV多大合适 3. 视频类应用的技术问题 • VR中视频种类的自动分类 • 分辨率VGA/720P/1080P/2K/4K • 普通or全景 • 全景：180度/360度 • 2D or 3D • 3D ：左右/上下 • 纱窗效应，观影模糊，摩尔条纹（moiré pattern ） • 图像/视频的超分辨率LR-HR • 图像deblur等后处理技术 3.1 图像超分辨率 • 估计和恢复已经丢失的高频信息: 边缘，纹理等 • 传统线性插值: 最近邻NN, Bilinear, 双三次bicubic • 基于稀疏编码的非线性学习方法 • 构建LR和HR dictionary • 基于深度学习的方法 • 以SRCNN,Google-RAISR等技术为代表 • End-to-end 不需要中间过程,效果好,速度快，可运行 在移动设备上 • 解决高频部分在低分辨率显示时产生moiré pattern, RAISR的结果与传统方法比较 避免aliasing artifacts