适应高刷新率屏幕智能手机上的MEMC技术.docxVIP

适应高刷新率屏幕智能手机上的MEMC技术 谢慧华 2020年上半年，搭载高通骁龙865等新旗舰平台的智能手机接连发布，性能、Al算力、存储速度都有了飞跃的提升。为了避免性能的浪费，不少旗舰手机还配备了高刷新率的屏幕，为用户带来更流畅的操作体验。评测的过程中，我们通常会选择支持高帧率版本的游戏来体验行云流水般的画面观感，但这并不意味着高刷新率屏幕的应用仅局限在游戏中。 每秒24格的艺术 从60Hz到90Hz再到目前的120Hz，手机屏幕刷新率在不到一年的时间里就得到了翻倍的提升。与之对应的是，部分游戏也逐渐放开了帧数的限定，《王者荣耀》推出了60fps的高帧率模式，《QQ飞车适配120Hz屏幕，《和平精英》通过一定的方法也能解锁120fps模式。可见，硬件的提升，需要应用、内容的同步支持，否则在120Hz刷新率的屏幕上玩30fps模式的游戏，依然无法感受到行如流水的流畅画面，这就像在高速路上开拖拉机一样，依然只有慢吞吞的速度。 除了游戏之外，高刷新率的屏幕还有什么用处？大家第一时间想到的肯定是视频播放，但是在内容上，高帧率的视频资源可以说是少之又少。就拿手机拍摄视频来说，iPhone 11 ProMax最高支持4K/60fps视频拍摄，在这一规格下拍摄1分钟就需要占用1GB左右的存储空间。如果你购买的是64GB容量版本，即使什么应用也不装，也只够拍摄1小时。 在电影拍摄中，高帧率的画面更是凤毛麟角。法国电影大师让·吕克-戈达尔将电影视为“每秒24个的真理”，和以30fps作为流畅及格线的游戏不同，电影只需要24帧就能获得流畅的画面感。究其原因，游戏制作中每一帧画面都是静止不连续的，但电影录制的是动态的画面。在每秒钟的24张画面中，部分画面是清晰的，部分画面是模糊的、有拖影的，这种模糊自带方向性，与下一张画面产生衔接，能够让人脑形成连贯流畅的画面。电影是表达的艺术，手法和风格各有不同。从导演的角度来看，不同帧速的电影有不同的风格，24帧的电影拥有独特的”电影感”，甚至有部分导演在部分片段拍摄中，特意抽去一些画面，通过减帧的手段来丰富自己的表达手法。比如导演王家卫就在《一代宗师》《重庆森林》和《旺角卡门》等电影镜头中适当地运用了抽帧（ Step Printing）手法，营造不连贯的迷幻感。 从场景的快速切换和动作表现上来讲，24帧的电影会产生不够流畅的拖影感，只是考虑到制作成本和观众习惯，沿用了多年的24帧标准依然是权衡利弊的最佳选择。就拿大家都爱看的科幻片为例，基于24帧拍摄时，电影的后期特效成本已经高得吓人，如果以120帧拍摄，意味着增加了4倍的特效工作量，恐怕全部的票房都不够填补这个窟窿。此外，这类影片还需要支持高帧率的电影播放的放映机才能放映。从《比利林恩的中场战事》到《双子杀手》，导演李安曾两次采用120帧+4K+3D的拍摄技术，但大多数影院放映的依然是”缩水版”。 填补硬件和内容的断层 既占空间，又费成本，以电影、电视剧为主的视频内容天生自带着帧率不足的缺憾，堪堪达到流畅的门槛。难道就没有让视频变得更流畅的低成本方法吗？有。在电视领域，早已出现了弥补内容与技术断层的MEMC技术。MEMC （Motion Estimateand Motion Compensation）意为运动估计和运动补偿，是目前常见的视频插帧技术。在电视领域的插帧补偿中，曾出现过三种不同的插幀类型，分别是插复制帧、插黑帧和插计算帧。插复制帧只能提升原视频的帧速，插黑帧能够稍微减轻拖影感，但效果都不理想，逐渐被淘汰。而插计算帧则是通过运动估计预估画面中运动物体的轨迹，然后在两个相邻帧中间插入_张中间帧，这样原视频的帧数就能翻倍，视觉上也会流畅平滑很多。 目前，MEMC动态补偿技术在电视领域比较普及，但命名各有不同。索尼将其命名为MotionFlow，LG叫TruMotion，三：星叫Auto Motion Plus.东芝叫做ClearFrame.像华为的智慧屏和小米最新的小米电视5 Pro也都支持MEMC技术。以索尼电视上的MotionFlow技术举例，视频中的奔跑的马从左侧移动至右侧仅有3个画面，MotionFlow通过算法捕捉到了马蹄、马尾以及人的运动轨迹，根据画面背景自动生成了中间帧，稍微改变了马尾、马蹄的位置和人的坐姿，从而增加了画面的整体流畅感。从技术上看，MEMC对算法的依赖程度极高，如何准确识别移动物体，如何计算生成准确的新帧，取决于算法的智能程度。 对于如此复杂的运算，还需要强悍的硬件支持，所以高端电视通常会配备一个集成MEMC功能的独立图像处理芯片，以达到更自然、流畅的插帧效果。现在高端电视的显示芯片不仅支持倍速驱动，甚至能把视频插帧达到200帧速