在开始介绍今天的主角前我们先看一段对比影片👇👇👇钢铁侠的变身让相信大家对于60fps VS 24fps的对比已经心里有数，画面流畅性上前者吊打后者，因此画面的流畅感和视频的帧率(Frame Rate)有很大的关系。帧率的单位为 fps(frame per second)，即每秒播放多少帧画面。当前主流电影的帧率为24fps，而早期的电影拍摄和播放的帧率是不固定的，一般拍摄帧率在16fps到24fps之间，播放的帧率一般在22fps到26fps之间。比如大家熟悉的卓别林的电影，播放的时候有点像快进，导演有时会用帧率的变化来传递不同的情绪。1926年有声电影推出时，研究发现人耳对音频的变化更敏感，削弱了人对电影帧率变化的关注，而大部分无声电影使用22至26帧/秒播放，所以选择中间值24帧/秒作为有声电影的帧率，大致在1930年，24帧/秒成为35mm有声电影的标准。
电影和电视帧率不一 ，易造成抖动大家常看的电视剧和综艺节目，帧率为25fps或30fps。电视主流的制式PAL（50Hz）和NTSC（60Hz），采用25fps或30fps拍摄正好和电视机的扫描频率成整数倍关系，所以看电视的时候大家不会感觉有明显的抖动，然而在电视上看电影或美剧（多采用24fps拍摄）时，则会不同程度感觉到运动不连续或抖动。主流消费级显示设备（显示器、电视机、投影仪）的刷新频率一般为60Hz，少数高端产品会有120Hz、144Hz等面板。对于60Hz刷新率而言，去播放一个24Hz的片子，60不是24的整数倍，所以必须采取3:2 pull down的方式进行帧重复（即第一帧重复3次，第二帧重复2次，第三帧再重复3次，第四帧再重复2次……）这样就把24“fps”的视频各帧“相对均匀”地分配到了60Hz的播放设备上。再加之显示设备的响应速度（response time）有制约，导致视频看起来有点不连续和抖动（judder）。
电影观感就是比电视强，为啥？为什么judder在电影院里是不存在的？因为放映机直接就是24Hz的刷新率，不需要 pull up或pull down，保证为24Hz原汁原味，所以电影院的观感上会比电脑、电视上看起来好很多。目前只非常少的几部电影有采用 48fps 及更高帧率拍摄，如《霍比特人》(48fps)、《比利林恩的中场战事》(120fps)。
⬆️ 这是一个足球的实际运动轨迹
⬆️ 这是用24帧的摄像机拍摄下来的足球轨迹
⬆️ 我们在电视上实际看到的足球
⬆️ 在电视上实际看到的足球轨迹图从上面的图，明显看出足球实际的运动轨迹和最终电视上看到的轨迹差别比较大。将两张图叠起来大家就更容易看出来。
⬆️ 足球在飞行的过程中，会看到运动不连续和抖动
显示尺寸越大抖动越明显很多人会发现在手机或PAD这类小的屏幕上足球的抖动就不明显，而在55寸或75寸的大屏幕电视上这个抖动就会非常明显，这是由于屏幕尺寸变大以后运动的不连续会被放大，有些对抖动敏感的人会有眩晕的感觉。
解决问题需要运用MEMC的技术讲解完这个电视中存在的judder的问题以后，那有没有办法去掉这个judder呢？OK，那就需要讲到今天我们介绍的技术了MEMC（motion estimation and motion compensation）。运动预估与运动补偿，简单的字面解释就是基于物体运动的轨迹进行预测，并根据预测的结果来插入一个运动的中间状态来改善judder。运用MEMC的技术，就是通过对图像里物体的运动轨迹（运动矢量）检测，在原始帧中间插入运算后的补偿帧来提升画面的流畅性：以把24fps插帧到60fps举例，原来的画面次序是这样的：1 2 3 4 5 6…按3：2 pull down的顺序插帧1 1a 1b 2 2a 3 3a 3b 4 4a 5 5a 5b 6 6a…这样原来24帧的画面就通过计算插帧变成了60帧的画面了
去除果冻效应有高招由于所有新增的帧都是运动预测计算出来的，因此预测失误可能会带来副作用，预测算法的优劣，直接影响副作用大小，比较明显的就是果冻效应或光环“halo”。 
大家会发现图2插入的帧足球消失了，为什么呢？大部分的MEMC算法模块中，采用块匹配的方法计算相邻的帧之间物体的运动相关性，也就是把图像切成16×16或32×32像素矩阵的块，再根据物体的运动矢量（mv）进行插值，由于算法是基于图像的块进行计算而非像素级（每个像素进行计算，计算量成几何级数上升，从芯片成本和可实现性上来看无法实现）导致对于小物体的运动矢量估计不准确，会导致小物体的丢失或出现重叠的现象。
海思算法让“消失的足球”回来啦为了改善小物体的运动，海思芯片算法基于当前帧的频率特征计算图像块的运动矢量，这样就能改善小物体的运动矢量计算，大家看图3，消失的足球又回来了。
很多人有在手机端看视频的经历，同样的视频在手机屏上看没有卡顿的感觉，但在电视上看会发现有明显的视频不流畅的问题。这是由于大部分网络视频流都是24/25/30fps帧率，而在手机屏上由于物体相同时间内从位置A到位置B的移动距离远远小于电视屏幕，通常液晶电视屏的尺寸一般是手机屏的8-10倍，导致低帧率的视频在电视侧更需要MEMC的技术来消除Judder。
NO.1做到8K MEMC整合8K SoC内的芯片8K的电视是4K电视分辨率（像素点）的4倍，而且8K电视的主流尺寸是70-90寸，还有土豪喜欢的110寸，所以MEMC效果的好坏直接影响到电视用户的观影体验。海思最新的8K芯片Hi3751V900是第一家把8K MEMC整合到8K SoC内的芯片，把MEMC内置到8K主SoC里面可以和8K画质模块更好的配合，为消费者完美呈现8K身临其境的画质体验。小伙伴们是不是迫不及待就想看到基于海思最新8K芯片，8K MEMC的画质效果了？以上视频及图片仅用于解释及描述技术特性
往期推荐
电影和电视帧率不一 ，易造成抖动大家常看的电视剧和综艺节目，帧率为25fps或30fps。电视主流的制式PAL（50Hz）和NTSC（60Hz），采用25fps或30fps拍摄正好和电视机的扫描频率成整数倍关系，所以看电视的时候大家不会感觉有明显的抖动，然而在电视上看电影或美剧（多采用24fps拍摄）时，则会不同程度感觉到运动不连续或抖动。主流消费级显示设备（显示器、电视机、投影仪）的刷新频率一般为60Hz，少数高端产品会有120Hz、144Hz等面板。对于60Hz刷新率而言，去播放一个24Hz的片子，60不是24的整数倍，所以必须采取3:2 pull down的方式进行帧重复（即第一帧重复3次，第二帧重复2次，第三帧再重复3次，第四帧再重复2次……）这样就把24“fps”的视频各帧“相对均匀”地分配到了60Hz的播放设备上。再加之显示设备的响应速度（response time）有制约，导致视频看起来有点不连续和抖动（judder）。电影观感就是比电视强，为啥？为什么judder在电影院里是不存在的？因为放映机直接就是24Hz的刷新率，不需要 pull up或pull down，保证为24Hz原汁原味，所以电影院的观感上会比电脑、电视上看起来好很多。目前只非常少的几部电影有采用 48fps 及更高帧率拍摄，如《霍比特人》(48fps)、《比利林恩的中场战事》(120fps)。⬆️ 这是一个足球的实际运动轨迹⬆️ 这是用24帧的摄像机拍摄下来的足球轨迹⬆️ 我们在电视上实际看到的足球⬆️ 在电视上实际看到的足球轨迹图从上面的图，明显看出足球实际的运动轨迹和最终电视上看到的轨迹差别比较大。将两张图叠起来大家就更容易看出来。⬆️ 足球在飞行的过程中，会看到运动不连续和抖动显示尺寸越大抖动越明显很多人会发现在手机或PAD这类小的屏幕上足球的抖动就不明显，而在55寸或75寸的大屏幕电视上这个抖动就会非常明显，这是由于屏幕尺寸变大以后运动的不连续会被放大，有些对抖动敏感的人会有眩晕的感觉。解决问题需要运用MEMC的技术讲解完这个电视中存在的judder的问题以后，那有没有办法去掉这个judder呢？OK，那就需要讲到今天我们介绍的技术了MEMC（motion estimation and motion compensation）。运动预估与运动补偿，简单的字面解释就是基于物体运动的轨迹进行预测，并根据预测的结果来插入一个运动的中间状态来改善judder。运用MEMC的技术，就是通过对图像里物体的运动轨迹（运动矢量）检测，在原始帧中间插入运算后的补偿帧来提升画面的流畅性：以把24fps插帧到60fps举例，原来的画面次序是这样的：1 2 3 4 5 6…按3：2 pull down的顺序插帧1 1a 1b 2 2a 3 3a 3b 4 4a 5 5a 5b 6 6a…这样原来24帧的画面就通过计算插帧变成了60帧的画面了去除果冻效应有高招由于所有新增的帧都是运动预测计算出来的，因此预测失误可能会带来副作用，预测算法的优劣，直接影响副作用大小，比较明显的就是果冻效应或光环“halo”。 
左侧是国内已经上市的某品牌电视MEMC产品的效果图，右侧是海思最新的MEMC算法的效果图，通过对人物运动的轨迹精确的计算，可以减少halo的效应。
另外一项在MEMC插帧算法中会出现的小物体运动的物体丢失。大家会发现图2插入的帧足球消失了，为什么呢？大部分的MEMC算法模块中，采用块匹配的方法计算相邻的帧之间物体的运动相关性，也就是把图像切成16×16或32×32像素矩阵的块，再根据物体的运动矢量（mv）进行插值，由于算法是基于图像的块进行计算而非像素级（每个像素进行计算，计算量成几何级数上升，从芯片成本和可实现性上来看无法实现）导致对于小物体的运动矢量估计不准确，会导致小物体的丢失或出现重叠的现象。海思算法让“消失的足球”回来啦为了改善小物体的运动，海思芯片算法基于当前帧的频率特征计算图像块的运动矢量，这样就能改善小物体的运动矢量计算，大家看图3，消失的足球又回来了。很多人有在手机端看视频的经历，同样的视频在手机屏上看没有卡顿的感觉，但在电视上看会发现有明显的视频不流畅的问题。这是由于大部分网络视频流都是24/25/30fps帧率，而在手机屏上由于物体相同时间内从位置A到位置B的移动距离远远小于电视屏幕，通常液晶电视屏的尺寸一般是手机屏的8-10倍，导致低帧率的视频在电视侧更需要MEMC的技术来消除Judder。NO.1做到8K MEMC整合8K SoC内的芯片8K的电视是4K电视分辨率（像素点）的4倍，而且8K电视的主流尺寸是70-90寸，还有土豪喜欢的110寸，所以MEMC效果的好坏直接影响到电视用户的观影体验。海思最新的8K芯片Hi3751V900是第一家把8K MEMC整合到8K SoC内的芯片，把MEMC内置到8K主SoC里面可以和8K画质模块更好的配合，为消费者完美呈现8K身临其境的画质体验。小伙伴们是不是迫不及待就想看到基于海思最新8K芯片，8K MEMC的画质效果了？以上视频及图片仅用于解释及描述技术特性往期推荐
《海思：我在绘制一张通往智能世界的地图？》
《上海海思熊伟：如何筑就通往智能世界之路?》
如有兴趣，可扫描下方二维码关注留言，感谢！
转载：上海海思
免责声明：文章内容来自互联网，本站不对其真实性负责，也不承担任何法律责任，如有侵权等情况，请与本站联系删除。
转载请注明出处：海侃｜海思V900 MEMC：披着青铜外衣的王者-海思麒麟980相当于骁龙多少 https://www.yhzz.com.cn/a/10556.html