海思HI35XX视频编码数据流向介绍

在海思HI3520DV300的设备上做拍照的功能，发现海思官方的SDK里面没有直接拍照的接口，如果要实现拍照功能，还需要自己设计一套接口。于是对海思的媒体数据流做了一个梳理。

这里介绍以NVP6134 ADC和HI3520DV300为基础的数据流走向。基本接口信息如下：

NVP6134 输入格式 4CH Video Input :CVBS / COMET :Universal 1M, 2M and 3/4/5M NRT 输出格式 Output in BT.656/BT.1120 4:2:2 byte interleave format with37.125/74.25/148.5/297MHz Support Sync Separate BT.601 Format (CLK/ H,V-SYNC/ 8’bit DATA) 图像信号处理 -. Support Video Standard Auto-Detection up to 5M NRT for Each CH -. Support 2*Video Output Port, Each Port Video Output FormatSelectable -. On Chip Analog CLAMP/Anti-aliasing Filter and EQ Filter -. Accepts CVBS,COMET, 720P@25p/30p/50p/60p,1080P@25p/30p, 1536P@18p, 1440@15p, 1944@12.5p -. Robust Sync detection for weak and unstable signals -. High-performance adaptive comb filter and Notch Filter -. Programmable H/V Peaking filter for Luminance -. CTI (Chrominance Transient Improvement) -. Color compensation for PAL -. IF compensation filter -. Robust No-video detection -. Programmable Brightness, Contrast, Saturation and Hue -. Programmable Picture Quality Control -. Programmable Gamma Correction

HI3520DV300

视频输入接口：

− 支持 2 个 8bit 接口或 1 个 16bit 接口

− 每个 8bit 接口支持 108/144MHz 4 路 D1/960H,时分复用输入，共支持8xD1/8x960H 实时视频输入

− 每个 8bit 接口支持 144/148.5MHz2 路 720p 时分复用输入，共支持4x720p@30fps 实时视频输入

− 每个 8bit 接口支持通过 148.5MHz 双沿采样或 297MHz 单沿采样实现 4 路 720p时分复用输入，共支持 8x720p@30fps 实时视频输入

− 每个 8bit 接口支持通过 148.5MHz 双沿采样或 297MHz 单沿采样实现 2 路 1080p 时分复用输入，共支持 4x1080p@30fps 实时视频输入

− 每个 8bit 接口支持 148.5MHz BT.1120 Y/C 间插模式输入，共支持2x1080p@30fps 实时视频输入

− 16bit 接口支持 148.5MHz BT.1120 标准模式，支持 1x1080p@60fps 实时视频输入

视频输出接口

− 支持 HDMI 1.4+VGA +CVBS 多视频输出；

− HDMI 与 VGA 同源输出

− HDMI/VGA 最高分辨率支持 1080p@60fps

− 提供一个高清图形层和一个标清图形层，格式为 ARGB1555、ARGB8888 可配置

− 提供一层硬件鼠标层，格式为 ARGB1555、ARGB8888 可配置，最大分辨率为128×128

− 支持视频层、图形层、鼠标层 Alpha 叠加

海思SDK中MPP

输入视频捕获、H.264/MJPEG/JPEG/MPEG4 编码、H264/H.265/VC1/MPEG4/MPEG2/AVS 解码、视频输出显示、视频图像前处理（包括去噪、增强、锐化、Deinterlace）、编码码流叠加 OSD、视频侦测分析、智能分析、音频捕获及输出、音频编解码等功能。

数据流走向分析 基本数据流示意图如下：

(1)从摄像头到ADC

对应上图①。这里使用的AHD(Analog High Definition 模拟高清分辨率)摄像头。AHD摄像头的优势在于：

第一，长距离高清信号传输，而且图像还原性好，清晰度更高。

第二，零延时。前端数据未经过编码压缩，直接传输到后端，保证全实时、高保真传输效果。

第三，兼容性好，物美价廉。

模式摄像头与数字摄像头的区别并不是通过感光器件来区分。其实不管你选择CCD还是CMOS，只要你输出的信号是数字的，就称为数字摄像头；输出的是标准模拟信号的，就是模拟摄像头，或多称为模拟摄像机。

这里传输的是复合视频信号：指在一个信号中包含了亮度信号、色度信号与同步信号（包括场同步、行同步信号及行场消隐信号） 。又称为CVBS，表示Color，Video，Blanking，Sync，或者composite video baseband signal。复合视频信号把亮度、色度与同步信号复合在一个信号通道上传输，也就是在传输前需要把色度信号与亮度信号“合成”在一个信号里，在传输后再将色度信号与亮度信号“分离”开来，送到显示电路处理，这里我们是先发送到ADC中去进行一个模拟信号到数据信号的转换。 (2)从ADC到海思的输入

对应上图的②。这里ADC转换后出来的是BT.656数据格式。直接接入到海思的一个8bit的视频输入接口。这里采用了时分多路复用的方式，将4路AHD摄像头转换后的数据根据不同时间都通过这8bit的接口传输到海思的hi3520DV300芯片上。示意图如下：

关于分时复用可以参考博客《网络传输：时分多路复用的原理》

(3)海思输入VI到输出VO

对应上图的③。海思官方有提供SDK,里面有个媒体处理软件平台(Media Process Platform,简称 MPP)，它可以完成输入视频捕获、H.264/MJPEG/JPEG/MPEG4 编码、H264/H.265/VC1/MPEG4/MPEG2/AVS 解码、视频输出显示、视频图像前处理（包括去噪、增强、锐化、Deinterlace）、编码码流叠加 OSD、视频侦测分析、智能分析、音频捕获及输出、音频编解码等功能。其中分很多模块，可以参考《HiMPP V3.0 媒体处理软件开发参考.pdf》。

这里是直接将VI输入的数据经过转换后直接输出，这里不会涉及到编码，所以这里是没有延时的。可以通过HDMI，VGA，或是CVBS接口将数据发送到显示屏中。

(4)从海思输入到编码输出

对应上图的④。这里就编码输出了。编码是在这里进行的，OSD视频水印的叠加也是在这里处理。这里主要输出的是编码压缩过后的数据，Hi3520DV300支持H.264/MJPEG/JPEG/MPEG4 编码输出。编码输出的数据流就可以用来做实时视频流，也可以用来做视频的存储。

原文链接：https://blog.csdn.net/li_wen01/article/details/89574756