ffmpeg+opencv视频裁剪转码摄像头及鼠标事件详解

摘要：

紧接上一篇我们讲了视频批处理过程的具体实现，本篇我们将对摄像头捕获，麦克风和鼠标事件进行讲解。

最近发现很多人问怎么用FFmpeg采集摄像头图像，事实上FFmpeg很早就支持通过DShow获取采集设备（摄像头、麦克风）的数据了，只是网上提供的例子比较少。如果能用FFmpeg实现采集、编码和录制（或推流），那整个实现方案就简化很多，正因为这个原因，我想尝试做一个FFmpeg采集摄像头视频和麦克风音频的程序。经过一个星期的努力，终于做出来了。我打算把开发的心得和经验分享给大家。我分三部分来讲述：首先第一部分介绍如何用FFmpeg的官方工具（ffmpeg.exe）通过命令行来枚举DShow设备和采集摄像头图像，这部分是基础，能够快速让大家熟悉怎么用FFmpeg测试摄像头采集；第二部分介绍我写的采集程序的功能和用法；第三部分讲解各个模块包括采集、编码、封装和录制是如何实现的。

采集过程实现

这个程序叫“AVCapture”，能从视频采集设备（摄像头，采集卡）获取图像，支持图像预览；还可以采集麦克风音频；支持对视频和音频编码，支持录制成文件。该采集程序实现了枚举采集设备，采集控制、显示图像、视频/音频编码和录制的功能，其中输入（Input）、输出（Output）和显示（Paint）这三个模块分别用一个单独的类进行封装：CAVInputStream，CAVOutputStream，CImagePainter。CAVInputStream负责从采集设备获取数据，提供接口获取采集设备的属性，以及提供回调函数把数据传给上层。CAVOutputStream负责对采集的视频和音频流进行编码、封装，保存成一个文件。而CImagePainter则用来显示图像，使用了GDI绘图，把图像显示到主界面的窗口。

AVFormatContext *pFmtCtx = avformat_alloc_context(); AVDictionary* options = NULL; av_dict_set(&options, “list_devices”, “true”, 0); AVInputFormat *iformat = av_find_input_format(“dshow”); //printf(“Device Info=============\n”); avformat_open_input(&pFmtCtx, “video=dummy”, iformat, &options);

首先需要指定采集设备的名称。如果是视频设备类型，则名称以“video=”开头；如果是音频设备类型，则名称以“audio=”开头。调用avformat_open_input接口打开设备，将设备名称作为参数传进去，注意这个设备名称需要转成UTF-8编码。然后调用avformat_find_stream_info获取流的信息，得到视频流或音频流的索引号，之后会频繁用到这个索引号来定位视频和音频的Stream信息。接着，调用avcodec_open2打开视频解码器或音频解码器，实际上，我们可以把设备也看成是一般的文件源，而文件一般采用某种封装格式，要播放出来需要进行解复用，分离成裸流，然后对单独的视频流、音频流进行解码。虽然采集出来的图像或音频都是未编码的，但是按照FFmpeg的常规处理流程，我们需要加上“解码”这个步骤。

m_InputStream.SetVideoCaptureCB(VideoCaptureCallback); m_InputStream.SetAudioCaptureCB(AudioCaptureCallback); bool bRet; bRet = m_InputStream.OpenInputStream(); //初始化采集设备 if(!bRet) { MessageBox(_T(“打开采集设备失败”), _T(“提示”), MB_OK|MB_ICONWARNING); return 1; } int cx, cy, fps; AVPixelFormat pixel_fmt; if(m_InputStream.GetVideoInputInfo(cx, cy, fps, pixel_fmt)) //获取视频采集源的信息 { m_OutputStream.SetVideoCodecProp(AV_CODEC_ID_H264, fps, 500000, 100, cx, cy); //设置视频编码器属性 } int sample_rate = 0, channels = 0; AVSampleFormat sample_fmt; if(m_InputStream.GetAudioInputInfo(sample_fmt, sample_rate, channels)) //获取音频采集源的信息 { m_OutputStream.SetAudioCodecProp(AV_CODEC_ID_AAC, sample_rate, channels, 32000); //设置音频编码器属性 } //从Config.INI文件中读取录制文件路径 P_GetProfileString(_T(“Client”), “file_path”, m_szFilePath, sizeof(m_szFilePath)); bRet = m_OutputStream.OpenOutputStream(m_szFilePath); //设置输出路径 if(!bRet) { MessageBox(_T(“初始化输出失败”), _T(“提示”), MB_OK|MB_ICONWARNING); return 1; } StartCapture函数分别建立了一个读取视频包和读取音频包的线程，两个线程各自独立工作，分别从视频采集设备，音频采集设备获取到数据，然后进行后续的处理。（注意：两个线程同时向一个文件写数据可能会有同步的问题，FFmpeg内部可能没有做多线程安全访问的处理，所以最好在自己线程里加一个锁进行互斥，从而保护临界区的安全）

其中，读取摄像头数据的线程的处理代码如下： DWORD WINAPI CAVInputStream::CaptureVideoThreadFunc(LPVOID lParam) { CAVInputStream * pThis = (CAVInputStream*)lParam; pThis->ReadVideoPackets(); return 0; } int CAVInputStream::ReadVideoPackets() { if(dec_pkt == NULL) { prepare before decode and encode dec_pkt = (AVPacket *)av_malloc(sizeof(AVPacket)); } int encode_video = 1; int ret; //start decode and encode while (encode_video) { if (m_exit_thread) break; AVFrame * pframe = NULL; if ((ret = av_read_frame(m_pVidFmtCtx, dec_pkt)) >= 0) { pframe = av_frame_alloc(); if (!pframe) { ret = AVERROR(ENOMEM); return ret; } int dec_got_frame = 0; ret = avcodec_decode_video2(m_pVidFmtCtx->streams[dec_pkt->stream_index]->codec, pframe, &dec_got_frame, dec_pkt); if (ret < 0) { av_frame_free(&pframe); av_log(NULL, AV_LOG_ERROR, “Decoding failed\n”); break; } if (dec_got_frame) { if(m_pVideoCBFunc) { CAutoLock lock(&m_WriteLock); m_pVideoCBFunc(m_pVidFmtCtx->streams[dec_pkt->stream_index], m_pVidFmtCtx->streams[m_videoindex]->codec->pix_fmt, pframe, av_gettime() – m_start_time); } av_frame_free(&pframe); } else { av_frame_free(&pframe); } av_free_packet(dec_pkt); } else { if (ret == AVERROR_EOF) encode_video = 0; else { ATLTRACE(“Could not read video frame\n”); break; } } } return 0; }

如果是视频设备类型，则名称以“video=”开头；如果是音频设备类型，则名称以“audio=”开头。调用avformat_open_input接口打开设备，将设备名称作为参数传进去，注意这个设备名称需要转成UTF-8编码。然后调用avformat_find_stream_info获取流的信息，得到视频流或音频流的索引号，之后会频繁用到这个索引号来定位视频和音频的Stream信息。接着，调用avcodec_open2打开视频解码器或音频解码器，实际上，我们可以把设备也看成是一般的文件源，而文件一般采用某种封装格式，要播放出来需要进行解复用，分离成裸流，然后对单独的视频流、音频流进行解码。虽然采集出来的图像或音频都是未编码的，但是按照FFmpeg的常规处理流程，我们需要加上“解码”这个步骤。

鼠标事件

鼠标事件是视频操作最常见的事件行为，在视频区域裁剪，事件拖动过程中就必须有鼠标事件的参与，下面就是对鼠标行为接口的封装，内部参数比较繁杂，具体可以在IDE中尝试模拟整个过程的实现，这里就不做过多阐述。

def get_rect2(im, title=get_rect): def redo_click(param): param[start_x], param[start_y], param[end_x], param[end_y] = 0, -50, 0, -50, param[current_x], param[current_y], param[delta_x], param[delta_y] = 0, 0,0,0 param[is_finish], param[click_count] = 0, 0 mouse_value ={} redo_click(mouse_value) cv2.namedWindow(title) cv2.moveWindow(title, 100, 100) def onMouse(event, x, y, flags, param): if event == cv2.EVENT_LBUTTONDOWN: param[delta_x] = x – param[start_x] param[delta_y] = y – param[start_y] if event == cv2.EVENT_MOUSEMOVE and flags == cv2.EVENT_FLAG_LBUTTON: if abs(x – param[start_x]) < 10 : param[start_x] = x if abs(y – param[start_y]) < 10 : param[start_y] = y if abs(x – param[end_x]) < 10: param[end_x] = x if abs(y – param[end_y]) < 10: param[end_y] = y if x > param[start_x]+100 and x < param[end_x]-100 and y >param[start_y]+100 and y < param[end_y]-100: w = param[end_x] – param[start_x] param[start_x] = x – param[delta_x] param[end_x] = param[start_x] + w h = param[end_y] – param[start_y] param[start_y] = y – param[delta_y] param[end_y] = param[start_y] + h param[current_x],param[current_y] = x,y if event == cv2.EVENT_LBUTTONUP: if param[click_count] == 0: param[start_x],param[start_y],param[click_count] = x,y,1 elif param[click_count] == 1: param[click_count] = 2 elif param[click_count] >= 2: if x > param[start_x]+5 and x < param[start_x]+80-5 and y <param[end_y]-5 and y >param[end_y] – 30+5: param[is_finish] = 1 if x > param[end_x] – 70+5 and x < param[end_x]-5 and y <param[end_y]-5 and y >param[end_y] – 30+5: redo_click(param) if param[click_count] == 1: param[end_x],param[end_y] = x ,y if event == cv2.EVENT_RBUTTONDOWN: redo_click(param) cv2.setMouseCallback(title, onMouse, mouse_value) cv2.imshow(title, im) while mouse_value[is_finish] == 0: im_draw = np.copy(im) cv2.rectangle(im_draw,(mouse_value[start_x],mouse_value[start_y]),(mouse_value[end_x],mouse_value[end_y]),(0,1, 1),2) if mouse_value[click_count] == 0: point_str = (%s,%s) % (mouse_value[current_x],mouse_value[current_y]) cv2.putText(im_draw,point_str,(mouse_value[current_x]+5,mouse_value[current_y]+5), cv2.FONT_HERSHEY_TRIPLEX, 0.5, (0,1, 1), 1,100) if mouse_value[click_count] == 1: left_up_str = (%s,%s) % (mouse_value[start_x], mouse_value[start_y]) w = mouse_value[end_x]-mouse_value[start_x] h = mouse_value[end_y]-mouse_value[start_y] cv2.putText(im_draw,left_up_str,(mouse_value[start_x] – 10, mouse_value[start_y] – 10),cv2.FONT_HERSHEY_TRIPLEX, 0.5, (0, 1, 1), 1, 100) right_down_str = (%s,%s) size:(%s*%s) % (mouse_value[end_x],mouse_value[end_y],w,h) cv2.putText(im_draw, right_down_str,(mouse_value[end_x],mouse_value[end_y]),cv2.FONT_HERSHEY_TRIPLEX, 0.5, (0, 1, 1), 1, 100) if mouse_value[click_count] >= 2: left_up_str = (%s,%s) % (mouse_value[start_x], mouse_value[start_y]) w = mouse_value[end_x] – mouse_value[start_x] h = mouse_value[end_y] – mouse_value[start_y] cv2.putText(im_draw, left_up_str, (mouse_value[start_x] – 10, mouse_value[start_y] – 10),cv2.FONT_HERSHEY_TRIPLEX, 0.5, (0, 1, 1), 1, 100) right_down_str = (%s,%s) size:(%s*%s) % (mouse_value[end_x], mouse_value[end_y], w, h) cv2.putText(im_draw, right_down_str, (mouse_value[end_x], mouse_value[end_y]), cv2.FONT_HERSHEY_TRIPLEX,0.5, (0, 1, 1), 1, 100) cv2.rectangle(im_draw, (mouse_value[start_x], mouse_value[end_y] – 30),(mouse_value[start_x] + 80, mouse_value[end_y]), (0, 1, 1), 2) cv2.putText(im_draw,Confirm,(mouse_value[start_x]+5,mouse_value[end_y] – 10),cv2.FONT_HERSHEY_TRIPLEX,0.5,(0,0,1),1,100) cv2.rectangle(im_draw, (mouse_value[end_x]-70, mouse_value[end_y] – 30),(mouse_value[end_x], mouse_value[end_y]), (0, 1, 1), 2) cv2.putText(im_draw, Cancel, (mouse_value[end_x] – 65, mouse_value[end_y] – 10),cv2.FONT_HERSHEY_TRIPLEX, 0.5, (0, 0, 1), 1, 100) cv2.imshow(title,im_draw) _ = cv2.waitKey(1) cv2.destroyWindow(title) return (mouse_value[start_x],mouse_value[start_y]),(mouse_value[end_x],mouse_value[end_y])

采集开始时，视频和音频数据就会传递给相应的函数去处理，在该程序中，回调函数主要对图像或音频进行编码，然后封装成FFmpeg支持的容器（例如mkv/avi/mpg/ts/mp4）。另外，需要初始化OutputStream的VideoCodec和AudioCodec的属性，在我的程序中，视频编码器是H264，音频编码器用AAC，通过CAVInputStream对象获得输入流的信息之后再赋值给输出流相应的参数。最后调用m_OutputStream对象的OpenOutputStream成员函数打开编码器和录制的容器，其中我们需要传入一个输出文件路径作为参数，这个为录制的文件路径，路径是在Config.ini文件里配置的。如果OpenOutputStream函数返回true，则表示初始化输出流成功。