ffmpeg（九）MP4/MP3解封装
前言
解封装包括很多层步骤，包括协议的解析，封装格式的解析。ffmpeg中，本地文件当做file://协议来解析，远程文件采用的传输协议有http(s),rtsp等等。封装格式比如MP4，MOV，TS，MPEG等等。对于ffmpeg来说，只需要调用一个借口函数即可完成解封装的所有步骤，非常简单
解封装相关流程
解封装相关函数介绍
1、AVFormatContext重要字段介绍(针对解封装后的)nb_streams:包含的流的个数 streams:每个流对象，流对象中包括音视频编码参数信息;具体存储在AVStream中AVCodecParameters对象里面 metadata:解封装对应格式的标签信息
AVCodecParameters codec_type:表示数据类型，音频数据或者视频数据 codec_id:音频或者视频采用的编码器 format:音频，采样格式；视频，像素格式 width/height:视频宽高 color_range:视频颜色范围;AVCOL_RANGE_MPEG:代表以BT601,BT709，BT2020等以广播电视系统类的颜色取值范围类型;AVCOL_RANGE_JPEG:代表以电脑等显示器类的颜色取值范围 color_space:颜色空间；比如RGB,YUV,CMYK等等 channel_layout:音频的声道类型 channels:音频的声道数 sample_rate:音频的采样率 frame_size:音频编码器设置的frame size大小
2、int avformat_open_input(AVFormatContext ps,const char url,ff_const59 AVInputFormat fmt,AVDictionary options)根据给定的url和fmt，options参数进行执行解封装，最终解封装的相关参数填入到ps中去，成功则返回0，失败则返回负数；
3、int avformat_find_stream_info(AVFormatContext *ps,AVDictionary **options)查找流信息，并尝试读取一个数据包，将编解码参数赋值给AVFormatContext; 成功返回0，失败返回负数
4、int av_dump_info(AVFormatContext ps,int index,const char url,int is_output)打印解封装后的参数信息
5、AVFormatContext *avformat_alloc_context(void)创建一个AVFormatContext对象，并赋值为初始值，不包含编码相关参数
6、AVIOContext avio_alloc_context( unsigned char buff, int buffer_size, int write_flag, void opaque, int (read_packet)(void opaque,uint8_t buffer,int buf_size), int (write_packet)(void opaque,uint8_t buffer,int buf_size), int64_t (seek)(void *opaque,int64_t offset,int whence) )创建一个AVIOContext对象，该对象创建完毕后赋值给AVFormatContext的pb对象。该赋值必须再avformat_open_input()函数调用之前完成；默认情况下，avformat_open_input()函数内部会自己创建pb和AVFormatContext对象，也可以用步骤5和6提前自定义
7、avformat_close_input(AVFormatContext **ps)关闭AVFormatContext上下文
8、avio_context_free()关闭AVIOContext上下文
实现代码
头文件
// // demuxer.hpp // video_encode_decode // // Created by apple on 2020/3/24. // Copyright © 2020 apple. All rights reserved. // #ifndef demuxer_hpp #define demuxer_hpp #include <stdio.h> #include <string> #include “CLog.h” extern “C”{ #include <libavutil/imgutils.h> #include <libavformat/avformat.h> #include <libavutil/error.h> #include <libavutil/file.h> #include <libavformat/avio.h> } using namespace std; /** ffmpeg编译完成后支持的解封装器位于libavformat目录下的demuxer_list.c文件中，具体的配置再.configure文件中，如下： * print_enabled_components libavformat/demuxer_list.c AVInputFormat demuxer_list $DEMUXER_LIST * xxxx.mp4对应的解封装器为ff_mov_demuxer */ class Demuxer { public: Demuxer(); ~Demuxer(); void doDemuxer(); }; #endif /* demuxer_hpp */<
实现文件
// // demuxer.cpp // video_encode_decode // // Created by apple on 2020/3/24. // Copyright © 2020 apple. All rights reserved. // #include “demuxer.hpp” struct buffer_data { uint8_t *ptr; uint8_t *ptr_start; size_t size; ///< buffer size }; Demuxer::Demuxer() { } Demuxer::~Demuxer() { } /** 参考ffmpeg源码file.c的file_seek方法。 * 1、该函数的作用有两个，第一个返回外部缓冲区的大小，类似于lstat()函数；第二个设置外部缓冲读取指针的位置(读取指针的位置 * 相对于缓冲区首地址来说的)，类似于lseek()函数 * 2、AVSEEK_SIZE 代表返回外部缓冲区大小 * 3、SEEK_CUR 代表将外部缓冲区读取指针从目前位置偏移offset * 4、SEEK_SET 代表将外部缓冲区读取指针设置到offset指定的偏移 * 5、SEEK_END 代表将外部缓冲区读取指针设置到相对于尾部地址的偏移 * 6、3/4/5情况时返回当前指针位置相对于缓冲区首地址的偏移。offset 的值可以为负数和0。 */ static int64_t io_seek(void* opaque,int64_t offset,int whence) { struct buffer_data *bd = (struct buffer_data*)opaque; if (whence == AVSEEK_SIZE) { return bd->size; } if (whence == SEEK_CUR) { bd->ptr += offset; } else if (whence == SEEK_SET) { bd->ptr = bd->ptr_start+offset; } else if (whence == SEEK_END) { bd->ptr = bd->ptr_start + bd->size + offset; } return (int64_t)(bd->ptr – bd->ptr_start); } /** 参考ffmpeg file.c的file_read()源码 * 1、该函数的意思就是需要从外部读取指定大小buf_size的数据到指定的buf中；这里外部是一个内存缓存 * 2、每次读取完数据后需要将读取指针后移 * 3、如果外部数据读取完毕，则需要返回AVERROR_EOF错误 * 4、读取成功，返回实际读取的字节数 */ static int io_read(void *opaque, uint8_t *buf, int buf_size) { static int total = 0; struct buffer_data *bd = (struct buffer_data *)opaque; buf_size = FFMIN(buf_size, (int)(bd->ptr_start+bd->size-bd->ptr)); total += buf_size; if (buf_size <= 0) return AVERROR_EOF; // LOGD(“ptr:%p size:%zu buf_size %d total %d\n”, bd->ptr, bd->size,buf_size,total); /* copy internal buffer data to buf */ memcpy(buf, bd->ptr, buf_size); bd->ptr += buf_size; return buf_size; } void Demuxer::doDemuxer() { string curFile(__FILE__); unsigned long pos = curFile.find(“1-video_encode_decode”); if (pos == string::npos) { LOGD(“can not find file”); return; } string recourDir = curFile.substr(0,pos)+”filesources/”; // mdata标签在moov之前 string srcPath = recourDir+”test_1280x720.MP4″; // mdata标签在moov之后 // string srcPath = “/Users/apple/Downloads/Screenrecorder-2020-03-31-16-36-12-749\(0\).mp4”; AVFormatContext *inFmtCtx = NULL; int ret = 0; #define Use_Custom_io 0 #if Use_Custom_io AVIOContext *ioCtx; uint8_t *io_ctx_buffer = NULL,*buffer = NULL; size_t io_ctx_buffer_size = 4096,buffer_size; buffer_data bd = {0}; ret = av_file_map(srcPath.c_str(),&buffer,&buffer_size,0,NULL); if (ret < 0) { LOGD(“av_file_map fail”); return; } bd.ptr = buffer; bd.ptr_start = buffer; bd.size = buffer_size; inFmtCtx = avformat_alloc_context(); if (inFmtCtx == NULL) { LOGD(“avformat_alloc_context fail”); return; } io_ctx_buffer = (uint8_t*)av_mallocz(io_ctx_buffer_size); /** 遇到问题：如果没有指定io_seek函数，对于MP4文件来说，如果mdata在moov标签的后面，采用自定义的AVIOContext时 * 候avformat_find_stream_info() 返回”Could not findcodec parameters for stream 0 ……..: * unspecified pixel formatConsider increasing the value for the analyzeduration and probesize options的错误 * av_read_frame()返回Invalid data found when processing input的错误 * 分析原因：在创建AVIOContext时没有指定seek函数 * 解决方案：因为创建AVIOContext时没有指定io_seek函数并正确实现io_read()和io_seek()相关逻辑；参考如上io_seek和io_read函数 */ ioCtx = avio_alloc_context(io_ctx_buffer,(int)io_ctx_buffer_size,0,&bd,&io_read,NULL,&io_seek); if (ioCtx == NULL) { LOGD(“avio_alloc_context fail”); return; } inFmtCtx->pb = ioCtx; #endif /** 遇到问题：avformat_open_input -1094995529 * 原因分析：这里要打开的文件是MP4文件，而对应的MP4的解封装器没有编译到ffmpeg中，–enable-demuxer=mov打开重新编译即可。 */ /** 参数1：AVFormatContext 指针变量，可以用avformat_alloc_context()先初始化或者直接初始化为NULL * 参数2：文件名路径 * 参数3：AVInputFormat，接封装器对象，传NULL，则根据文件名后缀猜测。非NULL，则由这个指定的AVInputFormat进行解封装 * 参数4：解封装相关参数，传NULL用默认即可 */ ret = avformat_open_input(&inFmtCtx,srcPath.c_str(),NULL,NULL); if (ret < 0) { LOGD(“avformat_open_input fail %d error:%s”,ret,av_err2str(ret)); return; } LOGD(“ddd probesize %d analyzeduration %d”,inFmtCtx->probesize,inFmtCtx->max_analyze_duration); ret = avformat_find_stream_info(inFmtCtx,NULL); if (ret < 0) { LOGD(“avformat_find_stream_info fail %d error:%s”,ret,av_err2str(ret)); return; } LOGD(“begin av_dump_format”); av_dump_format(inFmtCtx,0,NULL,0); LOGD(“end av_dump_format”); // 解析出封装格式中的标签 LOGD(“begin mediadata \n\n”); const AVDictionaryEntry *tag = NULL; while ((tag = av_dict_get(inFmtCtx->metadata, “”, tag, AV_DICT_IGNORE_SUFFIX))) { LOGD(“tag key:%s value:%s”,tag->key,tag->value); } LOGD(“end mediadata \n\n”); // 解析出封装格式中的编码相关参数 for (int i = 0;i<inFmtCtx->nb_streams;i++) { AVStream *stream = inFmtCtx->streams[i]; enum AVCodecID cId = stream->codecpar->codec_id; int format = stream->codecpar->format; if (stream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { LOGD(“begin video AVStream \n\n”); LOGD(“code_id %s format “,avcodec_get_name(cId)); const AVPixFmtDescriptor *fmtDes = av_pix_fmt_desc_get((enum AVPixelFormat)format); LOGD(“AVPixFmtDescriptor name %s”,fmtDes->name); LOGD(“width %d height %d”,stream->codecpar->width,stream->codecpar->height); /** 颜色的取值范围 * AVCOL_RANGE_MPEG:代表以BT601,BT709，BT2020等以广播电视系统类的颜色取值范围类型 * AVCOL_RANGE_JPEG:代表以电脑等显示器类的颜色取值范围 */ LOGD(“color_range %d”,stream->codecpar->color_range); /** 所采用的颜色空间，比如RGB,YUV,CMYK等等 */ LOGD(“color_space %s”,av_get_colorspace_name(stream->codecpar->color_space)); LOGD(“video_delay %d\n\n”,stream->codecpar->video_delay); } else if (stream->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) { LOGD(“begin audio AVStream \n\n”); LOGD(“code_id %s format “,avcodec_get_name(cId)); LOGD(“samplefmt %s”,av_get_sample_fmt_name((enum AVSampleFormat)format)); LOGD(“channel_layout %s channels %d”,av_get_channel_name(stream->codecpar->channel_layout),stream->codecpar->channels); LOGD(“sample_rate %d”,stream->codecpar->sample_rate); LOGD(“frame_size %d”,stream->codecpar->frame_size); } else { LOGD(“other type”); } } LOGD(“end AVStream\n\n”); AVPacket *packet = av_packet_alloc(); static int num = 0; LOGD(“begin av_read_frame”); while ((ret = av_read_frame(inFmtCtx, packet)) >= 0) { num++; // LOGD(“av_read_frame size %d num %d”,packet->size,num); av_packet_unref(packet); } LOGD(“end av_read_frame ret %s”,av_err2str(ret)); /** 释放内存 */ avformat_close_input(&inFmtCtx); // 对于自定义的AVIOContext，先释放里面的buffer，在释放AVIOContext对象 #if Use_Custom_io if (ioCtx) { av_freep(&ioCtx->buffer); } avio_context_free(&ioCtx); av_file_unmap(buffer, buffer_size); #endif }<
备注：分别实现了自定义AVIOContext的方式和采用avformat_opent_input()函数默认方式进行解封装，Use_Custom_io为0代表采用默认方式
遇到问题
1、如果没有指定io_seek函数，对于MP4文件来说，如果mdata在moov标签的后面，采用自定义的AVIOContext时候avformat_find_stream_info() 返回”Could not findcodec parameters for stream 0 ……..:unspecified pixel formatConsider increasing the value for the analyzeduration and probesize options的错误av_read_frame()返回Invalid data found when processing input的错误 分析原因：在创建AVIOContext时没有指定seek函数 解决方案：因为创建AVIOContext时没有指定io_seek函数并正确实现io_read()和io_see()相关逻辑；参考如上io_seek和io_read函数
