FFmpeg—SurfaceView播放视频(三)

FFmpeg视频解析哦。

Posted by 陈再峰 on December 11, 2018

隔上个FFmpeg博客已经相隔很远了,主要是FFmpeg确实太难了,像我这种英文蹩脚,而且c/c++基础比较薄弱的人来说,学起来非常吃力。以下是FFmpeg解析视频将其在SurfaceView上播放视频的代码。

1、SurfaceView播放视频大概流程

MP4,AVI等为一种h264的视频编码格式,如果需要在SurfaceView中展示需要将其转化为RGB格式并一帧一帧的画到SurfaceView中。 关于视频编码格式的拓展:https://blog.csdn.net/houxiaoni01/article/details/78812485/ 流程

这个是一个大概的流程,详细流程是非常复杂的。

2、常用的一些api和方法

FFmpeg去解码转换视频是一个复杂的过程,在Android中是在c层完成的,所以需要具备一定的c/c++编码能力。而且里面用到的方法和struct也是非常多。

  • av_register_all() 初始化ffmpeg,基本用到ffmpeg第一句代码就是这个。
  • AVFormatContext 视频格式上下文,视频流可以通过这个struct来获取。
  • avformat_open_input() 打开一个输入流并读取标题。
  • avformat_find_stream_info() 读取一个媒体文件的数据包以获取流信息失败
  • AVCodecContext 编解码上下文,用于解码MP4。
  • avcodec_open2() 初始化AVCodecContext。
  • AVCodec 解码器,通过avCodecContext获得。
  • SwsContext 格式转换,用于配置转换的格式,宽高等其他属性。
  • AVPacket 数据包,可以理解为一帧包含的所有信息。
  • AVFrame 视频/音频的原始信息。
  • av_read_frame() 读取视频流的信息到AVPacket中
  • ANativeWindow 从SurfaceView中获取的原生窗体属性。
  • avcodec_decode_video2() 将AVPacket中的信息解析到AVFrame中

api的初始化流程大概如下: API的初始化流程

如果你看到这里,是不是感觉已经蒙圈了?没关系看完代码会更加蒙圈。况且我写完代码之后也是有些蒙圈的。

3、具体代码

为了使这些代码能够看懂,我还用了“有道翻译”将FFmpeg中的注释做了一些翻译。如果要我不看笔记去再写一份代码出来,绝对是做不到的。

extern "C"
JNIEXPORT void JNICALL
Java_com_app_axe_ffmpegstudy_playVideo_VideoView_playVideo(JNIEnv *env, jobject instance,
                                                           jstring path_, jobject surface) {
    const char *path = env->GetStringUTFChars(path_, 0);
    // 初始化ffmpeg
    av_register_all();

    // 获取AVFormatContext ,这个类存储这文件的音频和视频流信息
    AVFormatContext *avFormatContext = avformat_alloc_context();

    // 打开一个输入流并读取到AVFormatContext中,如果路径不对或者其他情况会返回-1 .返回-1则表示读文件出错
    int code = avformat_open_input(&avFormatContext, path, NULL, NULL);
    if (code < 0) {
        LOGE("打开一个输入流并读取标题失败");
        return;
    }

    // 读取一个媒体文件的数据包以获取流信息  如果返回0则获取成功,-1则获取失败
    int findCode = avformat_find_stream_info(avFormatContext, NULL);
    if (findCode < 0) {
        LOGE("读取一个媒体文件的数据包以获取流信息失败");
        return;
    }

    int video_stream_id = -1;
    // 遍历文件流,找到里面的视频流位置(因为文件可能有多个流(视频流,音频流)等等 )
    // nb_streams 代表流的个数
    for (int i = 0; i < avFormatContext->nb_streams; ++i) {
        // AVMEDIA_TYPE_VIDEO 来自 AVMediaType ,里面定义了多个类型
        if (avFormatContext->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            video_stream_id = i;
            break;
        }
    }

    // Codec context associated with this stream. Allocated and freed by  libavformat.
    // 与此流相关的编解码上下文。由libavformat分配和释放。
    // 获取到编解码上下文。根据视频流id获取
    AVCodecContext *avCodecContext = avFormatContext->streams[video_stream_id]->codec;

    // Find a registered decoder with a matching codec ID.
    // 找到一个带有匹配的编解码器ID的注册解码器。
    // 获取解码器
    AVCodec *avCodec = avcodec_find_decoder(avCodecContext->codec_id);

    // 打开解码器
    // Initialize the AVCodecContext to use the given AVCodec. Prior to using this
    // function the context has to be allocated with avcodec_alloc_context3().
    // 初始化AVCodecContext以使用给定的AVCodec。之前使用这个
    // 必须使用avcodecalloc context3()分配上下文。
    int codecOpenCode = avcodec_open2(avCodecContext, avCodec, NULL);
    if (codecOpenCode < 0) {
        LOGE("初始化AVCodec失败");
        return;
    }
    // 格式转换关键类
    // 首先这是mp4 如果需要解析成 yuv 需要用到 SwsContext
    // 构造函数传入的参数为 原视频的宽高、像素格式、目标的宽高这里也取原视频的宽高(可以修改参数)
    SwsContext *swsContext = sws_getContext(avCodecContext->width, avCodecContext->height,
                                            avCodecContext->pix_fmt,
                                            avCodecContext->width, avCodecContext->height,
                                            AV_PIX_FMT_RGBA, SWS_BICUBIC, NULL, NULL, NULL);
    // 解析的每一帧都是 AVPacket
    // 初始化AVPacket对象
    AVPacket *avPacket = (AVPacket *) av_malloc(sizeof(AVPacket));
    // (和c不一样的是,ffmpeg初始化参数的时候都有特定的方法去初始化)
    av_init_packet(avPacket);

    // 初始化AvFrame
    // This structure describes decoded (raw) audio or video data.
    // 这个结构描述了解码(原始的)音频或视频数据。
    // 这里需要将AvPacket(帧)里面的数据解析到AvFrame中去。(这里会在avcodec_decode_video2方法讲AvPacket的方法解析进去)
    AVFrame *srcFrame = av_frame_alloc();

    // 初始化 目标 Frame
    AVFrame *dstFrame = av_frame_alloc();
    // dstFrame分配内存
    u_int8_t *out_buffer = (u_int8_t *) av_malloc(
            avpicture_get_size(AV_PIX_FMT_RGBA, avCodecContext->width, avCodecContext->height));
    // 基于指定的图像参数设置图像字段
    // 以及所提供的图像数据缓冲区。
    avpicture_fill((AVPicture *) (dstFrame), out_buffer, AV_PIX_FMT_RGBA, avCodecContext->width,
                   avCodecContext->height);

    // 提供对本机窗口的访问
    ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
    // 视频缓冲区
    ANativeWindow_Buffer outBuffer;
    // ANativeWindow

    int got_frame;
    // 将视频数据读取到avPacket(avPacket代表一帧,这里的while循环也是一帧一帧读)
    while (av_read_frame(avFormatContext, avPacket) >= 0) {

        //  Decode the video frame of size avpkt->size from avpkt->data into picture.
        //  Some decoders may support multiple frames in a single AVPacket,
        //  such decoders would then just decode the first frame.
        // 将avPacket中的数据解析到srcFrame中去
        avcodec_decode_video2(avCodecContext, srcFrame, &got_frame, avPacket);
        // got_frame got_picture_ptr Zero if no frame could be decompressed, otherwise, it is nonzero.
        // 如果没有帧可以解压,则为0,否则为非0。
        if (got_frame) {
            // 设置缓存区
            ANativeWindow_setBuffersGeometry(nativeWindow, avCodecContext->width,
                                             avCodecContext->height, WINDOW_FORMAT_RGBA_8888);
            ANativeWindow_lock(nativeWindow, &outBuffer, NULL);

            // 将h264的格式转化成rgb
            // 从srcFrame中的数据(h264)解析成rgb存放到dstFrame中去
            sws_scale(swsContext, (const uint8_t *const *) srcFrame->data, srcFrame->linesize, 0,
                      srcFrame->height, dstFrame->data,
                      dstFrame->linesize
            );

            // 一帧的具体字节大小
            uint8_t *dst = static_cast<uint8_t *>(outBuffer.bits);
            // 每一个像素的字节  ARGB 一共是四个字节
            int dstStride = outBuffer.stride * 4;

            // 像素数据的首地址
            uint8_t *src = dstFrame->data[0];
            int srcStride = dstFrame->linesize[0];

            // 将 dstFrame的数据 一行行复制到屏幕上去
            for (int i = 0; i < avCodecContext->height; ++i) {
                memcpy(dst + i * dstStride, src + i * srcStride, srcStride);
            }
            ANativeWindow_unlockAndPost(nativeWindow);

            // 16微秒之后解析下一帧,因为人的眼睛无法观测到这个变化
            usleep(1000 * 16);
        }
        // 绘制完成之后,回收一帧资源Packet
        av_free_packet(avPacket);
    }
    // 回收窗体
    ANativeWindow_release(nativeWindow);

    // 回收Frame
    av_frame_free(&srcFrame);
    av_frame_free(&dstFrame);
    // 关闭解码器资
    avcodec_close(avCodecContext);
    avformat_free_context(avFormatContext);

    env->ReleaseStringUTFChars(path_, path);
}

读取视频时记得加上权限!

最后竟然能跑起来,真是不可思议。 最终播放效果

我其他的FFmpeg的博客:

代码地址:https://github.com/AxeChen/FFmpegStudy