FFmpeg 音视频倍速控制

网上关于FFmpeg音视频倍速控制的资料不多，大部分都是讲通过FFmpeg命令去做音视频文件的倍速处理，通过FFmpeg api去 处理倍速的资料少之又少。

本文除了会讲到通过命令行处理倍速，还会讲到通过FFmpeg api的方式去处理音频倍速和视频倍速，进而合并成支持倍速的音视频发布成rtmp或者存成flv文件。

介绍FFmpeg的filter工具

音视频的倍速处理少不了filter这个工具，filter可以翻译成过滤器和滤波器。

按照处理数据的类型还可分为音频filter、视频filter、字幕filter，FFmpeg可以通过filter将音视频实现出非常多不同的filter效果，视频可以实现缩放、合并、裁剪、旋转、水印添加、倍速等效果，音频可以实现回声、延迟、去噪、混音、音量调节、变速等效果。

我们可以通过filter不同方式的组合去定制出我们想要的音视频特效

介绍FFmpeg命令行倍速

1、视频的倍速主要是通过控制filter中的setpts来实现,setpts是视频滤波器通过改变每一个pts时间戳来实现倍速的效果，如下只要把PTS缩小一半就可以实现2倍速，相反的是PTS增加一倍就达到2倍慢放的效果。

ffmpeg -i in.mp4 -filter:v "setpts=0.5*PTS" out.mp4
ffmpeg -i in.mp4 -filter:v "setpts=2.0*PTS" out.mp4

2、音频的倍速则是通过控制filter的atempo来实现，atempo的配置区间在0.5和2.0之间，如果需要更高倍速，则需要多个atempo串一起，下面是2、4倍速的实现命令。

ffmpeg -i in.mp4 -filter:"atempo=2.0" -vn out.mp4
ffmpeg -i in.mp4 -filter:"atempo=2.0,atempo=2.0" -vn out.mp4

3、同时对音视频进行2倍速。

ffmpeg -i in.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" out.mp4

视频倍速

视频倍速可以通过filter的setpts来更改视频的倍速，但是filter只对未编码的原始视频数据进行倍速处理。

我这边对于视频的处理是将H264进行格式封装，如果使用filter的话，我还需要先对H264解码，再做倍速转换，再重新编码成H264，这样将会消耗相当多的资源。

我这边对视频倍速就没必要用filter进行处理。其实视频倍速只需要改变封装格式时设置的时间戳就可以，所以我这边只要改变video_tempo这个参数的值即可，1000是正常倍速、2000是2倍速，依次叠加。

if (tempo != video_tempo && (tempo >= 1000 && tempo <= 16000)) {
  video_tempo = tempo;
  Logger::Info("video_tempo = %d", video_tempo);
}
 AVRational time_base = { 1, video_tempo};
 pkt.pts = av_rescale_q((ptsInc++) * 2, time_base, ost->st->time_base);
 pkt.dts = av_rescale_q_rnd(pkt.dts, ost->st->time_base, ost->st->time_base, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
 pkt.duration = av_rescale_q(pkt.duration, ost->st->time_base, ost->st->time_base);

音频倍速

音频倍速就需要用到filter进行处理了，我这边对音频的处理是，先解码音频，然后用filter进行倍速处理，对处理后的音频数据进行重采样再编码成AAC的音频格式。

如果只是对音频做处理，不做音视频封装，可以直接把filter处理后的数据存成PCM，即可验证音频的倍速。

1 . 初始化filter的abuffer,aformat,abuffersink滤波器，abuffer用于接收输入frame,形成待处理的数据缓存，abuffersink用于传出输出Frame，aformat过滤器约束最终的输出格式（采样率，声道数，存储位数等），而中间的其他过滤器可以串联多个filter，如volume（音量调节），atempo（变速）等。

int init_atempo_filter(AVFilterGraph **pGraph, AVFilterContext **src, AVFilterContext **out, char *value)
{
 //初始化AVFilterGraph
 AVFilterGraph *graph = avfilter_graph_alloc();
 //获取abuffer用于接收输入端
 const AVFilter *abuffer = avfilter_get_by_name("abuffer");
 AVFilterContext *abuffer_ctx = avfilter_graph_alloc_filter(graph, abuffer, "src");
 //设置参数，这里需要匹配原始音频采样率8000、数据格式（位数:16）、单声道
 if (avfilter_init_str(abuffer_ctx, "sample_rate=8000:sample_fmt=s16:channel_layout=mono") < 0) {
  Logger::Error("error init abuffer filter");
  return -1;
 }
 //初始化atempo filter
 const AVFilter *atempo = avfilter_get_by_name("atempo");
 AVFilterContext *atempo_ctx = avfilter_graph_alloc_filter(graph, atempo, "atempo");
 //这里采用av_dict_set设置参数
 AVDictionary *args = NULL;
 av_dict_set(&args, "tempo", value, 0);//这里传入外部参数，可以动态修改
 if (avfilter_init_dict(atempo_ctx, &args) < 0) {
  Logger::Error("error init atempo filter");
  return -1;
 }

 const AVFilter *aformat = avfilter_get_by_name("aformat");
 AVFilterContext *aformat_ctx = avfilter_graph_alloc_filter(graph, aformat, "aformat");
 if (avfilter_init_str(aformat_ctx, "sample_rates=8000:sample_fmts=s16:channel_layouts=mono") < 0) {
  Logger::Error("error init aformat filter");
  return -1;
 }
 //初始化sink用于输出
 const AVFilter *sink = avfilter_get_by_name("abuffersink");
 AVFilterContext *sink_ctx = avfilter_graph_alloc_filter(graph, sink, "sink");
 if (avfilter_init_str(sink_ctx, NULL) < 0) {//无需参数
  Logger::Error("error init sink filter");
  return -1;
 }
 //链接各个filter上下文
 if (avfilter_link(abuffer_ctx, 0, atempo_ctx, 0) != 0) {
  Logger::Error("error link to atempo filter");
  return -1;
 }
 if (avfilter_link(atempo_ctx, 0, aformat_ctx, 0) != 0) {
  Logger::Error("error link to aformat filter");
  return -1;
 }
 if (avfilter_link(aformat_ctx, 0, sink_ctx, 0) != 0) {
  Logger::Error("error link to sink filter");
  return -1;
 }
 if (avfilter_graph_config(graph, NULL) < 0) {
  Logger::Error("error config filter graph");
  return -1;
 }
 *pGraph = graph;
 *src = abuffer_ctx;
 *out = sink_ctx;
 Logger::Info("init filter success...");
 return 0;
}

2 . 注册所有过滤器

    avfilter_register_all();
 if (init_atempo_filter(&s_graph, &in_ctx, &out_ctx, "1.0") != 0) {
  Logger::Error("Codec not init audio filter");
  return -1;
 }

3 . 使用过滤器 将解码后的AVFrame通过av_buffersrc_add_frame(in_ctx, pFrameAudio)加入到输入过滤器上下文in_ctx中，通过av_buffersink_get_frame(out_ctx, pFrameAudio)获取处理完成的pFrameAudio。pFrameAudio就可以直接存成PCM或者再编码封装音视频格式。

    //将pFrameAudio放入输入filter上下文
 if (av_buffersrc_add_frame(in_ctx, pFrameAudio) < 0) {
  Logger::Error("error add frame");
 }
 //从输出filter上下文中获取pFrameAudio
 while (av_buffersink_get_frame(out_ctx, pFrameAudio) >= 0) {
  break;
 }

动态修改倍速说明

本文由于封装音视频倍速的时候，视频倍速处理是没有通过filter去做的，只是改变视频帧封装的时间戳达到倍速效果.如果最开始是以正常速度的倍速推流，过程中再去修改倍速参数，就会导致要写进的视频时间戳大于之前的时间戳，进而出错。

所以本文讲的ffmpeg的API控制音视频倍速是没办法通过动态调整倍速的。必须一开始就设置好倍速，后续就不能再改动。如果单独对音频进行动态修改倍速，则是没问题的。