iOS短视频SDK中的AVFoundation实践

1. 前言

iOS中,AVFoundation是一个集视频播放、播放缓存、视频转码、图层混合、混音、变调、变速等诸多功能的多媒体库,在iOS短视频SDK中,使用到了
AVFoundation的硬解和播放模块,以下将介绍短视频SDK中对这些模块的应用实践和遇到的问题以及解决方案。

2. 基本概念

  1. 解码:将压缩数据还原为未压缩数据,关于利用VideoToolbox硬解H.264可以参考这篇文章
  2. 编码:将原始数据进行压缩生成另一种格式;
  3. 转码:将已压缩的视频码流转换成另一种视频码流;

3. 问题及解决方案

AVFoundation中提供了多层可用于播放的组件,例如AVPlayerViewControllerAVPlayer,这些系统组件可以满足视频的基本播放功能,在项目中,我们采用了AVPlayer进行播放预览,但使用中遇到不少问题,后改用AVAssetReader做解码,对解码后的数据进行处理后做预览。下面介绍播放预览中系统组件的一些使用注意事项。

3.1 MediaToolBox使用注意事项

在使用AVPlayer做音频变调、混响的预览时,用到了MTAudioProcessingTap ,该类的所有回调是以函数指针存放于结构体中:

typedef struct {
    int version;
    void* CM_NULLABLE clientInfo;
    MTAudioProcessingTapInitCallback CM_NULLABLE init;
    MTAudioProcessingTapFinalizeCallback CM_NULLABLE finalize;
    MTAudioProcessingTapPrepareCallback CM_NULLABLE prepare;
    MTAudioProcessingTapUnprepareCallback CM_NULLABLE unprepare;
    MTAudioProcessingTapProcessCallback CM_NONNULL process;
} MTAudioProcessingTapCallbacks;

OCC函数交互时,我们会在clientInfo变量中存放OC对象,在C语言函数的回调方法里使用__bridge的方式获取OC对象。
OC对象释放时,MTAudioProcessingTapcallback才返回,在回调的C函数里面获取到的clientInfo就是野指针,crash就产生了。
clientInfo指向的对象被释放时,需要保存已释放的状态,在回调里首先检查该状态,判断当前对象是否释放,以避免造成野指针访问。

3.2 AVAssetReader使用注意事项

AVAssetReader可用于读取AVAsset媒体资源的轨道数据,支持解码、格式转换、mix等操作。但注意事项也不少:

  1. AVAssetReader不可重复调用startReading,当出现failcomplete状态后也不能重复调用;
  2. AVAssetReader做解码的时候,切换后台/来电会失去GPU权限,造成解码失败,AVAssetReader也变成fail状态。异常打断结束后,需要重启reader,并确定reader重启成功,否则需要retry
  3. AVAssetReader启动后调用seek时,并不会很精准seek到目标点,一般会比指定的时间早几帧(AVPlayer的精准seek,也有同样的问题),需要记录seek的目标时间点,如果seek后读取出的buffer携带的 ptsseek的目标时间小,需要抛弃该数据;
  4. AVAssetReaderOutput不可重复添加,也不可在AssetReader调用startReading后添加;
  5. AVAssetReaderOutput不可在未添加前调用 copyNextSampleBuffer
  6. AVAssetReader释放资源时,需要调用cancelReading来释放 AVAsset资源,否则会出现fetch不到该资源的问题;
  7. AVAssetReader对文件视频首帧非关键帧的视频会解码失败,这说明AVAssetReader对文件格式要求很严格,不够鲁棒;
  8. AVAssetReader不支持m3u8文件,回出现读取不到轨道信息的情况,如果需要解析HLS视频,需要使用FFMpeg进行解封装和VideoToolBox解码;
  9. AVAssetReader内部创建了解码器和缓存列表,但解码器数量是有限制的(同AVPlayerItem)。

当然AVAssetReader 只做demux,不做解码工作时可以避免上述一些问题,但需要自行使用VideoToolBox进行硬解,pixel format转换也得单独处理。

3.3 AudioQueue使用注意事项

AudioQueue可进行音频播放,开播前会预缓存一定数量的buffer数据。在allocate buffer时,需要设置buffer的大小,该大小需要根据audio data format来设置,正常播放没有问题,但播放速度非1.0的情况下,buffer太小时或太大,都会有异常的问题,需要考虑的有mBytesPerFramemChannelsPerFrame以及mSampleRate

而解码后得到的音频frame buffer中采样数并不固定,当多音频播放时,需要考虑是否存在audio data format变化的问题。
当然,每次切换音频,重启AudioQueue也是一种方案。

AudioQueue的数据获取采用的是pull模式。在
AudioQueueOutputCallback的回调中,需要Enqueue待缓存的AudioQueueBufferRef
Enqueue的时候,可能会触发AudioQueueStop或者AudioQueueDispose,尽管inImmediate设置为true,也会造成假死一段时间,需要在 AudioQueueOutputCallback的回调函数中先检查状态是否需要停止,如果为正常状态,则Enqueue buffer,否则flush掉当前 AudioQueue的数据。

4. 结语

以上是iOS短视频使用到的AVFoundation组件时遇到的问题,在 金山云多媒体SDK中硬编直接使用VideoToolBox做编码,避免了一些AVAssetWriter的问题,此处未做赘述。
以上是遇到的一些问题,欢迎指正。

推荐阅读更多精彩内容