前言
使用VideoToolbox硬编码H.264
使用VideoToolbox硬解码H.264
使用AudioToolbox编码AAC
在上一篇中，介绍了如何从麦克风采集声音并用AudioToolbox编码成AAC码流，这次是使用AudioToolbox来播放之前录制的AAC码流。
介绍
在iOS设备上播放音频，可以使用AVAudioPlayer（AVFoundation框架内），但是不支持流式播放。
Apple recommends that you use this class for audio playback unless you are playing audio captured from a network stream or require very low I/O latency.
本文尝试两种播放方式：
- 使用
AudioServicesPlaySystemSound（音频小于等于30s）； - 使用Audio Queue Services音频队列；
Guide
AAC码流结构图
AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。
了解AAC的码流结构，对Audio Queue Services的参数设置更清晰。
具体实现
1、使用AudioServicesPlaySystemSound
AudioServicesCreateSystemSoundID创建系统声音
AudioServicesAddSystemSoundCompletion设置回调
AudioServicesPlaySystemSound开始播放
- (void)onClick:(UIButton *)button {
[self.mButton setHidden:YES];
NSURL *audioURL=[[NSBundle mainBundle] URLForResource:@"abc" withExtension:@"aac"];
SystemSoundID soundID;
//Creates a system sound object.
AudioServicesCreateSystemSoundID((__bridge CFURLRef)(audioURL), &soundID);
//Registers a callback function that is invoked when a specified system sound finishes playing.
AudioServicesAddSystemSoundCompletion(soundID, NULL, NULL, &playCallback, (__bridge void * _Nullable)(self));
// AudioServicesPlayAlertSound(soundID);
AudioServicesPlaySystemSound(soundID);
}
- (void)onPlayCallback {
[self.mButton setHidden:NO];
}
以下是API的限制
- No longer than 30 seconds in duration
- In linear PCM or IMA4 (IMA/ADPCM) format
- Packaged in a .caf, .aif, or .wav file
虽然AAC音频不在支持列表里面，但是经过测试，播放是可以的。
2、使用Audio Queue Services音频队列
Audio Queue Services的播放步骤如下：
- 1，给buffer填充数据，并把buffer放入就绪的buffer queue；
- 2，应用通知队列开始播放；
- 3、队列播放第一个填充的buffer；
- 4、队列返回已经播放完毕的buffer，并开始播放下面一个填充好的buffer；
- 5、队列调用之前设置的回调函数，填充播放完毕的buffer；
-
6、回调函数中把buffer填充完毕，并放入buffer queue中。
遇到的问题
问题1：malloc错误
malloc: *** error for object 0x154e58498: incorrect checksum for freed object - object was probably modified after being freed.
Set a breakpoint in malloc_error_break to debug.
问题2：selector调用错误
Method cache corrupted. This may be a message to an invalid object, or a memory error somewhere else.
objc[12730]: receiver 0x13fe1d4f0, SEL 0x10004e2d8, isa 0x100051828, cache 0x100051838, buckets 0x13fd86650, mask 0x7, occupied 0x1
objc[12730]: receiver 112 bytes, buckets 128 bytes
objc[12730]: selector 'fillBuffer:'
objc[12730]: isa 'AACPlayer'
objc[12730]: Method cache corrupted.
这两个问题是出现在AudioQueueAllocateBuffer方法和fillBuffer的调用，而且是时而正常，时而崩溃。
先查看参数是否正确，通过xcode的debug工具，我们可以看到以下的数据：
(AudioStreamBasicDescription) $0 = {
mSampleRate = 44100
mFormatID = 1633772320
mFormatFlags = 0
mBytesPerPacket = 0
mFramesPerPacket = 1024
mBytesPerFrame = 0
mChannelsPerFrame = 1
mBitsPerChannel = 0
mReserved = 0
}
maxSize = 768
packetNums = 85
(mStartOffset = 0, mVariableFramesInPacket = 0, mDataByteSize = 23)
AudioStreamBasicDescription的参数很熟悉，因为就是我们上一篇的编码所设置的参数。
AudioQueueAllocateBuffer的参数audioQueue、buffer_size、audioBuffers都很正常，暂时排除存在问题的可能性。
fillBuffer方法中，有AudioFileReadPackets和AudioQueueEnqueueBuffer两个方法。AudioQueueEnqueueBuffer是把buffer放入到AudioQueue，参数检查没有问题。初步判断是AudioFileReadPackets存在问题。
通过多次调试，发现AudioFileReadPackets在偶然情况下回返回-60的情况，这时会导致崩溃。
通过google查到-60对应的是kAudioFilePositionError，回来检查AudioFileReadPackets的参数，发现参数没有初始化，每次调用的参数都不同。
查API文档知道AudioFileReadPackets的参数除了audioFileID和cache、packet长度，均为传入参数，参数是否初始化并不会影响。至此，fillBuffer方法的线索断了。
回顾了一下整体的流程，决定从malloc错误入手，在so上找到以下解释。
- you are freeing an object twice,
- you are freeing a pointer that was never allocated
- you are writing through an invalid pointer which previously pointed to an object which was already freed
内存访问越界，怎么会和selector调用错误扯上关系？百思不得其解。
最后，几经波折终于找到罪魁祸首。就是以下这行代码：
audioStreamPacketDescrption = malloc(sizeof(audioStreamPacketDescrption) * packetNums);
当我打过一次audioStreamPacketDescrption，再打AudioStreamPacketDescrption的时候，Xcode会自动索引为audioStreamPacketDescrption，导致sizeof会计算出不同的大小。
PS：按理说对一个结构体的类和结构体的实例进行sizeof，应该是一样的大小（不算动态分配）。
这个并没有错，可是为了方便我把audioStreamPacketDescrption定义成指针了！
两个教训：
1、不要起和类名一样的变量；
2、指针和实例的区别要从名字即可分清；
总结
本篇因为一个小失误，导致demo整整弄了6个多小时才完工。
播放比解码容易多，Audio Queue Services的使用就参照demo和上图的6个步骤，可以很清晰看懂，就不赘述。
顺便提一下，之前录制的aac音频和h264可以很方便的打包成mp4！看下图：
只需简单的一行指令：
ffmpeg -i abc.h264 -i abc.aac -vcodec copy -f mp4 abc.mp4
