AudioUnit

在iOS平台上,所有的音频框架底层都是基于AudioUnit实现的。较高层次的音频框架包括:MediaPlayer、AVFoundation、OpenAL和AudioToolBox,这些框架都封装了AudioUnit,然后提供了更高层次的API(功能更少,职责更单一的接口)。


16a8dc6da3e49765.png

当开发者在开发音频相关产品的时候,如果对音频需要更高程度的控制、性能以及灵活性,或者使用一些特殊功能(回声消除)的时候,可以直接使用AudioUnit API。苹果官方文档中描述,AudioUnit提供了音频快速的模块化处理,如果在一下场景下,更适合使用AudioUnit而不是使用更高层次的音频框架。

  • 想使用低延迟的音频I/O(input或者output),比如说在VoIP(基于IP的语音传输)的应用场景下。
  • 多路声音的合成并且回放,比如游戏和音乐合成器的应用。
  • 使用AudioUnit里面提供的特有功能,比如:回声消除、Mix两轨音频、以及均衡器、混响器等效果器。
  • 需要图状结构来处理音频,可以将音频处理模块组装到灵活的图状结构中,苹果公司为音频开发者提供了这种API。

1.认识AudioSession

在iOS的音视频开发中,使用具体API之前都会先创建一个会话,这里也不意外,但在这之前,先来认识一下音频会话(AudioSession),其用于管理与获取iOS设备音频的硬件信息,并且是以单例的形式存在。可以使用如下代码来获取AudioSession的实例:

AVAudioSession *audioSession = [AVAudioSession sharedInstance];

获得AudioSession的实例之后,就可以设置以何种方式使用音频硬件做哪些处理了,基本的设置具体如下所示。
1)根据我们需要硬件设备提供的能力来设置类别:

[audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:&error];

2)设置I/O的Buffer,Buffer越小则说明延迟越低:

NSTimeInterval bufferDuration = 0.002;
[audioSession serPreferredIOBufferDuration:bufferDuration error:&error];

3)设置采样频率,让硬件设备按照设置的采样频率来采集或者播放音频:

double hwSampleRate = 44100.0;
[audioSession setPreferredSampleRate:hwSampleRate error:&error];

4)当设置完毕所有的参数之后就可以激活AudioSession了,代码如下:

[audioSession setActive:YES error:&error];

2.构建AudioUnit

在创建并启用音频会话之后,就可以构建AudioUnit了。构建AudioUnit的时候需要制定类型(Type)、子类型(subtype)以及厂商(Manufacture).类型(Type)就是四大类型的AudioUnit的Type;而子类型(subtype)就是该大类型下面的子类型(比如Effect该大类型下面有EQ、Compressor、limiter等子类型);厂商(Manufacture)一般情况下比较固定,直接写成kAudioUnitManufacturer_Apple就可以了。利用以上这三个变量开发者可以完整描述出一个AudioUnit了,比如使用下面的代码创建一个RemoteIO类型的AudioUnit:

AudioComponentDescription ioUnitDescription;
ioUnitDescription.conponentType = kAudioUnitType_Output;
ioUnitDescription.componentSubType = kAudioUnitSubType_RemoteIO;
ioUnitDescription.componentManufactureer = kAudioUnitManufacturer_Apple;
ioUnitDescription.conponentFlags = 0;
ioUnitDescription.conponentFlagsMask = 0;

上诉代码构造了RemoteIO类型的AudioUnit描述的结构体,那么如何使用这个描述来构造真正的AudioUnit呢?有两种方式:第一种方式是直接使用AudioUnit裸的创建方式;第二种方式是使用AUGraph和AUNode(其实一个AUNode就是对AudioUnit的封装)来构建。下面就来分别介绍这两种方式。
(1)裸创建方式
首先根据AudioUnit的描述,找出实际的AudioUnit类型:

AudioComponent ioUnitRef = AudioComponentFindNext(NULL,&ioUnitDescription);

然后声明一个AudioUnit引用:

AudioUnit ioUnitInstance;

最后根据类型创建这个AudioUnit实例:

AudioConponentInstanceNew(isUnitRef,&ioUnitInstance);

(2)AUGraph创建方法
首先声明并且实例化一个AUGraph:

AUGraph processingGraph;
NewAUGraph(&processingGraph);

然后按照AudioUnit的描述在AUGraph中添加了一个AUNode:

AUNode ioNode;
AUGraphAddNode(processingGraph,&ioUnitDescription,&isNode);

接下来打开AUGraph,其实打开AUGraph的过程也是间接实例化AUGraph中所有的AUNode。注意,必须在获取AudioUnit之前打开整个AUGraph,否则,我们将不能从对应的AUNode中获取正确的AudioUnit:

AUGraphOpen(processingGraph);

最后在AUGraph中的某个Node里获得AudioUnit的应用:

AudioUnit ioUnit;
AUGraphNodeInfo(processingGraph,ioNode,NULL,&ioUnit);

3.AudioUnit的通用参数设置

本节将以RemoteIO这个AudioUnit为例来讲解AudioUnit的参数设置,RemoteIO这个AudioUnit是与硬件IO相关的一个Unit,它分为输入端和输出端(I代表Input,O代表Output)。输入端一般是指麦克风,输出端一般是指扬声器(Speaker)或者耳机。如果需要同时使用输入输出,即K歌应用中的耳返功能(用户在唱歌或者说话的同时,耳机会将麦克风收录的声音播放出来,让用户能够听到自己的声音),则需要开发者做一些设置将它们连起来。


11386185-b205827ce3a7309a.png

上图中的RemoteIO Unit分为Element0和Element1,其中Element0控制输出端,Element1控制输入端,同时每个Element又分为Input Scope和Output Scope。如果开发者想要使用扬声器的声音播放功能,那么必须将这个Unit的Element0的OutputScope和Speaker进行连接。而开发者想要使用麦克风的录音功能,那么必须将这个Unit的Element1的InputScope和麦克风进行连接。使用扬声器的代码如下:

OSStatus status = noErr;
UInt32 oneFlag = 1;
UInt32 busZero = 0;// Element 0
status = AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_output,busZero,&oneFlag,sizeof(oneFlag));
CheckStatus(status,@"Could not Connect To Speaker",YES);

上面这段代码就是把RemoteIOUnit的Element0的OutputScope连接到Speaker上,连接过程会返回一个OSStatus类型的值,可以使用自定义的CheckStatus函数来判断错误并且输出Could not Connect To Speaker的提示。具体的CheakStatus函数如下:

static void CheckStatus(OSStatus status,NSString *message,BOOL fatal)
{
      if(status != noErr)
      {
              char fourCC[16];
              *(UInt32 *)fourCC = CFSwapInt32HostToBig(status);
              fourCC[4] = '\0';
              if(isprint(fourCC[0]) && isprint(fourCC[1]) && isprint(fourCC[2]) && isprint(fourCC[3]))
                    NSLog(@"%@:%s",message,fourCC);
              else
                    NSLog(@"%@:%d",message,(int)status);
              if(fatal)
                    exit(-1);
      }
}

接下来再来看一下如何启动麦克风的代码:

UInt32 busOne = 1; // Element 1
AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_input,busOne,&oneFlag,sizeof(oneFlag));

上面这段代码就是把RemoteIOUnit的Element1的InputScope连接上麦克风。连接成功之后,就应该给AudioUnit设置数据格式了,AudioUnit的数据格式分为输入和输出两个部分,下面先来看一下Audio Stream Format的描述:

UInt32 bytesPerSample = sizeof(Float32);
AudioStreamBasicDescription asbd;
bzero(&asbd,sizeof(asbd));
asbd.mFormatID = kAudioFormatLinearPCM;
asbd.mSampleRate = _sampleRate;
asbd.mChannelsPerFrame = channels;
asbd.mFramesPerPacket = 1;
asbd.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;
asbd.mBitsPerChannel = 8*bytesPerSample;
asbd.mBytesPerFrame = bytePerSample;
asbd.mBytesPerPacket = bytesPerSamele;

上面这段代码展示了如何填充AudioStreamBasicDescription结构体,其实在iOS平台做音视频开发久了就会知道:不论音频还是视频的API都会接触到很多StreamBasicDescription,该Description是描述音视频具体格式的。下面就来具体分析一下上述代码是如何制定格式的。

  • mFormatID参数可用来制定音频的编码格式,此处制定音频的编码格式为PCM格式。
  • 接下来是设置声音的采样率、声道数以及每个Packet有几个Frame。
  • mFormatFlags是用来描述声音表示格式的参数,代码中的第一个参数指定每个sample的表示格式是Float格式,这点类似于之前讲解的每个sample都是使用2个字节(SInt16)来表示;然后就是后面的参数NonInterleaved,字面理解这个单词的意思是非交错的,其实对于音频来讲就是左右声道是非交错存放的,实际的音频的数据会存储在一个AudioBufferList结构中的变量mBuffers[0]里面,右声道就会在mBuffers[1]里面;而如果mFormatFlags指定的是Interleaved的话,那么左右声道就会交错排列在mBuffers[1]里面。
  • 接下来的mBitsPerChannel表示的是一个声道的音频数据用多少位来表示,前面已经提到过每个采样时候用Float来表示,所以这里使用8乘以每个采样的字节数来赋值。
  • 最终是参数mBytesPerFrame和mBytesPerPacket的赋值,这里需要根据mFormatFlags的值来进行分配,如果在NonInterleaved的情况下,就赋值为bytesPerSamele(因为左右声道是分开存放的),这样才能表示一个Frame到底有多少个byte。

至此,我们就完全构造好了这个BasicDescription结构体,下面将这个结构体设置给对应的AudioUnit,代码如下:

AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_StreamFormat,kAudioUnitScope_output,1,&asbd,sizeof(asbd));

4.AudioUnit的分类

介绍完了AudioUnit的通用设置之后,本节就来介绍一下AudioUnit的分类。iOS按照AudioUnit的用途将AudioUnit分为五大类型,本节将从全局的角度出发来认识各大类型以及其下的子类型,并且还会介绍他们的用途,以及对应参数的意义。

(1)Effect Unit

类型是kAudioUnitType_Effect,主要提供声音特效处理的功能。其子类型及用途说明如下。

  • 均衡效果器:子类型是kAudioUnitSubType_NBandEQ,主要作用是为声音的某些频带增强或者减弱能量,该效果器需要制定多个频带,然后为各个频带设置带宽设置宽度以及增益,最终将改变声音在频域上的能量分布。
  • 压缩效果器:子类型是kAudioUnitSubType_DynamicsProcessor,主要作用是当声音较小的时候可以提高声音的能量,当声音的能量草果设置的阈值时,可以降低声音的能量,当然应合理的设置作用时间、释放时间以及触发值,使得最终可以将声音在时域上的能量压缩到一定范围之内。
  • 混响效果器:子类型是kAudioUnitSubType_Reverb2,对于人声处理来讲这是非常重要的效果器,可以想象自己身处在一个空房子中,如果有非常多的反射声和原始声叠加在一起,那么从听感上可能会更有震撼力,但是同时原始声音也会变得更加模糊,原始声音的细节会被遮盖住,所以混响的设置的大小对于不同的人来讲会很不一致,可以根据自己的喜好来进行设置。
    Effect Unit下最长使用的就是这三种效果器,当然其下还有很多子类型的效果器,像高通(HighPass)、低通(LowPass)、带通(BandPass)、延迟(Delay)、压限(Limiter)等效果器,大家可以自行尝试一下,感受一下各自的效果。

(2)Mixer Units

类型是kAudioUnitType_Mixer,主要提供Mix多路声音的功能。其子类型及用途如下。

  • 3D Mixer:该效果器在移动设备上是无法使用的,仅仅在OS X上可以使用,所以这里不做介绍。
  • MultiChannelMixer:子类型是kAudioUnitSubType_MultiChannelMixer,它是多路声音混音的效果器,可以接收多路音频的输入,还可以分别调整每一路音频的增益与开关,并将多路音频合并一路,该效果器在处理音频的图状结构中非常有用。

(3)I/O Units

类型是kAudioUnitType_Output,它的用途就像分类的名字一样,主要提供的就是I/O的功能。其子类型及用途说明如下。

  • RemoteIO:子类型是kAudioUnitSubType_RemoteIO,从名字上可以看出,这是用来采集音频和播放音频的,其实当开发者的应用场景中要使用麦克风及扬声器的时候会用到该AudioUnit.
  • Generic Output:子类型是kAudioUnitSubType_GenericOutput,当开发者需要进行离线处理,或者说在AUGraph中不适用Speaker(扬声器)来驱动整个数据流,而是希望使用一个输出(可以放入内存队列或者进行磁盘I/O操作)来驱动数据时,就使用该类型。

(4)Format Converter Units

类型是kAudioUnitType_FormatConverter,主要用于提供格式转换的功能,比如:采样格式由Float到SInt16的转换、交错和平铺的格式转换、单双声道的转换等,其子类型及用途说明如下。

  • AUConverter:子类型是kAudioUnitSubType_AUConverter,格式转换效果器,当某些效果器对输入的音频格式由明确的要求时,或者开发者将音频数据输入给一些其他的编码器进行编码,又或者开发者想使用SInt16格式的PCM裸数据在其他CPU上进行音频算法计算等的场景下,就需要这个ConverterNode了。下面来看一个比较典型的场景,我们自定义一个音频播放器,由FFmpeg解码出来的PCM数据是SInt16格式的,因此不能直接输出给RemoteIO Unit,最终才能正常播放出来。
  • Time Pinch:子类型是kAudioUnitSubType_NewTimePitch,即变速变调效果器,可以对声音的音高、速度进行调整。

(5)Generator Units

类型是kAudioUnitType_Generator,在开发中我们经常使用它来提供播放器的功能,其子类型及用途说明如下。

  • AudioFilePlayer:子类型是kAudioUnitSubType_AudioFilePlayer,在AudioUnit里面,如果我们的输入不是麦克风,而希望其实一个媒体文件。需要注意的是,必须在初始化AUGraph之后,再去配置AudioFilePlayer的数据源以及播放范围等属性,否则就会出现错误,其实数据源还是会调用AudioFile的解码功能,将媒体文件中的压缩数据解压成为PCM裸数据,最终再交给AudioFilePlayer Unit进行后续处理。

5.构造一个AUGraph

实际的K歌应用中,会对用户发出的声音进行处理,并且立即给用户一个耳返(在50ms之内将声音输出到二级中,让用户可以听到)。那么如何让RemoteIOUnit利用麦克风采集出来的声音,经过中间效果器的处理,最终输出到Speaker中播放给用户呢?下面就来介绍一下如何以AUGraph的方式将声音采集、声音处理以及声音输出的整个过程管理起来。


16a8dc6ddfa36bc8.png

首先要知道数据可以在通道中传递是由最右端Speak(RemoteIO Unit)来驱动的,它会向其上一级——AUNode要数据,然后它的前一级继续向前一级要数据,并最终从RemoteIOUnit的Element1(即麦克风)中要数据,这样就可以将数据按相反的方向一级一级地传递下去,最终传递到RemoteIOUnit的Element0(即Speaker)并播放给用户听到。当然你想离线处理的时候应该由谁来进行驱动呢?其实在进行离线处理的时候应该使用Mixer Unit大类型下面子类型为Generic Output的AudioUnit来做驱动端。那么这些AudioUnit或者说AUNode是如何进行连接的呢?有两种方式,第一种方式是直接将AUNode连接起来;第二种方式是通过回调的方式将AUNode连接起来。
(1)直接连接的方式

AUGraphConnectNodeInput(mPlayerGraph,mPlayerNode,0,mPlayerIONode,0);

将Audio File Player Unit和RemotelIO Unit直接连接起来,当Remote Unit需要播放数据的时候,就会调用AudioFilePlay Unit来获取数据,这样就把这两个AudioUnit连接起来了。
(2)回调的方式

AURenderCallbackStruct renderProc;
renderProc.inputProc = &inputAvailableCallback;
renderProc.inputProcRefCon = (__bridge void *)self;
AUGraphSetNodeInputCallback(mGraph,ioNode,0,&finalRenderProc);

这段代码首先是构造一个AURenderCallBack的结构体,并制定一个回调函数,然后设置给RemoteIO Unit的输入端,当RemoteIO Unit需要数据输入的时候就会回调该回调函数,回调函数代码如下:

static OSStatus renderCallback(void *inRefCon,AudioUnitRenderActionFlags *ioActionFlags,const AudioTimeStamp *inTimeStamp,UInt32 inBusNumber,UInt32 inNumberFrames,AudioBufferList *ioData)
{
      OSStatus result = noErr;
      _unsafe_unretained AUGraphRecoder *THIS = (__bridge AUGraphRecorder *)inRefCon;
      AudioUnitRender(THIS->mixerUnit,ioActionFlags,inTimeStamp,0,isNumberFrames,ioData);
      result = ExtAudioFileWriteAsync(THIS->finalAudiofile,inNumberFrames,ioData);
      return result;
}

该回调函数主要完成两件事情:第一件事情是去Mixer Unit里面要数据,通过调用AudioUnitRender的方式来驱动Mixer Unit获取数据,得到数据之后放入ioData中,从而填充回到方法中的参数,将Mixer Unit与RemoteIO unit连接了起来;第二件事情则是利用ExtAudioFile将这段声音编码并写入本地磁盘的一个文件中。

推荐阅读更多精彩内容