《音视频开发进阶指南》—— 读书笔记

前言

之前偶然看到一个PPT,是一些视频特效的讲解。首页如下:



PPT解析了模糊镜像、电击效果、灵魂出窍、动态晕影等视频处理效果,最后推荐作者自己写的书:



在“音视频进阶”、“唱吧核心架构开发”引起的兴趣之下读完这本书,做一个简单的读书笔记。

正文

一、基础概念

  • 1、音频
    声音的物理性质--声音是物体振动产生的波。
    声波的三要素:振幅、波形、频率;(对应响度、音色、音调)
    声音的传播介质--空气、液体和固体。
    人声是声带振动,经过口腔等区域的反射,再经过空气传播。
    回声:反射声和原声相差超过80ms则人耳可听。
    数字音频与模拟音频:PCM脉冲编码调制。(这里有更详细介绍PCM基础)
    常见音频编码:WAV、AAC、MP3。
    音频压缩原理:时域/频域掩蔽。

  • 2、图像
    颜色空间:YUV和RGB。(各有表示方式,可相互转化)
    视频编码:H264。
    视频压缩:运动估计、运动补偿等。
    I帧、P帧、B帧:I帧是帧内编码帧,P帧是帧间预测编码帧,B帧又称双向预测编码帧;同时,H264中还有IDR帧,表示首个I帧。
    PTS、DTS、GOP:PTS是Presentation Time Stamp,DTS是Decoding Time Stamp,GOP是Group Of Picture。


    一张图理解DTS、PTS、GOP

关于视频压缩编码和音频压缩编码的基本原理点击这里

二、iOS平台上的音视频

三、音频的进阶知识

波形图:反映各质点在同一时刻不同位移的曲线,叫做波的图像,也叫做波形图。
频谱图:以横轴纵轴的波纹方式,记录画出信号在各种频率的图形。(有振幅频谱图和相位频谱图)
语谱图:针对语音数据的频谱图,叫语谱图。

傅里叶分析:可分为傅里叶级数(Fourier Serie)和傅里叶变换(Fourier Transformation)。
你能想到的任何波形都是可以如此方法用正弦波叠加起来。
傅里叶级数,在时域是一个周期且连续的函数,而在频域是一个非周期离散的函数。
傅里叶变换,将时域信号变换为频域信号。
傅里叶分析之掐死教程
如何直观形象、生动有趣地给文科学生介绍傅里叶变换?

MIDI格式:MIDI(Musical Instrument Digital Interface)全称是乐器数字接口,也是音乐标准格式。MIDI是音符、控制参数等,在K歌软件中用于打分。

均衡效果器:均衡效果器又称为均衡器(Equalizer),其最大的作用就是决定声音的远近层次。我们时常听到别人说这首歌曲是重金属风格的歌曲,或者说这首歌曲是舞曲风格等,其实就与声音的远近层次有关。不同歌曲风格的区别在于声音在不同频段的提升或衰减。
均衡效果器具有美化声音的作用,即调整音色,每个人由于自身声道、颅腔、口腔的形状不同,导致音色不同。如果这个用户所发出的声音在低频部分比较薄弱,就可以在低频部分予以增强,使得整个声音听起来更加温暖;那个用户所发出的声音在高频部分又过于强烈(薄弱),则可以在高频部分予以减弱(增强),可以使声音听起来不那么刺耳(更加嘹亮)。
当然,专家级别的混音师在为歌手处理后期混音时,会有更复杂的调节方法,比如这个歌手的声音低频部分有瑕疵,可以提高中频部分来掩盖有瑕疵的低频段的声音。
均衡器最早是用来补偿频率缺陷的,因为那时音频设备的信号品质很差,在传输过程中损失非常严重,到最后除非进行信号补偿,否则信号就会变得极差。而现在均衡器更多的应用在掩盖歌手的某一个频段的声音缺陷,或者增强某一个频段的声音优势上。

压缩效果器:改变输入信号和输出信号电平大小比率的效果器。

混响效果器:声波在传播时会被各种障碍物反射,且每次反射都被障碍物吸收部分。于是听到的声音往往混合了原始声音以及多次反射的声音,这种现象叫做混响。

四、音视频实践

五、其他

书中还介绍了很重要的库FFmpeg,还有图像处理的对比度调节、饱和度调节、图像处理进阶、图像的卷积过程、锐化效果器、高斯模糊算法、双边滤波算法、图层混合等等,推荐结合GPUImage一起学习。GPUImage除了书上的内容,也可以看看GPUImage 文集

总结

内容讲解深入浅出,案例丰富多彩,适合对音视频开发感兴趣的朋友。
同时,内容在深度这块也比较有限,对于音频相关的知识介绍不足。
音频相关的知识寻找不易,如有好的资料万请分享,共同学习进步。

推荐阅读更多精彩内容

  • 视频 视频实质:纯粹的视频(不包括音频)实质上就是一组帧图片,经过视频编码成为视频(video)文件再把音频(au...
    勇敢的_心_阅读 1,687评论 1 30
  • 音频会话 在上面的代码中还实现了拔出耳机暂停音乐播放的功能,这也是一个比较常见的功能。在iOS7及以后的版本中可以...
    _浅墨_阅读 1,011评论 3 4
  • 本例需求:将Mic采集的PCM转成AAC,可得到两种不同数据,本例采用AudioQueue/AudioUnit两种...
    小东邪啊阅读 15,903评论 67 50
  • 错过了就永远不会再回头,失去了就永远不会再拥有。只剩心中的那一份伤痛却永远无法抹去,时间可以淡化却不能够遗忘...
    小小芒果树阅读 270评论 2 7
  • 今天我们来学习这个俚语表达: full of beans full of表示装满的意思,beans是豆子,整个意思...
    春喜外语阅读 706评论 0 0
  • 纯莹一一北原莹子阅读 84评论 0 1
  • 碎碎念 虽然我每一天都只是在写日记一样地记录下日常所有,但是因为这种方式,既能让我记下现在的状态,又能让我写完之后...
    笑笑狗尾草阅读 64评论 0 0