短视频从无到有 (三)CMTime详解

CMTime定义

通常开发者认为时间的呈现格式应该是浮点数据,我们一般使用NSTimeInterval,实际上它是简单的双精度double类型,可以表示不同场景中的时间。实际上,AV Foundation在AVAudioPlayer和AVAudioRecorder中处理时间问题时本身也会使用这个类型。虽然很多通用的开发环境使用双精度类型无法应用于更多的高级时基媒体的开发中。比如,一个单一舍入错误就会导致丢帧或音频丢失。于是苹果在Core Media框架中定义了CMTime数据类型作为时间的格式,类型定义如下:

 typedef struct
   
     CMTimeValue    value;      
     CMTimeScale    timescale;  
     CMTimeFlags    flags;      
     CMTimeEpoch    epoch;      
   } CMTime;

上面结构中最相关的三个组件是value、timescale和flags。CMTimeValue和CMTimeScale分别是64位和32位有符号整型变量,是CMTime元素的分数形式。CMTimeFlags是一个位掩码用以表示时间的指定状态,比如判断数据是否有效、不确定或是否出现舍入值等。CMTime实例可标记特定的时间点或用于表示持续时间。

CMTime创建

有多种方法可以创建CMTime实例,不过最常见的方法是使用CMTimeMake函数,指定一个64位的value参数和32位的timescale参数,比如,创建一个代表5s的CMTime表达式有下面几种不同的方式:

CMTime t1 =CMTimeMake(5, 1);
CMTime t2 =CMTimeMake(3000, 600);
CMTime t3 =CMTimeMake(5000, 1000);

使用CMTimeShow函数将这些值打印到控制台会出现如下结果:

{5/1 = 5.000}
{3000/600 = 5.000}
{5000/1000 = 5.000}

注:在处理视频内容时常见的时间刻度为600,这是大部分常用视频帧率24FPS、25FPS、30FPS的公倍数。音频数据常见的时间刻度就是采样率,比如44 100(44.1kHZ)或48 000(kHZ)。

CMTime计算

相加

CMTime t4 =CMTimeAdd(t1, t2);

相减

CMTime t5 =CMTimeSubtract(t3, t1);

注:相乘是CMTimeMultiply 大家可自己参阅CMTime文档。

CMTimeMakeWithSeconds 与 CMTimeMake的区别

这两个的区别是 :CMTimeMake(a,b) a当前第几帧, b每秒钟多少帧,当前播放时间a/b。 CMTimeMakeWithSeconds(a,b) a当前时间,b每秒钟多少帧。下面用代码来说明它:

Float64 seconds = 3;  
int32_t preferredTimeScale = 600;  //处理视频内容事常见的时间刻度为600,这是大部分视频帧率24fps、25fps、30fps的公倍数。音频数据常见的时间刻度就是采样率,譬如44 100(44.1kHZ)或48 000(48kHZ)。
CMTime inTime = CMTimeMakeWithSeconds(seconds, preferredTimeScale);  
CMTimeShow(inTime);  
输出: {1800/600 = 3.000} 
代表当前时间为3s,视频一共有1800帧,一秒钟600帧  
CMTimeMake  
 int64_t value = 1100;  
int32_t preferredTimeScale = 600;  
CMTime inTime = CMTimeMake(value, preferredTimeScale);  
CMTimeShow(inTime);  
OUTPUT: {1100/600 = 1.833}  
代表时间为1.833s, 视频一共1100帧,每秒600帧 。 其实,在我们这里,我们关心的只有最后那个总时间。 换句话说,我们把那个(0, 600)换成(x, 600) 是没问题的。 
requestedTimeTolerance  
那么为什么,效果差了这么多呢?我们可以把CGImageRef image = [gen copyCGImageAtTime:time  
  actualTime:&actualTime  
  error:&error];  
返回的 actualTime实际时间输出一下  
CMTimeShow(actualTime)  
就会发现时间差的很远。 这是为什么呢? 首先 actualTime 使用的 fps * 1000 当每秒的帧率, 顺便普及下fps的获取方法 :float fps = [[[asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] nominalFrameRate];  
然后我们来思考为什么要有 requestTime 和 actualTime 呢? 开始对这个api 很困惑: 为什么我request的时间 不等于actualTime?后来查了一下文档,当你想要一个时间点的某一帧的时候,它会在一个范围内找,如果有缓存,或者有在索引内的关键帧,就直接返回,从而优化性能。  
这个定义范围的API就是 requestedTimeToleranceAfter 和 requestedTimeToleranceBefore  
如果我们要精确时间,那么可以设置:  
 gen.requestedTimeToleranceAfter = kCMTimeZero;  
 gen.requestedTimeToleranceBefore = kCMTimeZero;  

注:在使用AVAssetImageGenerator获取视频缩略图的时候,发现设置gen.requestedTimeToleranceAfter = kCMTimeZero;gen.requestedTimeToleranceAfter = kCMTimeZero;会有几率失败,去掉这两个设置就好了。

CMTimeRange

Core Media框架还为时间范围提供了一个数据类型,称为CMTimeRange,它在有关资源编辑的API中扮演着重要的角色,定义如下:

typedef struct
{
    CMTime          start;      
    CMTime          duration;   
} CMTimeRange;

其中start表示时间的起点的CMTime值,duratin表示时间范围的持续时长的CMTime值。一般使用CMTimeRangeMake和CMTimeRangeFromTimeToTime创建如下:

 CMTimeRange timeRange1 = CMTimeRangeMake(t1, t2);
 CMTimeRange timeRange2 = CMTimeRangeFromTimeToTime(t4, t3);

CMTimeRange的交集和并集

 //0-5s
    CMTimeRange range1 =CMTimeRangeMake(kCMTimeZero, CMTimeMake(5,1));
   //2-5s
    CMTimeRange range2 =CMTimeRangeMake(CMTimeMake(2, 1), CMTimeMake(5,1));
    //交叉时间范围 2-5s
    CMTimeRange intersectionRange =CMTimeRangeGetIntersection(range1, range2);
    CMTimeRangeShow(intersectionRange);
    
    //总和时间范围 7s
    CMTimeRange unionRange =CMTimeRangeGetUnion(range1, range2);
    CMTimeRangeShow(unionRange);

打印结果如下:

{{2/1 = 2.000}, {3/1 = 3.000}}
{{0/1 = 0.000}, {7/1 = 7.000}}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容