AVFoundation实现视频倒放以及性能优化

前言

反转视频和核心方法有两种

  1. 用AVAssetImageGenerator倒序的读取每一个time的图片,并使用AVAssetWriterInputPixelBufferAdaptor、AVAssetWriter和AVAssetWriterInput写出新的视频
  2. 使用AVAssetReader读取每一帧,保存到数组中再将其倒序并使用AVAssetWriterInputPixelBufferAdaptor、AVAssetWriter和AVAssetWriterInput写出新的视频

第一种方式效率较低,4s的视频就需要非常长的一段时间,但耗内存少。而第二种方式效率高一些,但内存占用大,容易crash。本文主要使用第二种方法,并介绍如何在使用第二种方法的情况下保持内存平稳。

开始

以下代码已经包含性能优化的部分

需要使用的变量和属性

fileprivate let FRAMES_PER_SEC: Double = 25
fileprivate let FRAME_SCALE: CMTimeScale = 600
//每次填充下一帧需要增长的时间
fileprivate let INCREMENT_TIME: Double = 1 / FRAMES_PER_SEC
//每次读取的最大帧数
fileprivate let MAX_READ_SAMPLE_COUNT = 50
//保存临时asset的path
fileprivate let SAVE_PATH = String.qe.documentPath() + "/ReverseVideos"

    /// 此进度不是连续增长
    public var progress: Float = 0
    
    public var completionClosure: ((_ composition: AVMutableComposition) -> Void)?
    
    private var composition: AVMutableComposition?
    
    private let reverseTimeRange: CMTimeRange
    
    private var assetWriter: AVAssetWriter?
    
    private var assetWriterInput: AVAssetWriterInput?
    
    private var assetWriterPixelBufferAdaptor: AVAssetWriterInputPixelBufferAdaptor?
    
    private var sampleBuffers: [CMSampleBuffer] = []
    
    private var tempVideoPartPaths: [String] = []
    
    private var incrementTime: Double = 0

初始化

本文的初衷是为了反转整个视频的一部分视频,而不是全部。所以在设计上需要的数据源是AVMutableCompositionCMTimeRange。以下是初始化方法

    init(with composition: AVMutableComposition, at timeRange: CMTimeRange) throws {
        self.composition = composition
        reverseTimeRange = timeRange
        let point = UnsafeMutablePointer<ObjCBool>.allocate(capacity: 1)
        point.initialize(to: ObjCBool(true))
        if !FileManager.default.fileExists(atPath: SAVE_PATH, isDirectory: point) {
            try FileManager.default.createDirectory(atPath: SAVE_PATH, withIntermediateDirectories: true, attributes: nil)
        }
    }

writer的写入部分

    private func writeSample() {
        var timeElapsed: Double = 0
        for i in (0..<sampleBuffers.count).reversed() {
            let sample = sampleBuffers[i]
            let pixelBuffer = CMSampleBufferGetImageBuffer(sample)
            let elapsedTime = timeElapsed
            let presentationTime = CMTime(value: CMTimeValue(elapsedTime * Double(FRAME_SCALE)), timescale: FRAME_SCALE)
            while !assetWriterInput!.isReadyForMoreMediaData {
                Thread.sleep(forTimeInterval: 0.1)
            }
            assetWriterPixelBufferAdaptor!.append(pixelBuffer!, withPresentationTime: presentationTime)
            timeElapsed += INCREMENT_TIME
        }
        incrementTime += timeElapsed
        progress = Float(incrementTime / reverseTimeRange.duration.seconds)
    }

AVAssetWriter的startWriting和finishWriting要成对出现,所以以下我们对它进行封装

    private func writeAsset() {
        do {
            try startWriting()
        } catch {
            QELog("start writing failed, reason: \(error.localizedDescription)")
            return
        }
        writeSample()
        endWriting()
        sampleBuffers.removeAll()
    }

    private func startWriting() throws {
        //每一次asset存储的path
        let outputPath = SAVE_PATH + "/\(String.qe.timestamp())_\(arc4random()).mov"
        tempVideoPartPaths.append(outputPath)
        let outputURL = URL(fileURLWithPath: outputPath)
        assetWriter = try AVAssetWriter(outputURL: outputURL, fileType: .mov)
        guard assetWriter != nil else {
            throw ReverseToolError.initWriterFailed
        }
        let settings: [String: Any] = [AVVideoCodecKey: AVVideoCodecType.h264,
                                       AVVideoWidthKey: self.composition!.naturalSize.width,
                                       AVVideoHeightKey: self.composition!.naturalSize.height]
        assetWriterInput = AVAssetWriterInput(mediaType: .video, outputSettings: settings)
        guard assetWriterInput != nil else {
            throw ReverseToolError.initWriterFailed
        }
        assetWriterInput!.expectsMediaDataInRealTime = true
        assetWriter!.add(assetWriterInput!)
        assetWriterPixelBufferAdaptor = AVAssetWriterInputPixelBufferAdaptor(assetWriterInput: assetWriterInput!, sourcePixelBufferAttributes: nil)
        guard assetWriterPixelBufferAdaptor != nil else {
            throw ReverseToolError.initAdaptorFailed
        }
        assetWriter!.startWriting()
        assetWriter!.startSession(atSourceTime: CMTime(value: 0, timescale: FRAME_SCALE))
    }

    private func endWriting() {
        //这是使用信号量把异步转同步
        let semaphoe = DispatchSemaphore(value: 0)
        assetWriter?.finishWriting {
            semaphoe.signal()
        }
        semaphoe.wait()
    }

反转的核心逻辑

反转视频是一个耗时操作,务必开一条线程去处理

    public func reverse() {
        DispatchQueue.global().async {
            QELog("开始反转视频")
            self.readImages()
        }
    }

    private func readImages() {
        let track = composition!.tracks(withMediaType: .video).first!
        let reader: AVAssetReader
        do {
            reader = try AVAssetReader(asset: composition!)
        } catch {
            QELog("init reader failed, reason: \(error.localizedDescription)")
            return
        }
        //设置timeRange可以使得reader只读取这个range内的视频,提高效率
        reader.timeRange = reverseTimeRange
        let settings: [String: Any] = [kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_420YpCbCr8BiPlanarFullRange]
        let readerOutput = AVAssetReaderTrackOutput(track: track, outputSettings: settings)
        reader.add(readerOutput)
        reader.startReading()
        //读取每一帧
        while let sample = readerOutput.copyNextSampleBuffer() {
            sampleBuffers.append(sample)
            //分段加载
            if sampleBuffers.count >= MAX_READ_SAMPLE_COUNT {
                writeAsset()
            }
        }
        if sampleBuffers.count > 0 {
            writeAsset()
        }
        reader.cancelReading()
        //组合临时存储的asset
        let outputComposition = AVMutableComposition()
        var insertTime: CMTime = .zero
        while let path = tempVideoPartPaths.popLast() {
            let url = URL(fileURLWithPath: path)
            let options: [String: Any] = [AVURLAssetPreferPreciseDurationAndTimingKey: NSNumber(value: true)]
            let asset = AVURLAsset(url: url, options: options)
            let timeRange = CMTimeRange(start: .zero, duration: asset.duration)
            do {
                try outputComposition.insertTimeRange(timeRange, of: asset, at: insertTime)
            } catch {
                QELog("merge assets failed, reason:\(error.localizedDescription)")
            }
            insertTime = CMTimeAdd(insertTime, asset.duration)
        }
        //清除临时视频片段
        removeTempVideoParts()
        progress = 1
        DispatchQueue.main.async {
            QELog("开始反转视频结束")
            self.completionClosure?(outputComposition)
        }
    }

性能优化

如果做性能优化的话,那么反转一个10s的视频就会使你的app crash,因为内存占用过大。
那么我们优化的核心思路就是分段加载。

reverse

我们设置一个最大读取帧数数量MAX_READ_SAMPLE_COUNT,每次使用reader读取这个数量的帧到数组中时就将存储帧的数组反转并写入到本地的沙盒中,同时将path保存下来,最后我们只要反转存储path的数组并一一读出再加载到AVMutableComposition中即可。

以下代码为分段加载示意,通过调整MAX_READ_SAMPLE_COUNT即可决定每次加载到内存中的帧数量。

        //组合临时存储的asset
        let outputComposition = AVMutableComposition()
        var insertTime: CMTime = .zero
        while let path = tempVideoPartPaths.popLast() {
            let url = URL(fileURLWithPath: path)
            let options: [String: Any] = [AVURLAssetPreferPreciseDurationAndTimingKey: NSNumber(value: true)]
            let asset = AVURLAsset(url: url, options: options)
            let timeRange = CMTimeRange(start: .zero, duration: asset.duration)
            do {
                try outputComposition.insertTimeRange(timeRange, of: asset, at: insertTime)
            } catch {
                QELog("merge assets failed, reason:\(error.localizedDescription)")
            }
            insertTime = CMTimeAdd(insertTime, asset.duration)
        }
        //清除临时视频片段
        removeTempVideoParts()
        progress = 1
        DispatchQueue.main.async {
            QELog("开始反转视频结束")
            self.completionClosure?(outputComposition)
        }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 155,457评论 4 357
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 65,943评论 1 285
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 105,327评论 0 236
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,307评论 0 201
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,630评论 3 283
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,114评论 1 202
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,514评论 2 305
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,227评论 0 193
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,859评论 1 234
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,186评论 2 238
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,741评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,087评论 2 248
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,614评论 3 228
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,926评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,630评论 0 190
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,117评论 2 261
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,076评论 2 257

推荐阅读更多精彩内容