ARKit应用之识别图像播放视频

卧闻海棠花

前言

之前实现了基于第三方EasyAR的扫卡播放视频,因为EasyAR的文档不尽完善且对iOS支持不是很好,故尝试苹果官方系统库ARKit的实现。

ARKit为iOS系统提供了对图像的识别功能。可通过检测用户环境中的已知2D图像,使用其位置放置AR内容。其中的AR内容可以是一个立体模型,也可以是一张图片或一个视频。

这一功能必将使得未来的app更加有趣,也让我们有了新的实现形式,让我们来尝试一下基于ARkit的图片识别功能在app内播放视频吧。

环境:iOS 11.3+ | Xcode 10.0+

Framework:ARkit

启用图像检测

首先,构建目标图像

目标图像即通过摄像头扫描识别的目标图像,使用自己的图像进行检测,需要将目标图像添加到Xcode中的Assets目录中。

添加目标图片
  1. 打开项目的Assets目录,然后添加新的AR资源组。
  2. 将所需添加的图片添加到创建的资源组中。
  3. 对于每个图片,使用检查器来描述你希望在用户的真实环境中找到它的图像的物理大小。(可使用预览来查看图片大小,注意单位,获取后必须添加图片的Size,图片的宽高不得小于480 pixels)

使用ARkit需要引入所需的系统库:

OBJECTIVE-C
#import <SceneKit/SceneKit.h>
#import <ARKit/ARKit.h>
SWIFT
import ARKit
import SceneKit

viewWillAppear:

OBJECTIVE-C
// 添加一个或多个目标图像
ARWorldTrackingConfiguration *configuration = [ARWorldTrackingConfiguration new];
configuration.detectionImages = [ARReferenceImage referenceImagesInGroupNamed:@"AR Resources" bundle:nil];

// 创建'world-tracking'配置
[self.sceneView.session runWithConfiguration:configuration options:ARSessionRunOptionResetTracking | ARSessionRunOptionRemoveExistingAnchors];

// 使用runWithConfiguration:方法使用配置运行会话
[self.sceneView.session runWithConfiguration:configuration];
SWIFT
guard let refernceImages = ARReferenceImage.referenceImages(inGroupNamed: "AR Resources", bundle: nil) else {
            fatalError("Missing expected asset catalog resources.")
}
        
let configuration = ARWorldTrackingConfiguration()
configuration.detectionImages = refernceImages
session.run(configuration, options: [.resetTracking, .removeExistingAnchors])

初始化Scene View

Main.storyboard中添加ARSCNView,设置全屏幕约束。

viewDidLoad中初始化sceneView:

OBJECTIVE-C
self.sceneView.delegate = self;
SCNScene *scene = [SCNScene new];
self.sceneView.scene = scene;
SWIFT
var session: ARSession {
        return sceneView.session
}

sceneView.delegate = self
sceneView.session.delegate = self as? ARSessionDelegate

可视化图像结果

在前文中我们已经添加了识别的目标图像,当应用程序检测到目标图像时我们需要可视化图像结果,根据当前目标,我们在目标图像上播放视频。

在这里,需要实现ARSCNViewDelegate中的代理方法:

OBJECTIVE-C
#pragma mark - ARSCNViewDelegate

- (void)renderer:(id<SCNSceneRenderer>)renderer didAddNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor {
    ARImageAnchor *imageAnchor = (ARImageAnchor *)anchor;
    
    // 获取参考图片对象
    ARReferenceImage *referenceImage = imageAnchor.referenceImage;
    // 根据图片对象播放对应视频
    if (referenceImage.name) {
        NSString *fileName = referenceImage.name;
        [self setFileForPlayerWithFileName:fileName];
        
        SCNNode *tempNode = [SCNNode new];
        CGFloat imageWidth = referenceImage.physicalSize.width;
        CGFloat imageHeight = referenceImage.physicalSize.height;
        
        SCNBox *bgBox = [SCNBox boxWithWidth:imageWidth height:imageHeight length:0.01 chamferRadius:0];
        tempNode.geometry = bgBox;
        tempNode.eulerAngles = SCNVector3Make(-M_PI/2.0, 0.0, 0.0);
        tempNode.opacity = 1.0;
        
        SCNMaterial *material = [[SCNMaterial alloc] init];
        material.diffuse.contents = self.player;
        tempNode.geometry.materials = @[material];
        [self.player play];
        
        [node addChildNode:tempNode];
    }
}

- (void)setFileForPlayerWithFileName:(NSString *)fileName {
    NSString *urlStr = [[NSBundle mainBundle] pathForResource:fileName ofType:@"mp4"];
    NSURL *url = [NSURL fileURLWithPath:urlStr];
    AVPlayerItem *playerItem = [AVPlayerItem playerItemWithURL:url];
    self.player = [[AVPlayer alloc] initWithPlayerItem:playerItem];
}
SWIFT
    // MARK: - ARSCNViewDelegate (Image detection results)
func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
        guard let imageAnchor = anchor as? ARImageAnchor else {
            return
        }
        let referenceImage = imageAnchor.referenceImage
        if (referenceImage.name != nil) {
            initPlayer(fileName: referenceImage.name! as NSString)
            let imageWidth = referenceImage.physicalSize.width
            let imageHeight = referenceImage.physicalSize.height
            let bgBox = SCNBox(width: imageWidth, height: imageHeight, length: 0.01, chamferRadius: 0.0)
            let tempNode = SCNNode(geometry: bgBox)
            tempNode.eulerAngles = SCNVector3Make(Float(-.pi/2.0), 0.0, 0.0)
            tempNode.opacity = 1.0
            let material = SCNMaterial()
            material.diffuse.contents = player
            tempNode.geometry?.materials = [material]
            player?.play()
            
            node.addChildNode(tempNode)
        }
    }
}

var player : AVPlayer?

func initPlayer(fileName: NSString) {
    let urlStr = Bundle.main.path(forResource: fileName as String, ofType: "mp4")
    let url = URL(fileURLWithPath: urlStr ?? "")
    let playerItem = AVPlayerItem(url: url)
    player = AVPlayer(playerItem: playerItem)
}

注意

在本项目中,由于要用到相机,所以需要到info.plist中添加Privacy - Camera Usage Description

至此,我们就能简单地实现利用ARKit识别图像并播放对应的视频。

为了更加清楚的展现,附上代码以供参考:RecognizingImagesToPlayVideo

其中的视频文件可前往这里下载,当然,你也可以相应修改项目中配置更换你的目标图像和视频文件。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249