ARKit教程10_第七章:建立一个门户应用

前言

ARKit感兴趣的同学,可以订阅ARKit教程专题
源代码地址在这里

正文

在接下来的四章中,我们将使用 ARKitSceneKit 实现门户应用。门户应用程序可用于教育目的,如从太空到太阳系的虚拟游览,或用于更悠闲的活动,如享受虚拟海滩度假。

门户应用

我们将构建的门户应用可让我们将虚拟的门口放置在未来房间的某处,位于现实世界中的水平平面上。我们可以进出这个虚拟房间,还可以探索里面的东西。

在本章中,我们将设置门户应用的基础知识。在本章结束时,我们将了解到:

  • 如何设置一个ARSession
  • 如何使用 ARKit 检测和渲染水平平面。

开始

我们需要重新创建一个应用,我们打开Main.storyboard,作如下设置:

    @IBOutlet var sceneView: ARSCNView!
    @IBOutlet weak var messageLabel: ARLabel!
    @IBOutlet weak var sessionStateLabel: ARLabel!

上面三个对象含义如下:

  • 1: sceneView用于使用 3D SceneKit 对象增强摄像机视图。
  • 2: messageLabel将向用户显示说明性消息。例如,告诉他们如何与你的应用进行交互。
  • 3: sessionStateLabel将通知用户会话中断,例如应用进入后台或环境照明不足的时候。

注意:ARKit 处理所有传感器和摄像机数据,但不会呈现任何虚拟内容。要渲染场景中的内容,可以与 ARKit 一起使用各种渲染器,例如 SceneKitSpriteKit。有关详细信息,请参阅第 1 章。

ARSCNViewApple 提供的一个框架,你可以使用该框架将 ARKit 数据与 SceneKit 轻松集成。使用 ARSCNView 有很多好处,这就是为什么你将在本章的项目中使用它的原因。有关详细信息,请参阅第 2 章。

设置ARKit

 func runSession(){
    let configuation = ARWorldTrackingConfiguration.init()
    configuation.planeDetection = .horizontal
    configuation.isLightEstimationEnabled = true
    sceneView.session.run(configuation)
    #if DEBUG
    sceneView.debugOptions = [SCNDebugOptions.showFeaturePoints]
    #endif
    sceneView.delegate = self
}

上面的代码作用如下:

  • 1: 实例化了ARWorldTrackingConfiguration对象。这将定义 ARSession 的配置。有两种类型的配置可用于 ARSession: ARSessionConfigurationARWorldTrackingConfiguration

    不建议使用 ARSessionConfiguration,因为它只考虑设备的旋转,而不是设备的位置。对于使用 A9 处理器的设备, ARWorldTrackingSessionConfiguration可提供最佳结果,因为它可跟踪设备的所有运动程度。

  • 2: configuration.planeDetection设置为检测水平平面。平面的范围可以更改,并且当摄像机移动时,多个平面可以合并到一个平面中。它可以在任何水平表面上找到平面,如地板、桌子或沙发。

  • 3: 这支持光估计计算,渲染框架可以使用该计算使虚拟内容看起来更逼真。

  • 4:使用指定的会话配置启动会话的 AR 处理。这将从摄像机开始 ARKit 会话和视频捕获,该摄像机显示在sceneView中。

  • 5:对于调试生成,这将添加可见的功能点;这些被叠加在摄像机视图上。

现在我们设置一下默认值。将重置标签替换为以下内容:

func resetLabels(){
    messageLabel.alpha = 1.0
    messageLabel.text = "Move the phone around and allow the app to find a plane. You will see a yellow horizontal plane."
    sessionStateLabel.alpha = 0.0
    sessionStateLabel.text = ""
}

这将重置messageLabelsessionStateLabel的不统一性和文本。请记住, messageLabel用于向用户显示说明信息,而sessionStateLabel用于显示任何错误消息,以防出现问题。在viewDidLoad()中添加如下代码

override func viewDidLoad() {
    super.viewDidLoad()
    resetLabels()
    runSession()
}

这将在应用启动并加载视图时运行 ARKit 会话。

接下来,构建并运行应用。需要注意的是,我们需要向应用请求相机权限。

ARSCNView 执行显示摄像机视频捕获的繁重工作。由于我们处于调试模式,因此还可以看到渲染要素点,这些要素点形成点云,显示场景分析的中间结果。

平面检测和渲染

以前,在 runSession() 中,将planeDetection设置为.horizontal,这意味着你的应用可以检测水平平面。我们可以在 ARSCNViewDelegate 协议的委托回调方法中获取捕获的平面信息。

首先做一个扩展,以便实现 ARSCNViewDelegate 协议:

extension PortalViewController: ARSCNViewDelegate {

}

runSession()函数中添加如下代码:

sceneView?.delegate = self

接下来,我们需要添加一些代理方法:

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor){
    DispatchQueue.main.async {
        if let planeAnchor = anchor as? ARPlaneAnchor{
            #if DEBUG
            let debugPlaneNode = createPlaneNode(center: planeAnchor.center, extent: planeAnchor.extent)
            node.addChildNode(debugPlaneNode)
            #endif
            self.messageLabel.alpha = 1.0
            self.messageLabel.text = "Tap on the detected horizontal plane to place the portal"
        }
    }
}

上面的代码作用如下:

  • 1:当 ARSession 检测到新平面时,将调用委托方法renderer(_:didAdd:for:),并且 ARSCNView 会自动为平面添加 ARPlaneAnchor
  • 2: 回调发生在后台线程上。在这里,将block调度到主队列,因为更新 UI 的任何操作都应在主 UI 线程上完成。
  • 3: 这将检查添加的 ARAnchor 是否是 ARPlaneAnchor
  • 4: 这将检查是否处于调试模式。
  • 5: 如果是这样,通过通过ARKit检测到的平面锚点的中心和范围坐标来创建平面SCNNode对象。createPlaneNode() 后面会有具体实现的。
  • 6: 节点对象是 ARSCNView 自动添加到场景中的空 SCNNode;其坐标对应于 ARAnchor 的位置。在这里,将调试平面节点添加为子节点,以便将其放置在与节点相同的位置。
  • 7: 最后,无论你是否处于调试模式,你都会向用户更新说明消息,以指示应用现在可以将门户放入场景中。

我们需要引入SceneKit

import SceneKit

func createPlaneNode(center: vector_float3, extent: vector_float3) -> SCNNode添加如下代码:

// 1 
func createPlaneNode(center: vector_float3, extent: vector_float3) -> SCNNode { 
    // 2 
    let plane = SCNPlane(width: CGFloat(extent.x), height: CGFloat(extent.z)) 
    // 3 
    let planeMaterial = SCNMaterial() planeMaterial.diffuse.contents = UIColor.yellow.withAlphaComponent(0.4) 
    // 4 
    plane.materials = [planeMaterial] 
    // 5
    let planeNode = SCNNode(geometry: plane) 
    // 6 
    planeNode.position = SCNVector3Make(center.x, 0, center.z) 
    // 7 
    planeNode.transform = SCNMatrix4MakeRotation(-Float.pi / 2, 1, 0, 0) 
    // 8 
    return planeNode
}

上面代码作用如下:

  • 1: createPlaneNode 方法有两个参数:要渲染的平面的centerextent,两者都是vector_float3类型。此类型表示点的坐标。该函数返回为平面创建的 SCNNode对象。
  • 2: 通过指定平面的宽度和高度来实例化 SCNPlane。从范围的X坐标获取宽度,从其Z坐标获取高度。
  • 3: 初始化并分配 SCNMaterial对象的漫反射内容。漫反射图层颜色设置为半透明黄色。
  • 4: 然后, SCNMaterial对象将添加到平面的材料数组中。这将定义平面的纹理和颜色。
  • 5: 这将创建具有平面几何体的 SCNNodeSCNPlane 继承自 SCNGeometry,该类仅提供 SceneKit 呈现的可见对象的形式。通过将几何体附加到 SCNNode 对象来指定几何体的位置和方向。多个节点可以引用同一几何对象,允许其显示在场景中的不同位置。
  • 6: 设置平面节点的位置。请注意,该节点将转换为 ARKit 通过 ARPlaneAnchor 实例报告的坐标(center.x,0,center.z)
  • 7: 默认情况下, SceneKit 中的平面是垂直的,因此我们需要将平面旋转 90 度才能使其水平。
  • 8:这将返回在前面的步骤中创建的平面节点对象。

编译运行,效果如下:

移动设备, 会显示多个平面。当它找到更多的平面时,它会将它们添加到视图中。但是,由于 ARKit 分析场景中的更多要素,现有平面不会更新或更改大小。

ARKit 会根据找到的新特征点不断更新平面的位置和范围。要在应用中接收这些更新,请添加以下renderer(_:didUpdate:for:)代理方法。

func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor){
    DispatchQueue.main.async {
        if let planeAnchor = anchor as? ARPlaneAnchor, !node.childNodes.isEmpty{
            updatePlaneNode(node.childNodes[0], center: planeAnchor.center, extent: planeAnchor.extent)
        }
    }
}

以上代码作用如下:

  • 1: renderer(_:didUpdate:for:)当相应的 ARAnchor 更新时被调用。
  • 2: 更新 UI 的操作应在主 UI 线程上执行。
  • 3: 检查 ARAnchor 是否为 ARPlaneAnchor,并确保它至少有一个子节点对应于平面的 SCNNode
  • 4: updatePlaneNode(_:center:extent:)将平面的坐标和大小更新为 ARPlaneAnchor 中包含的最新的值。

我们打开SCNNodeHelpers.swift文件,添加如下代码:

func updatePlaneNode(_ node: SCNNode, center: vector_float3, extent: vector_float3){
let geometry = node.geometry as? SCNPlane
geometry?.width = CGFloat(extent.x)
geometry?.height = CGFloat(extent.z)
node.position = SCNVector3Make(center.x, 0, center.z)

}

以上代码作用如下:

  • 1: 检查节点是否具有 SCNPlane 几何体。
  • 2: 使用传入的新值更新节点几何体。使用 ARPlaneAnchor的范围或大小来更新平面的宽度和高度。
  • 3: 使用新位置更新平面节点的位置。

现在,我们可以成功更新平面的位置,生成并运行应用。我们将看到,当平面检测到新特征点时,其尺寸和位置会发生变化。

还有一个问题需要解决。应用检测到平面后,如果退出应用并返回,我们可以看到以前检测到的平面现在位于摄像机视图中的其他对象之上;如果退出应用并返回,将看到以前检测到的平面现在位于摄像机视图中的其他对象之上。它不再与之前检测到的平面表面匹配。

要解决此问题,我们需要在 ARSession 中断时删除平面节点。这个工作将在下一章中处理。

上一章 目录 下一章
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 155,770评论 4 358
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,116评论 1 286
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 105,656评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,372评论 0 201
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,704评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,166评论 1 204
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,535评论 2 306
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,259评论 0 193
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,882评论 1 236
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,218评论 2 239
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,760评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,126评论 2 249
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,667评论 3 228
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,935评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,644评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,171评论 2 265
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,119评论 2 258