关于ARKit6的一些新特性

关于ARKit6的新特性

在2022年WWDC大会上,苹果发布了最新版本ARKit 6,该版本对核心功能进行了改进,因此开发者可以为iphone和ipad开发更好的AR应用程序

在2022年的WWDC发布会上,苹果ARKit工程师Christian Lipski概述了下面几个ARKit6的新特性。

1、4K视频

ARKit 6允许你在ARKit会话期间通过后置摄像头捕获4K视频。4K视频非常适合于将虚拟内容和真实内容集成在一起的应用程序,如社交媒体、专业视频编辑和电影制作等等。

需要iPhone 11或以上;又或者是iPad Pro(第5代)。

2、Depth API

LiDAR激光雷达扫描仪内置的高级场景理解功能允许这个API利用有关周围环境的每像素深度信息。当与场景几何体生成的三维网格数据相结合时,深度信息可以支持虚拟对象的即时放置,并将其与物理环境无缝融合,从而提升虚拟对象遮挡的逼真感。这可以开启应用程序中的新功能,例如进行更精确的测量,并将效果应用到用户的环境中。

Depth API和Instant AR特定支持配备激光雷达扫描仪的设备:iPad Pro 11英寸(第二代)、iPad Pro 12.9英寸(第四代)、iPhone 12 Pro、iPhone 12 Pro Max。

3、Instant AR

LiDAR激光雷达扫描仪可以实现快速的平面检测,你无需扫描即可在真实世界中即时放置AR对象。对于利用ARKit构建的所有应用程序,iPhone 12 Pro、iPhone 12 Pro Max和iPad Pro会自动启用即时AR放置,无需任何代码更改。

Depth API和Instant AR特定支持配备激光雷达扫描仪的设备:iPad Pro 11英寸(第二代)、iPad Pro 12.9英寸(第四代)、iPhone 12 Pro、iPhone 12 Pro Max。

4、Motion Capture

ARKit包含一个动作捕捉功能,可以在视频帧中跟踪人物,为开发者提供一个估算人物头部和四肢位置的“骨架”。这允许开发者创建应用程序,将增强的内容覆盖到人的身上,或相对于人移动它们(它也可以用于遮挡,将增强的内容放在人的背后,以便更真实地嵌入到场景中)。

在ARKit 6中,Lipski表示该功能得到了“一整套更新”,包括改进的2D骨骼跟踪,现在可以估计受试者左右耳朵的位置(这对面部滤镜、戴AR眼镜和类似的头部功能肯定很有用)。

img

至于3D骨骼,它可以根据深度进行姿态估计,苹果承诺,当用户被相机或其他物体遮挡时,追踪效果会更好,抖动更少,时间一致性更好,鲁棒性更强(尽管其中一些增强功能只在iPhone 12及以上版本上可用)。

5、前后摄像头同步

前后摄像头同步启用面部追踪和世界追踪可以开辟全新的可能性。例如,用户可以仅使用自己的面容来与后摄像头视图中的AR内容进行交互。

6、图像和视频捕获改进

img

ARKit 6让开发者在与AR应用程序一起使用时,对设备的摄像头有了更多的控制。

开发者现在可以在iPhone 11及以上版本和最新的iPad Pro (M1)上以30FPS的速度实时访问4K帧。前一种模式虽然分辨率较低,但帧率较高(60FPS),开发者仍然可以使用。Lipski表示,开发者应该仔细考虑使用哪种模式。4K模式可能更适合于专注于预览或录制视频的应用程序(如虚拟生产应用程序),但分辨率较低的60FPS模式可能更适合于响应能力强的应用程序,如游戏。

与AR应用程序的高视频分辨率类似,开发者现在可以在AR应用程序积极使用相机时拍摄全分辨率照片。这意味着他们可以提取一张1200万像素的图像(至少在iPhone 13上)保存或在其他地方使用。这可能是一个伟大的AR应用程序捕捉照片是体验的一部分。Lipski举例说,一个应用程序可以引导用户拍摄物体的照片,然后用摄影测量技术将其转换为3D模型。

利用ARKit 6,你可以在ARKit会话期间捕获高分辨率背景图像。对于实现更高质量的虚拟对象重建,以及希望引导用户获得完美拍摄并同时最大限度提高最终图像质量的摄影应用而言,这显然非常有用。ARKit 6同时增加了对HDR视频的支持,并在每个ARKit帧中添加了EXIF标记,如曝光和白平衡。现在,你可以在ARKit会话期间直接控制摄像头的曝光、白平衡和焦距。

7、Location Anchor 支持更多地方

img

ARKit包括locationanchor,它可以为特定城市的AR提供街道层面的跟踪(例如,做增强现实的逐道方向)。苹果正在将这项功能扩展到更多的城市,现在包括加拿大的温哥华、多伦多和蒙特利尔;日本的福冈、广岛、大阪、京都、名古屋、横滨和东京;和新加坡。

今年晚些时候,该功能将进一步扩展到新西兰的奥克兰;Tel Aviv-Yafo,以色列;巴黎,法国。

8、平面锚点

平面锚是一个工具,用于跟踪平面物体,如桌子,地板,墙壁在增强现实会话。在ARKit 6之前,平面锚的原点会随着发现的平面的增加而更新(例如,移动设备来显示比相机之前看到的更多的桌子)。这可能会使增强对象很难保持锁定在一个平面上,如果原点在第一次放置后被旋转。在ARKit 6中,无论平面的形状如何变化,原点的旋转都保持静止。

9、人物遮挡

AR内容能够真实地出现在人的后面和前面将能提升AR体验的沉浸感,同时可以在几乎所有环境中实现绿幕风格的效果。在使用ARKit构建的所有应用程序中,iPhone 12、iPhone 12 Pro和iPad Pro端的深度估计都有所优化,无需任何代码更改。

10、Scene Geometry场景几何

创建空间拓扑图,并使用标签标识地板、墙、天花板、窗、门和座椅。这种对真实世界的深入理解为虚拟对象解锁了对象遮挡和真实世界物理,同时为你提供了更多信息来支持AR工作流程。

文章参考自:https://www.roadtovr.com/apple-arkit-6-improvements-wwdc-2022/,https://news.nweon.com/97813

图片来源:https://developer.apple.com

3 个赞