什么是激光雷达,为什么它会出现在 iPhone 14 Pro 中?

Apple 看好激光雷达,这项技术自 2020 年以来一直在iPhone 12 Pro、iPhone 13 Pro 和iPhone14 Pro以及Apple 的 iPad Pro机型中使用。仔细观察这些设备的后置摄像头阵列,您会在摄像头镜头附近看到一个小黑点,与闪光灯的大小大致相同。这就是激光雷达传感器,它提供了一种新型的深度感应,可以在照片、AR、3D 扫描甚至更多方面发挥作用。

激光雷达不是像 iPhone 上的 Face ID 吗?

是的,但射程更长。这个想法是一样的:Apple 的支持 Face ID 的 TrueDepth 相机也可以发射一系列红外激光,但只能在几英尺外工作。iPad Pro 和 iPhone 14 Pro 上的后部激光雷达传感器的工作范围最远可达 5 米。

激光雷达如何工作?

LIDAR 是一种脉冲激光器,它以纳秒的速度记录信号返回源所需的时间,使其能够生成比简单的相机更准确的 3D 模型。

151476-tablets-news-what-is-lidar-image1-hgakvbkimr-jpg

把它想象成蝙蝠“看到”周围世界的方式;这些脉冲创造了一个图像。对于 iPad Pro 和 iPhone 123 Pro,激光雷达图像是拼图的一部分,它使用来自运动传感器和摄像头的数据来帮助提高准确性。

VdzV2GxqRoOAQ2da (8)

激光雷达如何辅助系统相机完成拍照?

智能手机上的TOF摄像头往往被用来提高对焦精度和速度,iPhone 14 Pro 也是如此。Apple 表示在低光照条件下实现更好的低光对焦,最高可提升 6 倍。激光雷达深度感应也用于改善夜间人像模式效果。

更好的对焦是加分项,iPhone 14 Pro 也有可能为图像添加更多 3D 照片数据。尽管该元素尚未布局,但 Apple 的前置深度感应 TrueDepth 摄像头已以类似的方式与应用程序一起使用,第三方开发人员可以就LIDAR数据与应用开发进行一些融合,这样的技术已经在第三方应用中使用。

LIDAR与TOF相像吗?

一些相机系统具有类似的飞行时间 (ToF) 传感器来辅助深度信息。通常,它们会使用更宽的光束拍摄更通用的快照,而更先进的 LIDAR 系统会提供多光束以获得更高的精度。

激光雷达会改进 ARKit 应用吗?

激光雷达允许 iPhone 和 iPad Pro 更快地启动 AR 应用程序,并构建房间的快速地图以添加更多细节。许多Apple 的核心 AR 技术利用激光雷达将虚拟对象隐藏在真实对象后面(称为遮挡),并将虚拟对象放置在更复杂的房间映射中,例如桌子或椅子上。

我一直在Apple Arcade 游戏:Hot Lava 上对其进行测试,该游戏已经使用激光雷达扫描房间及其所有障碍物。我能够将虚拟物体放置在楼梯上,并将东西隐藏在房间里的真实物体后面。预计会有更多的 AR 应用开始添加这样的激光雷达支持,以获得更丰富的体验。

Snapchat的下一波镜头将开始采用 iPhone 12 Pro 的激光雷达进行深度感应。

但除此之外,还有更多的应用。许多公司都梦想着开发出能够将虚拟物体和真实物体融合在一起的头戴式虚拟现实设备:Facebook、高通、Snapchat、微软、Magic Leap 以及很可能是苹果等公司正在开发的 AR 眼镜将依靠拥有先进的 3D 世界地图来实现将虚拟对象分层。

这些 3D 地图现在正在使用特殊的扫描仪和设备构建,就像谷歌地图使用专用的汽车扫描街景的3D地图信息。但人们自己的设备有可能最终帮助完善这些信息,或者添加额外的即时数据。同样,Magic Leap 和HoloLens等 AR 头戴式设备在将事物分层之前已经预先扫描了您的环境,Apple 配备激光雷达的 AR 技术也以同样的方式工作。从这个意义上说,iPhone 的 Pro 系列 以及 iPad Pro 就像没有眼镜部分的 AR 眼镜,并且可以为Apple 的第一款 VR/AR 眼镜铺平道路,无论是现在还是下一个。

来自 Occipital 的 Canvas 应用程序的 3D 房间扫描,由 iPad Pro 上的深度感应激光雷达启用。对 iPhone 12 Pro 之后的 Pro 系列也有同样的支持。

iOS/iPad OS 应用程序将如何受益?

一切都与准确性有关。以 Measure 应用程序为例,它可以准确地计算高度。这在以前是不可能的——仅依靠光学摄像头无法获得精准的距离信息。在搭载LIDAR 系统的设备上,这款APP还有有一个新的标尺视图将在更新中提供。

151476-tablets-news-what-is-lidar-image2-o0tlrtbfvs-jpg

开发人员将能够使用新的场景几何 API 将激光雷达数据作为其应用程序的最大优势。我们确信,未来在游戏、科学、健身和其他应用中将会有各种各样的例子。

使用 Apple 的 LIDAR 系统有什么环境要求?

据说 Apple 的激光雷达扫描仪能够扫描最远五米远的物体。由于激光在光子水平上工作,它能够在白天或晚上、在室内或室外发挥作用。然而,它不能“看穿”物体——所以雨、过往的人等等,可能会混淆系统。

RoomPlan功能由LIDAR 系统支持

激光雷达可用于网格化 3D 对象和房间,并在顶部叠加照片图像,这是一种称为摄影测量的技术。这可能是下一波用于家居装修甚至社交媒体和新闻等实际用途的捕获技术。捕获 3D 数据并与他人共享该信息的能力可以使这些配备激光雷达的手机和平板电脑成为 3D 内容捕获工具。激光雷达也可以在没有相机元件的情况下用于获取物体和空间的测量值。

我在 iPhone 13 Pro 上尝试了一些早期的支持激光雷达的 3D 扫描应用程序(3D Scanner App, Lidar Scanner 和 Record3D),但它们可以用于扫描物体或以惊人的速度绘制房间。激光雷达 16 英尺的有效扫描范围足以覆盖家庭环境中的大多数房间,但在更大的户外空间中,它需要更多的移动。同样,Apple 的前置 TrueDepth 相机已经在更近的范围内做类似的事情。Apple在WWDC22中带来了 RoomPlan 功能,该功能利用 iPhone 和 iPad 上的摄像头和激光雷达扫描仪来创建房间的 3D 平面图,包括家具的尺寸和类型等关键特征。目前,3D 扫描正在变得越来越好,但对大多数人来说仍然是一个更小众的功能。

激光雷达还有什么用途?

激光雷达是一种无处不在的技术。它用于自动驾驶汽车或辅助驾驶。它用于机器人和无人机。像HoloLens 2这样的增强现实眼镜也有类似的技术,在将 3D 虚拟对象分层之前绘制出房间空间。甚至还有带有激光雷达的 VR 头戴设备。但它也有相当悠久的历史。

微软旧的深度感应 Xbox 配件Kinect也是一款具有红外深度扫描功能的相机。事实上,帮助开发 Kinect 技术的公司 PrimeSense在 2013 年被苹果收购。现在,我们有了 Apple 的面部扫描 TrueDepth 和后置激光雷达摄像头传感器。我们期待未来Apple有望推出带有深度感应功能的新一代头戴式AR设备——Apple Glasses。

Edited by Ma Jiayi

参考资料:How to use the LiDAR scanner in iPhone 12 Pro | AppleInsider

Lidar is one of the iPhone and iPad Pro’s coolest tricks: Here’s what else it can do

4 个赞

好帖dd
期待苹果明年的新鲜技术:eyeglasses:

可以识别镜子吗?

应该是可以的,因为有LiDar