三维成像技术-飞行时间

尽管3D成像技术已经存在了几十年，但在主要电影制片厂使用最新的高清晰度(HD)摄像机制作他们的3D电影后，第一个商业3D成像产品直到最近10-15年才出现。从那时起，3D成像技术在消费者市场和机器视觉行业迅速发展。

目前，对过程监控和自动化更高水平的需求是机器视觉行业改进3D成像技术的驱动力。传统的2D方法不再是一种足够的成像手段，因为无法实现实现复杂物体识别和尺寸应用所需的精度和距离测量水平。此外，传统的2D成像也无法处理复杂的交互情况，如日益增长的人/机器人协同工作趋势。

3D成像概述

为了获得3D图像，四种主要技术包括立体视觉、结构光3D成像、激光三角测量和飞行时间(ToF)，后三种技术是“主动”成像家族的一部分，需要使用人工光源。

立体视觉

立体视觉需要使用两个安装的相机来获得对象的不同视角。立体视觉中使用的校准技术涉及在相机之间对准像素信息并以类似的方式提取关于图像深度的必要信息，其如此类似的方式，我们的大脑在视觉上测量距离。因此，认知过程将认知过程转换成了成像系统需要显着的计算工作。

图1。立体视觉-源技术简介

将标准图像传感器纳入立体视觉摄像机可以使这些摄像机的维护成本降低，因为使用更复杂的传感器，如高性能传感器或全局快门，将导致系统的总成本更高。

然而，重要的是要注意，距离范围受到机械约束的限制，因为实现物理基线的要求需要更大的尺寸模块。确切机械对准和重新校准也是必要的，对于该系统来说是准确的。此外，这种技术在改变光线条件下不起作用，因为它严重依赖于物体的反射特性。

结构光

图2。结构光,肯塔基州Source大学，激光聚焦世界

在结构光技术中，将预定的光模式投影到物体上，通过对畸变模式的分析获得图像的深度信息。由于对帧时间没有概念上的限制，这种成像技术可以防止运动模糊的发生，从而使它成为一种针对多路径接口的健壮技术。

然而，需要注意的是，主动照明需要一个复杂的相机，而镜头和模式投影仪之间需要精确和稳定的机械对准。在这些情况下，仍然存在去校准的风险。此外，反射图案对环境中的光干扰很敏感，因此仅限于室内应用。

激光三角测量

激光三角测量系统测量光束的几何偏移，其值与物体的高度直接相关。这种一维成像技术是基于对物体的扫描，根据激光与物体表面上的点之间的距离，决定激光点出现在相机视野中的位置。三角测量是指激光点、相机和激光发射器形成一个三角形。

图3。激光三角测量

高分辨率激光器通常用于需要高精度、稳定性和低温漂移的位移和位置监测应用中。不幸的是，这项技术只能覆盖很短的范围，而且对环境光和结构化和/或复杂结构也很敏感，因此这项技术仅限于扫描应用。当使用激光三角测量时，还需要复杂的算法和校准。

飞行时间

术语飞行时间(ToF)表示每一种实现距离测量的方法，从直接获取或计算出现在相机和场景之间的光子的飞行时间的加倍。这种测量可以直接执行(D-ToF)或间接执行(I-ToF)。D-ToF需要一个复杂且受限的时间分辨设备，而I-ToF的操作更简单，因为它的光源与图像传感器是同步的。

光脉冲随着相机的快门而相位发射，在此过程中利用光脉冲的不同步来计算光子的ToF，从而确定发射点与物体之间的距离。在这样做的过程中，可以确保直接测量每个像素的深度和振幅，从而创建最终的图像，也称为深度图。

ToF系统具有较小的长宽比和单目方法，并具有简单的一次校准功能，使该系统能够在环境光照条件下正常工作。ToF系统的一些缺点包括需要主动照明同步、可能出现多径干扰和距离混叠。

图4。飞行时间工作原理

比较技术

目前使用的三维系统很少，目前主要基于三维立体视觉、结构光相机或激光三角测量。这些系统通常在固定的工作距离下运行，需要进行大量校准以实现特定的检测区域。

因此，ToF系统特别具有优势，因为它们克服了许多挑战，从应用程序的角度提供了更大的灵活性。今天，由于像素的复杂性和/或功耗，大多数商业解决方案在图像分辨率上仍然局限于VGA(视频图形阵列)或更低。

表1。3D成像技术“顶级”比较

用于ToF的CMOS传感器解决方案

ToF技术具有很高的应用前景，因此Teledyne E2V.开发首个3D ToF解决方案，具有真正的130万像素(MP)深度分辨率，以及1英寸光学格式。这种3C ToF解决方案是基于特定的高灵敏度和高动态范围CMOS传感器，以实现灰度图像和深度融合能力。

用于ToF成像的CMOS传感器的附加产品功能包括:

• 先进的1.3 MP深度地图分辨率:深度地图的全分辨率，精度±1厘米，高速
• 快速移动的对象的3D图像以高达120帧（fps）和30个fps深度地图全部分辨率的速率，所有的速度都保持高度全局快门效率
• 大范围3D检测：从0.5米到5米
• 90 dB的高动态范围（HDR）
• 可见光和近红外高灵敏度传感器50%量子效率(QE)在850 nm和HDR夜视/昼视
• 嵌入式三维处理多个感兴趣区域(ROI)，其中包括两个窗口和一个装箱和/或片上直方图上下文数据。
• 开发了一个演示平台，以评估独特的1.3 MP深度分辨率，输出深度图或点云格式。

如图5所示，该ToF演示平台由一个紧凑的1英寸光学格式板摄像机系统组成，该系统基于高灵敏度1.3 MP传感器。嵌入式多集成片上功能(门控传感器)、光源和光学设备的结合，使ToF设备的分辨率达到1.3万像素。

图5。飞行时间演示平台

基于自适应5T CMOS传感器的ToF主动成像

主动成像利用人工光源。一个简单的主动成像形式的例子涉及辅助自动对焦功能，这种功能在大多数现代相机上都可以找到，这些相机使用红外信号在弱光条件下测量距离。主动成像可用于在恶劣天气条件下（如雨天和/或雾天）生成图像，以及维护主动成像技术，包括距离选通和ToF。

范围门控

距离门控结合了两个组件，包括一个脉冲光波前和一个特定的高速快门相机。脉冲光波被发送到目标，一旦反射面反射回来，相机的高速电子快门就会在适当的时刻打开。

距离门允许选择图像平面距离，这取决于光和传感器的同步。当目标被一个扩散的环境(如雨、雾或环境中存在的气溶胶粒子)与相机分离时，一些光子，也被称为“弹道光子”，仍然能够穿过介质回到相机。欧洲杯猜球平台

尽管这些光子数量较少，但这些光子的捕获同步允许通过扩散介质捕获图像。距离选通技术在远距离几乎没有任何限制的情况下是成功的，但是这取决于光源的功率。

与范围门控相比，TOF允许直接测量TOF光以确定反射平面的距离和位置。因此，基于TOF技术的系统将需要快速的全局快门相机，当物体远离相机时段短距离。与主动成像不同，TOF不专注于特定图像平面，因此允许在感兴趣范围内直接距离成像。

如图6所示，距离门控图像捕捉的实现是基于一个同步的相机光源系统，该系统可以根据应用程序的特定约束在从机或主模式下运行。这种类型的相机展示了一个非常快的全球快门，在令人印象深刻的数百纳秒的顺序。

通过相机由起始时间（τ0）的触发器，源发射光脉冲。在否则表示为τ1的光脉冲之后，取决于是否存在对象，光的脉冲将达到或不反映的范围。在反射的情况下，光从朝向照相机的光行进的距离所需的时间表示为τ2。在即时τ3= 0 +2τ处，其中T表示光的返回时间，并且相机快门打开。

此时，摄像机捕捉到的图像最终将成为反射信号。该循环过程在帧持续时间内重复数千次，以积累关于读出噪声的足够信号。

在这个过程中产生的图像是灰度级的，只对应于在范围内存在的物体。为了生成深度图像，需要在几个深度以距离选门模式扫描一组图像，或者通过调整延迟τ。然后从这组图像中计算出每个点的距离。

图6。范围门控原理

图7。全球快门像素

如图7所示，像素图像传感器中用于产生短且同步集成时间的方法也称为全局快门，可以通过使用与专用相位驱动器相关联的五晶体管(5T)像素来实现。因此，信号积分阶段不是一下子进行的，而是通过同步微积分积累的连续运动。

Teledyne E2V已经开发了一种基于替代线上的五晶体管像素和定时产生的专有技术，以确定时间（ΔT）周期的变化（ΔT）周期，所有这些都已经缩小到大约10纳秒，这表示显着改进在时间分辨率。具有高灵敏度/低噪声比，1.3MPCMOS图像传感器包括多积分或“累积”模式。

高寄生光灵敏度（PLS）比，也称为“消光比”，位于固定光电二极管和存储节点电容器之间，还需要在相机选通“关闭”期间通过抑制寄生光来抑制锐利图像的场景背景。

图8。具有适应定时和同步电路的5T像素CMOS需要足够的消光比来拒绝场景背景

为了进一步推进ToF技术，Teledyne e2v开发了新型BORA 1.3 MP CMOS图像传感器，用于短距离和短距离操作系统。作为目前唯一可用于工业用途的传感器之一，BORA 1.3 MP CMOS具有优化的多集成模式、在弱光条件下的优异性能和电子全局快门，同时保持了先前现有ToF系统的精度和帧速率性能。

Bora Sensor于2017年秋季发布，可提供完整的支持服务，为客户提供辅助，以根据其特定的应用要求构建其系统。BORA传感器的新竞争性能如表3所示。

表3。TOF平台性能比较

（1）精度在测量值与实际值之间给出了GAB
（2）时间噪声使RMS测量的RMS精度从帧到框架，这代表了系统的可重复性

概括

为了提高工业系统的有效性和自主权，对引导机器人和其他自治机器的使用视觉系统现在需要以优越的准确度集成对象识别的3D视觉。有几种具有特定优点和限制的3D技术，具体取决于指定的应用要求。飞行时间（TOF）目前为3D视觉提供了非凡的视角，因此驾驶了新一代专用CMOS图像传感器的设计。

此信息已采购，从Teledyne E2V提供的材料进行审核和调整。欧洲杯足球竞彩

有关此来源的更多信息，请访问Teledyne E2V。