当Ouster三年前开始开发OS-1时，相机的深度学习研究超过了激光雷达研究。激光雷达数据具有令人难以置信的好处，丰富的空间信息和照明无法识别也能感应，但它缺乏原始分辨率和相机图像的高效阵列结构，并且3D点云仍然更难以在神经网络或硬件过程中编码加速。

考虑到两种传感模式之间的权衡，Ouster从一开始就将激光雷达和相机的最佳方面集中在一个设备中。今天，Ouster正在发布固件升级并更新到开源驱动程序，以实现这一目标。OS-1激光雷达现在可以实时输出固定分辨率的深度图像，信号图像和环境图像，所有这些都不需要摄像头。数据层完全空间相关，零时间不匹配或快门效应，每像素16位和线性照片响应。



从OS-1输出的同时实时图像层。你从上到下看到的是环境，强度，范围和点云，所有这些都来自Ouster的激光雷达。请注意，环境图像捕获树木和车辆的阴影。

OS-1的光学系统比大多数数码单反相机具有更大的光圈，Ouster开发的光子计数ASIC具有极低的光敏度，因此即使在低光照条件下也能收集环境图像。OS-1捕获近红外信号和环境数据，因此数据非常类似于相同场景的可见光图像，这使数据具有自然的外观，并且为摄像机开发的算法很有可能很好地转换为数据。在未来，Ouster将努力从这些环境图像中去除固定模式噪声。

Ouster还更新了开源驱动程序，将这些数据层输出为固定分辨率的360度全景帧，以便客户立即开始使用新功能，Ouster将提供基于VTK构建的新的跨平台可视化工具，用于查看，录制，在Linux，Mac和Windows上并排播放图像和点云。传感器输出的数据不需要后期处理即可实现此功能，神奇之处在于硬件，驱动程序只是将流数据包组装成图像帧。

[video width="640" height="360" mp4="http://imgcdn.atyun.com/2018/09/Ouster-OS-1-64-generating-LIDAR-point-cloud-and-2D-ambient-signal-and-range-images-Oblique-View.mp4"][/video]

新开源可视化工具

目前多家激光雷达公司推出激光雷达/相机融合解决方案，通过将一个单独的相机与一个激光雷达共同安装，Ouster没有这样做，他们分享了一些OS-1传感器数据强大的例子，现在回到深度学习。

由于传感器在每个像素处输出具有深度，信号和环境数据的固定分辨率图像帧，因此能够将这些图像直接馈送到最初为相机开发的深度学习算法中。Ouster在矢量中编码深度，强度和环境信息，就像网络一样，彩色图像会在输入层对红色，绿色和蓝色通道进行编码。训练过的网络已经非常适用于新的激光雷达数据类型。

作为一个示例，Ouster训练了每像素语义分类器，以识别来自旧金山周围的一系列深度和强度帧的可驾驶道路，车辆，行人和骑自行车的人。Ouster能够在NVIDIA GTX 1060上实时运行生成的网络，并取得了令人鼓舞的成果，特别是考虑到这是尝试并第一个实现的研究。

[video width="1280" height="120" mp4="http://imgcdn.atyun.com/2018/09/Pixelwise-Semantic-Segmentation-on-OS-1-64-Data-1.mp4"][/video]

由于每个像素都提供了所有数据，因此能够将2D蒙版无缝转换为3D帧，以进行额外的实时处理，如边界框估计和跟踪。

在其他情况下，Ouster选择将深度，信号和环境图像分开，并将它们独立地传递到同一网络。作为一个例子，团队从DeTone等人的SuperPoint项目中获取了预先训练好的网络，并直接在我们的强度和深度图像上运行它。网络在大量通用RGB图像上进行训练，从未见过深度/激光雷达数据，但强度和深度图像的结果令人惊叹：

[video width="640" height="120" mp4="http://imgcdn.atyun.com/2018/09/Superpoint-on-OS-1-64-Data.mp4"][/video]

仔细检查后，很明显网络正在拾取每个图像中的不同关键点。任何从事激光雷达和视觉测距的人都会掌握这个结果中所体现的冗余的价值。激光雷达测距仪在隧道和高速公路等几何均匀的环境中挣扎，而视觉测距仪则在无纹理和光线不足的环境中挣扎。OS-1的相机/激光雷达融合为这个长期存在的问题提供了多模式解决方案。

这些结果使我们相信，融合的激光雷达和相机数据远远超过其各部分的总和，期望未来激光雷达和相机之间的进一步融合。

Github和样本数据：www.github.com/ouster-LIDAR