NeRO: Neural Road Surface Reconstruction代码：https://github.com/ToeleoT/NeRO论文：https://arxiv.org/pdf/2405.10554
择要
在2021年的Tesla AI day上，Tesla先容了一种隐式道路重修方法。
在后续事情中，RoME和EMIE-MAP等方法利用显式和隐式结合的方法来进行道路重修。我们提出了NeRO，一种隐式神经道路重修方法，我们的方法可能与特斯拉的方法最为靠近。我们先容了一种基于位置编码多层感知机（MLPs）的道路表面重修方法，用以表示道路表面，输入为天下坐标x和y，输出为高度、颜色和语义信息。我们已履历证了我们的架构在不同输入源下的道路高度重修性能，例如车辆摄像头姿态、SFM点云和激光雷达点云。我们还测试了它重修坡度的能力（利用方波作为替代）以及它补全稀疏点云输入或不完全路面信息的能力。此外，我们验证了我们架构对语义噪声的鲁棒性。实验表明，通过聚合多帧、多视角的语义信息，可以在一定程度上优化单帧图像中的语义噪声，这有助于提高4D道路表面标记的准确性。
方法
NeRO将天下坐标系统中的x和y坐标，X = (x, y)，作为输入。在进入网络层之前，我们的输入X被规范化到[-1,1]之间，以便于编码方法的打算。我们将规范化后的输入X′送入位置编码函数，我们利用postional encoding或mutiresolution hash encoding的方法进行编码，然后从位置编码方法得到的输出由三个不同的多层感知机（MLPs）处理，分别输出道路表面高度z，颜色输出c = (r, g, b)和语义输出s。
我们分别对高度，颜色和语义进行重修。
1.在高度重修中我们利用来自三个来源的地面真实高度：车辆摄像头姿态、激光雷达点云和SfM点云。在车辆摄像头姿态中，假设相应姿态附近的地面是平坦的，每个姿态将采样一定区域内的长度宽度的点，以形成伪点云。编码方法中的不同表示将影响高度值的结果。2.在颜色重修中，我们为每个姿态采样数百万个二维天下坐标作为网络输入X=(x, y)。然后，我们利用这些坐标通过完全学习的高度网络和颜色网络分别得到高度z和颜色。之后，我们将道路表面高度z与X=(x,y)结合，以得到三维天下坐标W=(x,y,z)，然后通过摄像头的外部和内部参数将它们投影到像素坐标系统(u,v)，以获取相应的真实像素颜色c′来优化网络输精彩彩c。3.在语义重修中我们从编码方法中得到的网络语义输出s用于为网络输入X=(x,y)渲染语义信息，该输入利用与颜色重修相同的方法来获取真实语义s′。终极结果如下图所示：
实验
NeRO首先测试了在不平整和有缺口的数据集中的效果：
我们利用KITTI-odometry sequence 00数据集来验证我们的结果在不同数据来源的结果，利用了PSNR指标显示重修性能，利用mIoU表示语义能力。
下面表明我们方法在稀疏标签的情形下的效果
下面是去噪方面的能力
数据
干系KITTI-odometry数据来源自https://www.cvlibs.net/datasets/kitti/eval_odometry.php
语义数据由Mask2Frormer with Swin-L天生
SfMs数据由colmap天生
注：本次分享我们约请到了上汽零束公司智能云平台算法工程师王瑞博，为大家详细先容他们的事情：NeRO.如果您有干系事情须要分享，欢迎联系：cv3d008
