Optics and Precision Engineering, Volume. 30, Issue 16, 1988(2022)
Scene recognition for 3D point clouds： a review
Figures & Tables(14)
Fig. 1. Images of the same scene at different times and illumination in the dataset Oxford RobotCar［6］
Fig. 2. Classification of scene recognition algorithms for point clouds
Fig. 5. Chronological overview of scene recognition for point clouds
Table 1. Network models based on learning to obtain features
View tableView in ArticleTable 1. Network models based on learning to obtain features
网络模型 年份 网络主干结构 关键技术 数据 PointNetVLAD［ 58 ］2018 PointNet，NetVLAD 转换网络T-Net、多层感知机、对称函数 Oxford Robotcar PCAN baseline［ 16 ］2019 PointNet，NetVLAD 转换网络T-Net、多层感知机、对称函数、SAG层 Oxford Robotcar DAGC baseline［ 59 ］2020 DGCNN， NetVLAD 双注意力模块、EdgeConv Oxford Robotcar SOE-Net［ 17 ］2021 PointSift， NetVLAD PointOE模块 Oxford Robotcar AttDLNet［ 18 ］2021 RangeNet++ 注意力模块 KITTI ARIConv［ 62 ］2021 DenseNet 注意旋转不变卷积 Oxford Robotcar Lpd-Net［ 19 ］2019 DGCNN， NetVLAD 十维几何特征计算、转换网络、动态图网络 Oxford Robotcar SRNet［ 60 ］2020 Static Graph Convolution （SGC）， NetVLAD SGC模块、三层空间注意力模块 Oxford Robotcar SemGraph［ 61 ］2020 RangeNet++，DGCNN EdgeConv、图相似性匹配模块 KITTI EPC-Net［ 63 ］2021 EPCNet， Grouped VLAD 多层ProxyConv Oxford Robotcar MinkLoc3D［ 24 ］2021 Feature Pyramid Network architecture 局部特征提取网络、广义均值池 Oxford Robotcar DH3D［ 64 ］2020 PointNet， NetVLAD FlexConv、挤压和激励模块 Oxford RobotCar TransLoc3D［ 25 ］2021 External Transformer， NetVLAD 自适应感受野模块， 3D稀疏卷积模块 Oxford Robotcar SVT-Net［ 26 ］2021 Sparse Voxel Transformers 基于原子的稀疏体素变换器、基于聚类的稀疏体素变换器 Oxford Robotcar
Table 2. Dataset for scene recognition of point cloud
View tableView in ArticleTable 2. Dataset for scene recognition of point cloud
数据集 年 传感器 移动平台 变化 场景 相机 IMU
频率/Hz
数据总量 Oxford RobotCar ［6］ 2017 SICK LMS-151 车辆 不同季节、光照、动态目标遮挡、建筑物改造等综合变化与干扰 室外 3单目 1×12 23.15TB KITTI odometry ［70-71］ 2013 Velodyne HDL-64E 车辆 无 室外 2双目 1×10 180 GB North Campus Long Term （NCLT） ［72］ 2016 Velodyne HDL-32E Segway机器人 不同季节、光照、植被等综合变化 校园（室内、室外） 6单目（全向）
4单目
1×100
1×200
2.95 TB MulRan ［73］ 2020 Ouster OS1-64
Navtech CIR204-H
车辆 不同时间段 会议中心、校园、高速公路、河边道路 - - 387 GB Ford ［74］ 2011 Velodyne HDL-64E 车辆 无 福特研究院、密歇根州迪尔伯恩市中心 1单目 1×100 100 GB SEU-FX ［75］ 2019 速腾聚创 RS-32 车辆 不同天气、时间、光照条件 城市道路、校园场景 双目 1×30 -
Table 3. Network parameter quantity and runtime of different scene recognition models
View tableView in ArticleTable 3. Network parameter quantity and runtime of different scene recognition models
Model Network parameter quantity/MB Runtime per frame/ms PointNetVLAD［ 58 ］19.78 15 PCAN［ 16 ］20.42 55 Lpd-Net［ 19 ］19.81 26 Minkloc3D［ 24 ］1.1 21
Table 4. 3D local descriptor dimension
View tableView in ArticleTable 4. 3D local descriptor dimension
Descriptor Size SHOT［ 33 ］352 USC［ 34 ］1 960 FPFH［ 35 ］33 Gestalt3D［ 13 ］130 NBLD［ 14 ］1 408 ISHOT［ 48 ］1 344
Table 5. Scene recognition results based on deep learning
View tableView in ArticleTable 5. Scene recognition results based on deep learning
Methods Average recall @1% Oxford U.S. R.A. B.D. PointNetVLAD［ 58 ］80.31% 72.63% 60.27% 65.3% PCAN baseline［ 16 ］83.81% 79.05% 71.18% 66.82% DAGC baseline［ 59 ］87.49% 83.49% 75.68% 71.21% SOE-Net［ 17 ］96.4% 93.17% 91.47% 88.45% SRNet［ 60 ］94.56% 94.33% 89.23% 83.49% Lpd-net［ 19 ］94.92% 96% 90.46% 89.14% EPC-Net［ 63 ］94.74% 96.52% 88.58% 84.92% MinkLoc3D［ 24 ］97.9% 95% 91.2% 88.5% TransLoc3D［ 25 ］98.5 %94.9% 91.5% 88.4% SVT-Net［ 26 ］97.8% 96.5% 92.7 %90.7 %
Table 6. F1 max scores on the KITTI dataset
View tableView in ArticleTable 6. F1 max scores on the KITTI dataset
Methods 00 02 05 06 07 08 Mean M2DP［ 15 ］0.836 0.781 0.772 0.896 0.861 0.169 0.719 ScanContext［ 44 ］0.937 0.858 0.955 0.998 0.922 0.811 0.914 Locus［ 30 ］0.983 0.762 0.981 0.992 1.0 0.931 0.942 PointNetVLAD［ 58 ］0.882 0.791 0.734 0.953 0.767 0.129 0.709 SemGraph［ 61 ］0.960 0.859 0.897 0.944 0.984 0.783 0.904
Tools
Get Citation
Copy Citation Text
Wen HAO, Wenjing ZHANG, Wei LIANG, Zhaolin XIAO, Haiyan JIN. Scene recognition for 3D point clouds： a review[J]. Optics and Precision Engineering, 2022, 30(16): 1988
Paper Information
Category: Information Sciences
Received: Nov. 27, 2021
Accepted: --
Published Online: Sep. 22, 2022
The Author Email: Wen HAO (haowensxsf@163.com)
© Copyright 2018-2021 | Chinese Laser Press.
All Rights Reserved 沪ICP备15018463号-20