这是一篇发表在了cvpr 2021上,能够在线估计外参的单目3D目标检测算法,借鉴了visual odometry和style transfer的方法,效果好, 速度快(~30ms), 意料之外,情理之中,非常值得一看!
paper:https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Monocular_3D_Object_Detection_An_Extrinsic_Parameter_Free_Approach_CVPR_2021_paper.pdfhttps://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Monocular_3D_Object_Detection_An_Extrinsic_Parameter_Free_Approach_CVPR_2021_paper.pdf
精度对比:KITTI Cars Moderate Benchmark (Monocular 3D Object Detection) | Papers With Codehttps://paperswithcode.com/sota/monocular-3d-object-detection-on-kitti-cars
主要观点/贡献:
1. 实际使用单目3D目标检测的时候,需要考虑相机外参,否则检测结果会偏近或者偏远;
实现方式:
1. 借助VO(visual odometry)的方法,估计地平面和消失点,从而获得相机的外参;
2. 用估计出来的相机外参,并借鉴style transfer的方法,进行feature transfer, 把feature变换成相机光轴和地平面平行的情形;其中,位置/边缘等content 相关的feature要变,光照/纹理等style相关的feature不用变,如下图:
重要参考文献:
1. Deep learning for vanishing point detection on 1 million street view images
2. Perceptual losses for real-time style transfer and super-resolution