单目3D检测-坐标系、数据集

​

0.单目3d检测任务

$(c,x,y,z,w,l,h,\theta )$
$\theta$: 目标在三维空间中相对于水平方向的航向信息

1.坐标系转换关系：

1.1.像素坐标系

$o-u,v$:

1.2图象坐标系

$o-x,y$:

1.3相机坐标系：

$o_c-x_c,y_c,z_c$: 主要是和其他传感器、物体的位置做区分。

kitti数据集中相机坐标系如图所示:

1.4.世界坐标系

$o_w-x_w,y_w,z_w$:

1.5激光雷达坐标系

    激光雷达坐标系通常定义如下**左图**所示，其中x指向前方，y指向左方，z指向上方。    
    相机坐标系右图，和激光雷达不一样

1.6世界坐标系转为相机坐标系

设目标坐标系下某一点为$[x,y,z]$，该点在当前坐标系下的坐标为$[x’,y’,z’]$，变化方式如下：

[ x y z ] \begin{bmatrix}x \\y\\z\end{bmatrix} ​xyz​ ​ = r [ x ⋅ y ⋅ z ⋅ ] + t r\begin{bmatrix}x^ ·\\y^·\\z^·\end{bmatrix}+t r ​x⋅y⋅z⋅​ ​+t

1.7图像坐标和像素坐标之间的转换

$$

$dx$和$dy$表示单位像素在$xy$轴上的物理长度，写成齐次公式即为

1.8像素坐标系和世界坐标系之间的转换

$k_{int}:$ 相机内参矩阵，其值只和相机的结构有关。$f_x=f/d_x，f_y=f/d_y$
$k_{ext}:$ 相机外参矩阵,也叫刚体运动中的变换矩阵。其中 r 为旋转矩阵$（r^{-1}=r^t）$，t为平移向量。$r、t$ 则由相机在世界、相机坐标系中的位置姿态决定。

2.kitti数据集解析

文件结构：

calib文件：

p0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
p1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
p2: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 4.485728000000e+01 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.163791000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.745884000000e-03
p3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03
r0_rect: 9.999239000000e-01 9.837760000000e-03 -7.445048000000e-03 -9.869795000000e-03 9.999421000000e-01 -4.278459000000e-03 7.402527000000e-03 4.351614000000e-03 9.999631000000e-01
tr_velo_to_cam: 7.533745000000e-03 -9.999714000000e-01 -6.166020000000e-04 -4.069766000000e-03 1.480249000000e-02 7.280733000000e-04 -9.998902000000e-01 -7.631618000000e-02 9.998621000000e-01 7.523790000000e-03 1.480755000000e-02 -2.717806000000e-01
tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01

其中$b_x^{(i)}$表示相对于参考摄像机0的基准值（以米为单位）。

tr_velo_to_cam:($t_{velo}^{cam}$):从雷达到相机的旋转平移矩阵($r^{3\ast 4}$):

label文件

label文件是kitti中object的标签和评估数据，以“000001.txt”文件为例，包含样式如下：

truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56
car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55
dontcare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10
dontcare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10
dontcare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10
dontcare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10

里面的rotation_y和alpha容易让人弄错，下面详细介绍一下
摄像机坐标系和物体坐标系如下：

																									r_y + pi/2 -theta = alpha +pi/2（即图中紫色的角是相等的）
																										alpha  +  theta  = rotation_y

参考文献：

[kitti参数](https://zhuanlan.zhihu.com/p/403188378）
3d目标检测中的旋转角/航向角θ应该如何理解？
rope3d数据集