基于双目相机计算机视觉任务难点

  • 双目相机基线窄对近处物体成像效果好,基线宽对远处物体成像效果好,这是一个trade-off,如何使得两者平衡,是很多团队正在研究的方向,有一些团队使用了多台不同基线长度的双目相机来解决这个问题
  • 在进行3D重构时,往往要求双目相机的光轴互相平行,这是因为在3D重构时,我们在两张双目相机得到的图片上寻找匹配点时,如果双目相机光轴平行,我们可以只考虑一个方向,我们可以在图片上沿水平方向寻找匹配点,这大大缩短了匹配算法的时间以及提升了精度;而现实生活中,由于安装等等原因,可能造成双目相机光轴不平行。当然如果相机光轴不平行时,可以通过八点法等方法计算Rotation matrix R 以及 Translation matrix T 来得到两个相机的位置变换,再进行匹配算法,3D重构等(在我的Github中有匹配算法,求相机变换矩阵RT的基于RANSAC算法的八点法以及物体3D重构的代码实现)
  • 在3D环境中目标匹配比较难,Detector在不同的frame中探测到很多个物体,但是Data association ( Similarity measurement ) 比较难,当然这也是传统MoT(多目标追踪) 的难点,使得我们将这些物体匹配起来比较难,也就无从谈及追踪了