基于图像的相机定位指在某个世界坐标系下，根据相机捕获的图像或视频来计算相机的位姿。如图 1 所示，前端对相机捕获的图像进行实时处理，并利用后端提供的地图点数据实时估计相机的位姿。根据环境是否已知，可以将该技术分为两个类别：环境已知型和环境未知型。在环境已知型的定位方法中，根据至少需要观测到的特征点数量，可以分为 3 ≤ n﹤ 6 的方法和 n ≥ 6 的方法。其中，n 为所使用的特征点数量。这些方法研究的是 PnP（Perspective-n-Point）问题。一般来说，3 ≤ n ﹤ 6 的问题是非线性的，n ≥ 6 的问题是线性的。
环境未知型包含在线实时环境地图构建方法和离线环境地图构建方法，即：同时定位与地图构建（SLAM）、从运动恢复结构（SFM）。根据不同的地图生成方法，SLAM 可分为四类：几何度量 SLAM、拓扑 SLAM、基于学习的 SLAM 和基于标记的 SLAM。基于深度学习的 SLAM 是近期一个新的研究方向。我们认为它是不同于几何度量 SLAM 和拓扑 SLAM 的一个单独的类别。基于深度学习的 SLAM 可以同时得到相机位姿和 3D 地图，但需要先验数据集来训练深度神经网络。这类方法的性能极大地依赖于所使用的数据集，并且泛化能力较差。因此，基于深度学习的 SLAM 不如几何度量SLAM 灵活，其在数据集之外的环境中得到的三维地图也不如几何度量 SLAM 准确。基于标记点的 SLAM（marker SLAM）是根据某些已知的结构化的标记来计算相机位姿，而不是知晓整个环境。几何度量 SLAM 包含单目 SLAM、多目 SLAM 和多传感器SLAM。另外，几何度量 SLAM 也可以根据图像利用方式的不同分为基于特征的 SLAM和直接 SLAM。多传感器 SLAM 根据信息融合技术的不同可分为松耦合 SLAM 和紧耦合 SLAM。图 2 用逻辑树的形式展示了基于图像的相机定位方法的所有类别。其中，当前的热门主题以粗边框示出。我们认为，当前的热门主题包括基于大数据的相机定位、基于深度学习的 SLAM、基于关键帧的 SLAM 和多传感器 SLAM。
参考：吴毅红. 基于图像的相机定位技术综述[J]. 人工智能, 2019 (2019 年 02): 50-64.
链接：http://www.cnki.com.cn/Article/CJFDTotal-DKJS201902005.htm
参考论文：Image-based camera localization: an overview https://vciba.springeropen.com/articles/10.1186/s42492-018-0008-z
