(01)ORB-SLAM2源码无死角解析-(04)单目追踪_总体框架讲解TrackMonocular→GrabImageMonocular

讲解关于slam一系列文章汇总链接:史上最全slam从零开始，针对于本栏目讲解的(01)ORB-SLAM2源码无死角解析链接如下(本文内容来自计算机视觉life ORB-SLAM2 课程课件): (01)ORB-SLAM2源码无死角解析-(00)目录_最新无死角讲解：https://blog.csdn.net/weixin_43013761/article/details/123092196   文末正下方中心提供了本人 联系方式， 点击本人照片即可显示 W X → 官方认证 {\color{blue}{文末正下方中心}提供了本人 \color{red} 联系方式，\color{blue}点击本人照片即可显示WX→官方认证} 文末正下方中心提供了本人联系方式，点击本人照片即可显示WX→官方认证  

一、前言

前面我们使用深度图调试，并且进行了简单的讲解。但是深度图涉及的东西没有单目图像多，为了大家学习到更多的东西，接下来使用我们使用单目图像进行讲解。根据前面的博客，运行单目摄像头的指令图下:

	cd /my_work/01.ORB-SLAM2源码解析/ORB_SLAM2
	
	#执行指令./Examples/Monocular/mono_tum Vocabulary/ORBvoc.txt Examples/Monocular/TUMX.yaml PATH_TO_SEQUENCE_FOLDER
	# 注意，此处的TUMX.yaml⽂件要对应于你下载的数据集类型, PATH_TO_SEQUENCE_FOLDER要对应于你的数据集⽂件夹路径，所以本人修改为:
	./Examples/Monocular/mono_tum Vocabulary/ORBvoc.txt Examples/Monocular/TUM1.yaml /my_work/01.ORB-SLAM2源码解析/Datasets/rgbd_dataset_freiburg1_xyz

执行如上指令之后，代码从 ./Examples/Monocular/mono_tum.cc 中的 main 函数开始，其中的主要核心代码如下（只粘贴重要代码）:

	//循环,读取图像进行追踪
	for(int ni=0; niRelease();
            mbDeactivateLocalizationMode = false;
        }
    }

    // Check reset
    {
    unique_lock lock(mMutexReset);
    if(mbReset)
    {
        mpTracker->Reset();
        mbReset = false;
    }
    }

    //获取相机位姿的估计结果
    cv::Mat Tcw = mpTracker->GrabImageMonocular(im,timestamp);

    unique_lock lock2(mMutexState);
    mTrackingState = mpTracker->mState;
    mTrackedMapPoints = mpTracker->mCurrentFrame.mvpMapPoints;
    mTrackedKeyPointsUn = mpTracker->mCurrentFrame.mvKeysUn;

    return Tcw;
}

其上的操作总体来说还是比较简单的，主要流程如下:

	1、判断传感器的类型是否为单目模式，如果不是，则表示设置错误，函数直接返回
	
	2、上锁 模式锁(mMutexMode):
		(1)如果目前需要激活定位模式，则请求停止局部建图，并且等待局部建图线程停止，设置为仅追踪模式。
		(2)如果目前需要取消定位模式，则通知局部建图可以工作了，关闭仅追踪模式
		
	3、上锁 复位锁(mMutexReset): 检查是否存在复位请求，如果有，则进行复位操作

	4、核心部分: 根据输入的图像获得相机位姿态（其中包含了特征提取匹配，地图初始化，关键帧查询等操作）

	5、进行数据更新，如追踪状态、当前帧的地图点、当前帧矫正之后的关键点等。

其上的核心部分为 根据输入的图像获得相机位姿态，也就是函数 GrabImageMonocular()。  

三、GrabImageMonocular

该函数的调用代码为

	 cv::Mat Tcw = mpTracker->GrabImageMonocular(im,timestamp);

其主要进行了操作:

	1、如果输入的图像不为灰度图，则转换为灰度图。

	2、根据是否为第一帧或者或者是否进行初始化，使用不同的参数(提取的特征点数目)进行Frame类的创建
	
	3、Track(); 进行追踪

其代码注释如下

cv::Mat Tracking::GrabImageMonocular(const cv::Mat &im,const double ×tamp)
{
    mImGray = im;

    // Step 1 ：将彩色图像转为灰度图像
    //若图片是3、4通道的，还需要转化成灰度图
    if(mImGray.channels()==3)
    {
        if(mbRGB)
            cvtColor(mImGray,mImGray,CV_RGB2GRAY);
        else
            cvtColor(mImGray,mImGray,CV_BGR2GRAY);
    }
    else if(mImGray.channels()==4)
    {
        if(mbRGB)
            cvtColor(mImGray,mImGray,CV_RGBA2GRAY);
        else
            cvtColor(mImGray,mImGray,CV_BGRA2GRAY);
    }

    // Step 2 ：构造Frame
    //判断当前是否进行了初始化，如果当前为第一帧，则 mState==NO_IMAGES_YET，表示没有进行初始化
    if(mState==NOT_INITIALIZED || mState==NO_IMAGES_YET) //没有成功初始化的前一个状态就是NO_IMAGES_YET
        mCurrentFrame = Frame(
            mImGray,
            timestamp,
            mpIniORBextractor,      //初始化ORB特征点提取器会提取2倍的指定特征点数目
            mpORBVocabulary,
            mK,
            mDistCoef,
            mbf,
            mThDepth);
    else
        mCurrentFrame = Frame(
            mImGray,
            timestamp,
            mpORBextractorLeft,     //正常运行的时的ORB特征点提取器，提取指定数目特征点
            mpORBVocabulary,
            mK,
            mDistCoef,
            mbf,
            mThDepth);

    // Step 3 ：跟踪
    Track();

    //返回当前帧的位姿
    return mCurrentFrame.mTcw.clone();
}

四、结语

从 GrabImageMonocular 函数中，我们可以看到其最核心的部分应该存在于 Track() 函数之中，但是其上的 Frame 创建也是十分重要的，其中做了很多追踪需要的预备工作，如图像金字塔、特征提取，关键点矫正、特征点均匀分布等操作，其也是我们接下来学习的主要对象。     本文内容来自计算机视觉life ORB-SLAM2 课程课件