DynaSLAM源码笔记-检测动态物体部分梳理.pdf

DynaSLAM源码笔记-检测动态物体部分梳理 按照main函数向下细分的顺序⼤概记录 下rgbd情况下，动态物体去除 （inpaint的部分本篇不涉及）的源码的写法，并对应 下论⽂, 关 于ORB-SLAM2本⾝的部分不会太涉及到。 安装⽅法见 ： 论⽂笔记见 ： 如果有什么不同的理解或者本⽂存在什么错误，欢迎评论交流讨论 ！ . rgbd_tum.cc 新增了 个命名空间和类来进⾏关于MaskRCNN的处理，先进⾏这个对象的初始化，把相关参数和⽹络都弄好。 // Initialize Mask R-CNN DynaSLAM::SegmentDynObject *MaskNet ; if (argc==6 || argc== ) { cout Loading Mask R-CNN. This could take a while... endl; MaskNet = new DynaSLAM::SegmentDynObject() ; cout Mask R-CNN loaded ! endl; } 下⽅代码中，执⾏ MaskNet-GetSegmentation() 函数，得到每 帧图⽚对应的分割结果。分割结果 （变量maskRCNN）中，1表⽰先验的动 态物体，0表⽰其他部分。注意，这⾥还对MaskRCNN分割的结果多进⾏了 次Dilate处理，也就是说要扣去的⼈的范围⽐神经⽹络的结果 再⼤ 点。 关于Dilate，个⼈觉得如果不想混淆这个概念，最重要的就是清楚它的本质 ：取邻域的最⼤值 （是和像素值有关的） // Segment out the images 在这⾥使⽤MAskRCNN找到mask cv ::Mat mask = cv ::Mat ::ones(480,640,CV_8U) ; if (argc == 6 || argc == ) { cv ::Mat maskRCNN; // 这⾥的maskRCNN数值在0- 1之间， 动态物体的mask对应像素值 1 maskRCNN = MaskNet-GetSegmentation(imRGB,string(argv[5]),vstrImageFilenamesRGB[ni].replace(0,4,)) ; // vstrImageFilenamesRGB ni] 的结果类似于rgb/ 134 184664 7.80224 7.png， replace是把前⾯四个字符去掉 cv ::Mat maskRCNNdil = maskRCNN.clone() ; //这⾥做了 个形态学的处理，扩⼤maskRCNN上动态物体轮廓的范围 cv ::dilate(maskRCNN,maskRCNNdil, kernel) ; mask = mask - maskRCNNdil; //求了个差， 1表⽰静态物体 } // Pass the image to the SLAM system // 把Mask的Mat传进系统中 // 如果argc==7，说明需要的6个参数都在终端给了，要进⾏inpaint就执⾏if成⽴后的步骤，其他情况都执⾏else后的内容 if (argc == ){SLAM.TrackRGBD(imRGB,imD,mask,tframe,imRGBOut,imDOut,maskOut) ;} else {SLAM.TrackRGBD(imRGB,imD,mas