Object detection可以看作是一种粗粒度的instance segmentation。在场景推理中,重叠物体的遮掩及其空间关系之间的判断与推理以object detection的bounding box representation实现起来比较困难。携带边缘和occlusion信息的instance segmentation在这种任务上更有优势。
UToronto的instance segmentation ppt
实现1. Mask RCNN
git: https://github.com/matterport/Mask_RCNN
Mask-RCNN以Fast-RCNN为backbone实现了instance segmentation。step 1与Fast-RCNN相同,首先进行region proposal。在RPN以sliding window得到region后,通过VGG/ResNet得到512×14×14的tensor。
实现2. Deep Mask
git: https://github.com/facebookresearch/deepmask