计算机视觉方向综述：图像分割算法

　　2.基于区域选择(regional proposal based)

　　Regional proposal 在计算机视觉领域是一个非常常用的算法，尤其是在目标检测领域。其核心思想就是检测颜色空间和相似矩阵，根据这些来检测待检测的区域。然后根据检测结果可以进行分类预测。

　　在语义分割领域，基于区域选择的几个算法主要是由前人的有关于目标检测的工作渐渐延伸到语义分割的领域的，接下来小编将逐步介绍其个中关系。

　　Stage Ⅰ： R-CNN

　　伯克利大学的Girshick教授等人共同提出了首个在目标检测方向应用的深度学习模型：Region-based Convolutional Neural Network(R-CNN)。该网络模型如下图所示，其主要流程为：先使用selective search算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM对候选框进行分类预测，最后使用回归方法对区域框进行修正。

　　R-CNN的优缺点：

　　是首个开创性地将深度神经网络应用到目标检测的算法;

　　使用Bounding Box Regression对目标检测的框进行调整;

　　由于进行特征提取时是串行，处理耗时过长;

　　Selective search算法在提取每一个region时需要2s的时间，浪费大量时间

　　Stage Ⅱ：Fast R-CNN

　　由于R-CNN的效率太低，2015年由Ross等学者提出了它的改进版本：Fast R-CNN。其网络结构图如下图所示(从提取特征开始，略掉了region的选择)Fast R-CNN在传统的R-CNN模型上有所改进的地方是它是直接使用一个神经网络对整个图像进行特征提取，就省去了串行提取特征的时间;接着使用一个RoI Pooling Layer在全图的特征图上摘取每一个RoI对应的特征，再通过FC进行分类和包围框的修正。

　　Fast R-CNN的优缺点

　　节省了串行提取特征的时间;

　　除了selective search以外的其它所有模块都可以合在一起训练;

　　最耗时间的selective search算法依然存在。

　　Stage Ⅲ：Faster R-CNN

　　2016年提出的Faster R-CNN可以说有了突破性的进展(虽然还是目标检测哈哈哈)，因为它改变了它的前辈们最耗时最致命的部位：selective search算法。它将selective search算法替换成为RPN，使用RPN网络进行region的选取，将2s的时间降低到10ms，其网络结构如下图所示：

　　Faster R-CNN优缺点：

　　使用RPN替换了耗时的selective search算法，对整个网络结构有了突破性的优化;

　　Faster R-CNN中使用的RPN和selective search比起来虽然速度更快，但是精度和selective search相比稍有不及，如果更注重速度而不是精度的话完全可以只使用RPN;

　　Stage Ⅳ：Mask R-CNN

　　Mask R-CNN(终于到分割了!)是何恺明大神团队提出的一个基于Faster R-CNN模型的一种新型的分割模型，此论文斩获ICCV 2017的最佳论文，在Mask R-CNN的工作中，它主要完成了三件事情：目标检测，目标分类，像素级分割。

　　恺明大神是在Faster R-CNN的结构基础上加上了Mask预测分支，并且改良了ROI Pooling，提出了ROI Align。其网络结构真容就如下图所示啦：

　　Mask R-CNN的优缺点：

　　引入了预测用的Mask-Head，以像素到像素的方式来预测分割掩膜，并且效果很好;

　　用ROI Align替代了ROI Pooling，去除了RoI Pooling的粗量化，使得提取的特征与输入良好对齐;

　　分类框与预测掩膜共享评价函数，虽然大多数时间影响不大，但是有的时候会对分割结果有所干扰。

　　Stage Ⅴ：Mask Scoring R-CNN

　　最后要提出的是2019年CVPR的oral，来自华中科技大学的研究生黄钊金同学提出的

　　MS R-CNN，这篇文章的提出主要是对上文所说的Mask R-CNN的一点点缺点进行了修正。他的网络结构也是在Mask R-CNN的网络基础上做了一点小小的改进，添加了Mask-IoU。

　　黄同学在文章中提到：恺明大神的Mask R-CNN已经很好啦!但是有个小毛病，就是评价函数只对目标检测的候选框进行打分，而不是分割模板(就是上文提到的优缺点中最后一点)，所以会出现分割模板效果很差但是打分很高的情况。所以黄同学增加了对模板进行打分的MaskIoU Head，并且最终的分割结果在COCO数据集上超越了恺明大神，下面就是MS R-CNN的网络结构啦~

　　MS R-CNN的优缺点：

　　优化了Mask R-CNN中的信息传播，提高了生成预测模板的质量;

　　未经大批量训练的情况下，就拿下了COCO 2017挑战赛实例分割任务冠军;

　　要说缺点的话。。应该就是整个网络有些庞大，一方面需要ResNet当作主干网络，另一方面需要其它各种Head共同承担各种任务。