.. _sec_rcnn:
区域卷积神经网络（R-CNN）系列
=============================
除了 :numref:`sec_ssd`\ 中描述的单发多框检测之外，
区域卷积神经网络（region-based CNN或regions with CNN features，R-CNN）
:cite:`Girshick.Donahue.Darrell.ea.2014`\ 也是将深度模型应用于目标检测的开创性工作之一。
本节将介绍R-CNN及其一系列改进方法：快速的R-CNN（Fast R-CNN）
:cite:`Girshick.2015`\ 、更快的R-CNN（Faster R-CNN）
:cite:`Ren.He.Girshick.ea.2015`\ 和掩码R-CNN（Mask R-CNN）
:cite:`He.Gkioxari.Dollar.ea.2017`\ 。
限于篇幅，我们只着重介绍这些模型的设计思路。
R-CNN
-----
*R-CNN*\ 首先从输入图像中选取若干（例如2000个）\ *提议区域*\ （如锚框也是一种选取方法），并标注它们的类别和边界框（如偏移量）。
:cite:`Girshick.Donahue.Darrell.ea.2014`\ 然后，用卷积神经网络对每个提议区域进行前向传播以抽取其特征。
接下来，我们用每个提议区域的特征来预测类别和边界框。
.. _fig_r-cnn:
.. figure:: ../img/r-cnn.svg
R-CNN模型
:numref:`fig_r-cnn`\ 展示了R-CNN模型。具体来说，R-CNN包括以下四个步骤：
1. 对输入图像使用\ *选择性搜索*\ 来选取多个高质量的提议区域
:cite:`Uijlings.Van-De-Sande.Gevers.ea.2013`\ 。这些提议区域通常是在多个尺度下选取的，并具有不同的形状和大小。每个提议区域都将被标注类别和真实边界框；
2. 选择一个预训练的卷积神经网络，并将其在输出层之前截断。将每个提议区域变形为网络需要的输入尺寸，并通过前向传播输出抽取的提议区域特征；
3. 将每个提议区域的特征连同其标注的类别作为一个样本。训练多个支持向量机对目标分类，其中每个支持向量机用来判断样本是否属于某一个类别；
4. 将每个提议区域的特征连同其标注的边界框作为一个样本，训练线性回归模型来预测真实边界框。
尽管R-CNN模型通过预训练的卷积神经网络有效地抽取了图像特征，但它的速度很慢。
想象一下，我们可能从一张图像中选出上千个提议区域，这需要上千次的卷积神经网络的前向传播来执行目标检测。
这种庞大的计算量使得R-CNN在现实世界中难以被广泛应用。
Fast R-CNN
----------
R-CNN的主要性能瓶颈在于，对每个提议区域，卷积神经网络的前向传播是独立的，而没有共享计算。
由于这些区域通常有重叠，独立的特征抽取会导致重复的计算。 *Fast R-CNN*
:cite:`Girshick.2015`\ 对R-CNN的主要改进之一，是仅在整张图象上执行卷积神经网络的前向传播。
.. _fig_fast_r-cnn:
.. figure:: ../img/fast-rcnn.svg
Fast R-CNN模型
:numref:`fig_fast_r-cnn`\ 中描述了Fast R-CNN模型。它的主要计算如下：
1. 与R-CNN相比，Fast
R-CNN用来提取特征的卷积神经网络的输入是整个图像，而不是各个提议区域。此外，这个网络通常会参与训练。设输入为一张图像，将卷积神经网络的输出的形状记为\ :math:`1 \times c \times h_1 \times w_1`\ ；
2. 假设选择性搜索生成了\ :math:`n`\ 个提议区域。这些形状各异的提议区域在卷积神经网络的输出上分别标出了形状各异的兴趣区域。然后，这些感兴趣的区域需要进一步抽取出形状相同的特征（比如指定高度\ :math:`h_2`\ 和宽度\ :math:`w_2`\ ），以便于连结后输出。为了实现这一目标，Fast
R-CNN引入了\ *兴趣区域汇聚层*\ （RoI
pooling）：将卷积神经网络的输出和提议区域作为输入，输出连结后的各个提议区域抽取的特征，形状为\ :math:`n \times c \times h_2 \times w_2`\ ；
3. 通过全连接层将输出形状变换为\ :math:`n \times d`\ ，其中超参数\ :math:`d`\ 取决于模型设计；
4. 预测\ :math:`n`\ 个提议区域中每个区域的类别和边界框。更具体地说，在预测类别和边界框时，将全连接层的输出分别转换为形状为\ :math:`n \times q`\ （\ :math:`q`\ 是类别的数量）的输出和形状为\ :math:`n \times 4`\ 的输出。其中预测类别时使用softmax回归。
在Fast R-CNN中提出的兴趣区域汇聚层与
:numref:`sec_pooling`\ 中介绍的汇聚层有所不同。在汇聚层中，我们通过设置汇聚窗口、填充和步幅的大小来间接控制输出形状。而兴趣区域汇聚层对每个区域的输出形状是可以直接指定的。
例如，指定每个区域输出的高和宽分别为\ :math:`h_2`\ 和\ :math:`w_2`\ 。
对于任何形状为\ :math:`h \times w`\ 的兴趣区域窗口，该窗口将被划分为\ :math:`h_2 \times w_2`\ 子窗口网格，其中每个子窗口的大小约为\ :math:`(h/h_2) \times (w/w_2)`\ 。
在实践中，任何子窗口的高度和宽度都应向上取整，其中的最大元素作为该子窗口的输出。
因此，兴趣区域汇聚层可从形状各异的兴趣区域中均抽取出形状相同的特征。
作为说明性示例，
:numref:`fig_roi`\ 中提到，在\ :math:`4 \times 4`\ 的输入中，我们选取了左上角\ :math:`3\times 3`\ 的兴趣区域。
对于该兴趣区域，我们通过\ :math:`2\times 2`\ 的兴趣区域汇聚层得到一个\ :math:`2\times 2`\ 的输出。
请注意，四个划分后的子窗口中分别含有元素0、1、4、5（5最大）；2、6（6最大）；8、9（9最大）；以及10。
.. _fig_roi:
.. figure:: ../img/roi.svg
一个 :math:`2\times 2` 的兴趣区域汇聚层
下面，我们演示了兴趣区域汇聚层的计算方法。
假设卷积神经网络抽取的特征\ ``X``\ 的高度和宽度都是4，且只有单通道。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from mxnet import np, npx
npx.set_np()
X = np.arange(16).reshape(1, 1, 4, 4)
X
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
[07:11:42] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
array([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import torch
import torchvision
X = torch.arange(16.).reshape(1, 1, 4, 4)
X
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import warnings
warnings.filterwarnings("ignore")
import paddle
import paddle.vision as paddlevision
X = paddle.reshape(paddle.arange(16, dtype='float32'), (1,1,4,4))
X
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Tensor(shape=[1, 1, 4, 4], dtype=float32, place=Place(cpu), stop_gradient=True,
[[[[0. , 1. , 2. , 3. ],
[4. , 5. , 6. , 7. ],
[8. , 9. , 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
rois = np.array([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
rois = torch.Tensor([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
rois = paddle.to_tensor([[0, 0, 20, 20], [0, 10, 30, 30]]).astype('float32')
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
npx.roi_pooling(X, rois, pooled_size=(2, 2), spatial_scale=0.1)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
array([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
torchvision.ops.roi_pool(X, rois, output_size=(2, 2), spatial_scale=0.1)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
boxes_num = paddle.to_tensor([len(rois)]).astype('int32')
paddlevision.ops.roi_pool(X, rois, boxes_num, output_size=(2, 2), spatial_scale=0.1)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Tensor(shape=[2, 1, 2, 2], dtype=float32, place=Place(cpu), stop_gradient=True,
[[[[5. , 6. ],
[9. , 10.]]],
[[[9. , 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
`讨论区 `__
.. raw:: html
.. raw:: html
`讨论区 `__
.. raw:: html
.. raw:: html
`讨论区 `__
.. raw:: html
.. raw:: html