Deep Learning Note: 4-1 卷积神经网络:边缘检测

1. 计算机视觉

  一些计算机视觉问题有:

  • 图像分类(Image Classification):判断图像中物体的分类,如输入一张图像,判断它是否为猫的照片。
  • 对象检测(Object Detection):不仅要判断图像中是否有目标物体,还找出各个目标物体的位置,如检测汽车前方路况图像中障碍物的具体位置。
  • 神经风格迁移(Neural Style Transfer):使用一张图像的风格迁移到量一张图像上,合成新的图像,如将毕加索抽象画的风格迁移到一张普通照片上,合成带有抽象风格的照片。

  计算机视觉问题的一大挑战是输入的图像可能会非常大。例如输入为 1000 * 1000 的 RGB 图像,则总共有 1000 * 1000 * 3 个特征,如果网络的第一个隐藏层有 1000 个节点,则第一层的权重 $W^{[1]}$ 的大小为 $(1000, 3 \times 10^6)$,即第一层总共有 $3 \times 10^9$ 个权重参数,对于如此巨大的参数数量,很难收集到足够的数据来避免网络发生过拟合,而且训练该网络需要的计算量也非常大。卷积神经网络很好地解决了这一问题。

2. 边缘检测

  卷积操作是卷积神经网络的基础,下面以边缘检测为例,说明卷积操作的具体步骤。

  在边缘检测中,通常会分别检测图片中的垂直边缘和水平边缘,如图 1 所示。

图 1

图 1

  举例来说,式 (1) 中的 $Image$ 表示一个 6 * 6 的灰阶图像:

\begin{equation}
Image =
\begin{bmatrix}
3 & 0 & 1 & 2 & 7 & 4 \\
1 & 5 & 8 & 9 & 3 & 1 \\
2 & 7 & 2 & 5 & 1 & 3 \\
0 & 1 & 3 & 1 & 7 & 8 \\
4 & 2 & 1 & 6 & 2 & 8 \\
2 & 4 & 5 & 2 & 3 & 9
\end{bmatrix} \tag{1}
\end{equation}

  要检测 $Image$ 中的垂直边缘,首先构造一个 $3 \times 3$ 的矩阵 $Filter$,如式 (2),这个矩阵称为过滤器(Filter)或核(Kernel)。

\begin{equation}
Filter =
\begin{bmatrix}
1 & 0 & -1 \\
1 & 0 & -1 \\
1 & 0 & -1
\end{bmatrix} \tag{2}
\end{equation}

  然后计算 $Image$ 和 $Filter$ 的卷积:

\begin{equation}
Image * Filter =
\begin{bmatrix}
-5 & -4 & 0 & 8 \\
-10 & -2 & 2 & 3 \\
0 & -2 & -4 & -7 \\
-3 & -2 & -3 & -16
\end{bmatrix} \tag{3}
\end{equation}

  式 (3) 中第 1 行第 1 列(左上角)的元素为 -5,它是由 $Image$ 中前 3 行和前 3 列所组成的 $3 \times 3$ 的矩阵与 $Filter$ 逐元素相乘,再求和得到的,即:

\begin{equation}
\begin{bmatrix}
3 & 0 & 1 \\
1 & 5 & 8 \\
2 & 7 & 2
\end{bmatrix}
\cdot
\begin{bmatrix}
1 & 0 & -1 \\
1 & 0 & -1 \\
1 & 0 & -1
\end{bmatrix}
=\begin{bmatrix}
3 & 0 & -1 \\
1 & 0 & -8 \\
2 & 0 & -2
\end{bmatrix} \\
\end{equation}

\begin{equation}
3 + 0 – 1 + 1 + 0 – 8 + 2 + 0 – 2 = -5
\end{equation}

  同理,式 (3) 中第 1 行第 2 列的元素的计算过程为,使用 $Image$ 中前 3 行和第 2 ~ 4 列所组成的 $3 \times 3$ 的矩阵与 $Filter$ 逐元素相乘再求和:

\begin{equation}
\begin{bmatrix}
0 & 1 & 2 \\
5 & 8 & 9 \\
7 & 2 & 5
\end{bmatrix}
\cdot
\begin{bmatrix}
1 & 0 & -1 \\
1 & 0 & -1 \\
1 & 0 & -1
\end{bmatrix}
=\begin{bmatrix}
0 & 0 & -2 \\
5 & 0 & -9\\
7 & 0 & -5
\end{bmatrix} \\
\end{equation}

\begin{equation}
0 + 0 – 2 + 5 + 0 – 9 + 7 + 0 – 5 = -4
\end{equation}

  以此类推,相当于将 $Filter$ 放在 $Image$ 上,从左到右、从上到下地移动过整个 $Image$,分别计算 $Image$ 被 $Filter$ 盖住的部分与 $Filter$ 的逐元素乘积的和,最终得到式 (3) 的结果,$6 \times 6$ 的矩阵卷积一个 $3 \times 3$ 的矩阵得到一个 $4 \times 4$ 的矩阵。以上就是一个简单的边缘检测器。

  再看一个列子,一个 $6 \times 6$ 的图像卷积一个如式 (2) 的 $3 \times 3$ 的过滤器,如式 (4):

\begin{equation}
\begin{bmatrix}
10 & 10 & 10 & 0 & 0 & 0 \\
10 & 10 & 10 & 0 & 0 & 0 \\
10 & 10 & 10 & 0 & 0 & 0 \\
10 & 10 & 10 & 0 & 0 & 0 \\
10 & 10 & 10 & 0 & 0 & 0 \\
10 & 10 & 10 & 0 & 0 & 0 \\
\end{bmatrix}
*
\begin{bmatrix}
1 & 0 & -1 \\
1 & 0 & -1 \\
1 & 0 & -1
\end{bmatrix}
=\begin{bmatrix}
0 & 30 & 30 & 0 \\
0 & 30 & 30 & 0 \\
0 & 30 & 30 & 0 \\
0 & 30 & 30 & 0
\end{bmatrix} \\
\end{equation}

  在这个 $6 \times 6$ 的图像中,左边一半像素的值全是 10,右边一半像素的值全是 0,中间是一条非常明显的垂直边缘。这个图像与过滤器卷积的结果中,中间两列的值都是 30,两边两列的值都是 0,即检测到了原 $6 \times 6$ 图像中的垂直边缘。以上过程如图 2 所示。

图 2

图 2

  再来看一下式 (2) 所示的过滤器中,其中左边一列全是 1,右边一列全是 -1,中间一列的值全是 0,位于 1 和 -1 之间。这个过滤器本身体现了垂直边缘的特征,即在一段范围内,左边与右边的像素值明显不同。通过将图像与这样的过滤器相卷积,可以发现图像中具有过滤器所描述的特征的部位。

  将上面例子中的图像水平翻转,再与式 (2) 的过滤器相卷积,结果如如 3:

图 3

图 3

  图 3 中图像的边缘过度的方向(从暗到亮)与图 2(从亮到暗)相反,图 3 中图像卷积后的结果(-30)也与图 2 中的结果(30)相反;因为过滤器的图样是从亮到暗的,故从亮到暗的边缘检测为正值,从暗到亮的边缘检测为负值。如果不关心边缘过度的方向,可以对卷积结果取绝对值。

  将式 (2) 中的过滤器矩阵旋转 90 度,可以得到检测水平边缘的过滤器,即:

\begin{equation}
\begin{bmatrix}
1 & 1 & 1 \\
0 & 0 & 0 \\
-1 & -1 & -1
\end{bmatrix}
\end{equation}

  一个例子如图 4 所示:

图 4

图 4

  除了上面用到的两种过滤器,在计算机视觉的发展过程中,出现了很多不同的过滤器。例如 Sobel 过滤器通过在中间一行加入了额外的权重,获得更好的稳定性:

\begin{equation}
\begin{bmatrix}
1 & 0 & -1 \\
2 & 0 & -2 \\
1 & 0 & -1
\end{bmatrix}
\end{equation}

  又例如 Scharr 过滤器:

\begin{equation}
\begin{bmatrix}
3 & 0 & -3 \\
10 & 0 & -10 \\
3 & 0 & -3
\end{bmatrix}
\end{equation}

  随着深度学习的发展,我们需要检测更复杂的图像中的边缘,与其使用由人手工设计的过滤器,还可以将过滤器中的数值作为参数,通过反向传播来学习得到。算法可以根据实际数据来选择合适的检测目标,无论是检测水平边缘、垂直边缘还是其他角度的边缘,并习得图像的低层特征。