OpenCV图像处理学习十六，解析图像卷积运算原理并应用Sobel算子，Scharr算子和拉普拉斯算子（Laplance）的应用

一.卷积核的概念

卷积核，通常也叫算子。用一个设定数值模板去处理一张输入图片，进行卷积运算。目的是使目标与目标之间的差距变得更大。卷积在数字图像处理中最常见的应用为锐化和边缘提取。

边缘提取：
当前景目标像素值与周边背景目标的像素值有较大差异时，可以通过卷积核对原图矩阵中的这个位置进行卷积运算，得出的值和该像素点原来的灰度值会产生显著的差异。变化的值超过我们预设的范围后，就可以将图像进行阈值处理，将图像的差异最大化，可以得到了一黑色为背景，白色线条作为边缘或形状的边缘提取效果图。

锐化算子：
通过卷积运算，可以增大矩阵每一个元素与周边元素的反差，起到锐化作用。图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征，也被称为边缘增强。

对图像求它的一阶导数
delta = f(x) – f(x-1), delta越大，说明像素在X方向变化越大，边缘信号越强

=========================================================================

二.图像卷积的运算原理

卷积核作为一个设定数值模板矩阵，输入的待处理的图像作为原型矩阵，二者进行图像卷积运算，主要是使模板矩阵的中心像素点（称之为锚点）覆盖在待计算原型矩阵元素上面，中心像素点逐一对齐原型矩阵上的像素点（边缘像素无法对齐锚点，也就无法进行卷积计算，只能通过边缘像素处理后才能进行卷积），然后计算元素值与被覆盖的卷积核中的值的乘积和。将这个和赋值给当前锚点，这就是卷积的运算过程。 ​​​

--------------------------------------------------------------------------------------------------------------------------------

第一类：Sobel算子

Sobel算子的概念
Sobel算子是离散微分算子（discrete differentiation operator），用来计算图像灰度的近似梯度。sobel算子由两个3X3的卷积核构成，分别用于计算中心像素邻域的灰度加权差。分为垂直方向和水平方向的索伯滤波器Gx 和Gy。Soble算子功能集合高斯平滑和微分求导,又被称为一阶微分算子，求导算子，在水平和垂直两个方向上求导，得到图像X方法与Y方向梯度图像，如下图。
参数说明：

#参数说明：
I 代表输入图像产生的图像矩阵，
Gx及Gy 分别代表经横向及纵向边缘检测的图像灰度值
G 表示图像的每一个像素的横向及纵向灰度值，有两种计算方式，通常Gx和Gy开方运算比较复杂

-------------------------------------------------------------------------------------------------------------------

Sobel算子的卷积计算过程
为计算图像x方向上的梯度图像，我们需要一个卷积核kernel(Gx)和3*3的像素图片矩阵P。

#卷积核kernel和图像 P 
Mat kernel = (Mat_<char>(3, 3) << -1，0，+1，-2，0，+2，-1，0，+1);
Mat P       = (Mat_<char>(3, 3) <<P1,P2,P3,P4,P5,P6,P7,P8,P9);  

以卷积核模板的中心像素为锚点，将卷积核与图像上像素值一一对应进行像素遍历，卷积核上的数字相当于加权系数。利用如下公式即可计算出卷积核中心的x方向梯度。

卷积计算过程为：P5 = (P3-P1)+2*(P6-P4)+(P9-P7)

同样的原理，在Gy方向上的梯度计算也可以求取
卷积计算过程为：P5 = (P7-P1)+2*(P8-P2)+(P9-P3)，这样就得到了垂直方向和水平方向的图像梯度Gx 和Gy，就可以求出总的图像梯度，通常取|Gx| + |Gy|的和作为总的图像梯度。

---------------------------------------------------------------------------------------------------------------------------------

Sobel算子API函数接口：

#函数API接口：
 
cv::Sobel (
InputArray Src // 输入图像
OutputArray dst// 输出图像，大小与输入图像一致
int depth // 输出图像深度. 
Int dx.  // X方向，几阶导数
int dy // Y方向，几阶导数. 
int ksize, SOBEL算子kernel大小，必须是1、3、5、7、
double scale  = 1
double delta = 0
int borderType = BORDER_DEFAULT
)

参数说明：

第一个参数，InputArray 类型的src，为输入图像，填Mat类型即可。
第二个参数，OutputArray类型的dst，即目标图像，函数的输出参数，要求与源图片有一样的尺寸和类型。
第三个参数，int类型的ddepth，输出图像的深度，目标图像的深度必须大于原图像的深度，支持如下src.depth()和ddepth的组合：

若src.depth() = CV_8U, 取ddepth =-1/CV_16S/CV_32F/CV_64F
若src.depth() = CV_16U/CV_16S, 取ddepth =-1/CV_32F/CV_64F
若src.depth() = CV_32F, 取ddepth =-1/CV_32F/CV_64F
若src.depth() = CV_64F, 取ddepth = -1/CV_64F

第四个参数，int类型的dx，x 方向上的差分阶数。
第五个参数，int类型的dy，y方向上的差分阶数。
第六个参数，int类型ksize，有默认值3，表示Sobel核的大小; 必须取1，3，5或7奇数的核。
第七个参数，double类型的scale，计算导数值时可选的缩放因子，默认值是1，表示默认情况下是没有应用缩放的。我们可以在文档中查阅getDerivKernels的相关介绍，来得到这个参数的更多信息。
第八个参数，double类型的delta，表示在结果存入目标图（第二个参数dst）之前可选的delta值，有默认值0。
第九个参数， int类型的borderType，边界模式，默认值为BORDER_DEFAULT。

enum BorderTypes {
    BORDER_CONSTANT    = 0, //使用指定像素值来填充边缘
    BORDER_REPLICATE   = 1, //用已知的边缘像素值来填充边缘
    BORDER_REFLECT     = 2, //使用已知的边缘像素值来反转填充边缘
    BORDER_WRAP        = 3, //用另外一边的像素来补偿填充
    BORDER_REFLECT_101 = 4, //使用已知的边缘像素值来反转填充边缘
    BORDER_TRANSPARENT = 5, //使用黑色进行填充，本质上就是填充0
 
    BORDER_REFLECT101  = BORDER_REFLECT_101,
    BORDER_DEFAULT     = BORDER_REFLECT_101, 
    BORDER_ISOLATED    = 16 //

--------------------------------------------------------------------------------------------------------------------------------

注意知识点：

1.图像在经过处理后，需要用cv：：函数将其转回原来的uint8形式，否则将无法显示图像，而只是一副灰色的窗口。 

convertScaleAbs()函数原型：

void cv::convertScaleAbs(
2     cv::InputArray src, // 输入数组
3     cv::OutputArray dst, // 输出数组
4     double alpha = 1.0, // 乘数因子
5     double beta = 0.0 // 偏移量
6 );
   
      //结果返回uint8类型的图片

功能：实现将原图片转换为uint8类型

2.由于Sobel算子是在X轴，Y轴两个方向计算的，还需要用cv2.addWeighted()函数将其组合起来 

函数原型：

CV_EXPORTS_W void addWeighted(InputArray src1, double alpha, InputArray src2,
 
double beta, double gamma, OutputArray dst, int dtype=-1);
 
src1: 第一幅输入图像 
alpha: 线性混合时第一幅图像的权重 
src2: 第二幅输入图像 
beta: 第二幅输入图像的权重 
dst: 图像线性混合后的目标图像 
gamma: 添加到每一个线性叠加总和的gamma值 
dtype: 目标图像深度，当两幅图像深度相同时可以将dtype置为-1,这样目标图像的深度将与输入图像相同
 
其中beta - (1.0 - alpha);
对于每个像素点其计算公式如下：
dst = a×src1+b×src2+r

功能：实现以不同的权重将两幅图片叠加，对于不同的权重，叠加后的图像会有不同的透明度

=========================================================================

第二类：Scharr算子

Scharr算子比Sobel算子的值更大，是在Sorbel算子基础上改进的，因此对于灰度变化更为敏感，会得到较强的边缘强度，但是也会损失一些细节。

cv::Scharr (
InputArray Src // 输入图像
OutputArray dst// 输出图像，大小与输入图像一致
int depth // 输出图像深度. 
Int dx.  // X方向，几阶导数
int dy // Y方向，几阶导数. 
double scale  = 1
double delta = 0
int borderType = BORDER_DEFAULT
)
 
第一个参数，InputArray 类型的src，为输入图像，填Mat类型即可。
第二个参数，OutputArray类型的dst，即目标图像，函数的输出参数，要求与源图片有一样的尺寸和类型。
第三个参数，int类型的ddepth，输出图像的深度，目标图像的深度必须大于原图像的深度，支持如下src.depth()和ddepth的组合：
    BORDER_CONSTANT    = 0, //使用指定像素值来填充边缘
    BORDER_REPLICATE   = 1, //用已知的边缘像素值来填充边缘
    BORDER_REFLECT     = 2, //使用已知的边缘像素值来反转填充边缘
    BORDER_WRAP        = 3, //用另外一边的像素来补偿填充
    BORDER_REFLECT_101 = 4, //使用已知的边缘像素值来反转填充边缘
    BORDER_TRANSPARENT = 5, //使用黑色进行填充，本质上就是填充0
 
 
第四个参数，int类型的dx，x 方向上的差分阶数。
第五个参数，int类型的dy，y方向上的差分阶数。
第六个参数，int类型ksize，有默认值3，表示Sobel核的大小; 必须取1，3，5或7奇数的核。
第七个参数，double类型的scale，计算导数值时可选的缩放因子，默认值是1，表示默认情况下是没有应用缩放的。我们可以在文档中查阅getDerivKernels的相关介绍，来得到这个参数的更多信息。
第八个参数，double类型的delta，表示在结果存入目标图（第二个参数dst）之前可选的delta值，有默认值0。
第九个参数， int类型的borderType，边界模式，默认值为BORDER_DEFAULT。

=========================================================================

第三类：拉普拉斯（Laplance）算子

拉普拉斯算子原理

拉普拉斯算子(Laplance operator) 边缘提取的数学依据：在二阶导数的时候，最大变化处的值为零即边缘是零值。计算图像二阶导数，可以用来梯度计算、提取边缘、检测边缘。

Laplacian提取边缘流程

1）高斯模糊 – 去噪声GaussianBlur()
GaussianBlur(src, dst, Size(3, 3), 0, 0); //高斯模糊
2）转灰度 - cvtColor()
cvtColor(dst, gray_src, CV_BGR2GRAY); //转灰度
3）拉普拉斯 – 二阶导数计算Laplacian()
Laplacian(gray_src, edge_image, CV_16S, 3); //Laplacian算子
4）取绝对值 - convertScaleAbs() - 此处即可得到边缘图像
convertScaleAbs(edge_image, edge_image); //取绝对值
5）再二值化阈值处理 - 增强边缘特征threshold() - 边缘图像更明显
threshold(edge_image, edge_image, 0, 255, THRESH_BINARY | THRESH_OTSU);//自动计算二值化otsu阈值，忽略输入的阈值

--------------------------------------------------------------------------------------------------------------------------------

Laplacian算子API函数接口

void Laplacian(InputArray src, OutputArray dst, int ddepth, int ksize=1, double scale=1, double delta=0, int borderType=BORDER_DEFAULT )
参数说明：
 
前两个是必须的参数：
第一个参数是输入的原图像，Mat类型的图片；
第二个参数是图像的深度，-1表示与原图像相同深度。目标图像深度必须大于等于原图像深度；
 
其后是可选的参数：
第三个参数dst目标图像，Mat类型的图片；
第四个参数ksize是算子的大小，必须为1、3、5、7。默认为1。
第五个参数scale是缩放导数的比例常数，默认无伸缩系数；
第六个参数delta是可选增量，会加到最终的dst中，默认情况下无额外的值加dst；
第七个参数borderType是判断图像边界模式。缺省cv.BORDER_DEFAULT。

=========================================================================

代码实现：

#include"stdafx.h"
#include<opencv2/opencv.hpp>
#include<iostream>
#include<math.h>
using namespace std;
using namespace cv;
 
int main(int argc, char**argv)
{
	Mat src, gray_src, dst, dst2;
	src = imread("F:/photo/qx.jpg");
	if (!src.data) {
		printf("can naot load the image ...\n");
		return -1;
	}
	char input_title[] = "input_picture";
	char output_title[] = "sobel demo2";
	namedWindow(input_title, WINDOW_AUTOSIZE);
	imshow(input_title, src);//输出原图像
 
	GaussianBlur(src, dst, Size(3, 3), 0, 0);//高斯模糊
	cvtColor(dst, gray_src, COLOR_BGR2GRAY);//输出灰度图
	imshow("gray_picture", gray_src);
 
	Mat xgrad, ygrad;
	Sobel(gray_src, xgrad, CV_32F, 1, 0,3);//x方向
	Sobel(gray_src, ygrad, CV_32F, 0, 1,3);//y方向
 
	
	
	Mat xygrad_0;
	convertScaleAbs(xgrad, xgrad);//取绝对值
	convertScaleAbs(ygrad, ygrad);
	imshow("xgrad", xgrad);
	imshow("ygrad", ygrad);        //叠加图像输出
 
 
	addWeighted(xgrad, 0.5, ygrad, 0.5, 0, xygrad_0,-1);
	imshow("sobel_addweight", xygrad_0);
	imwrite("sobel_demo1.jpg", xygrad_0);
	
 
	
	//手动实现融合
	Mat xygrad_2 = Mat(xgrad.size(), xgrad.type());
	int width = xgrad.cols;
	int height = ygrad.rows;
	for (int row = 0; row < height; row++) {
		for (int col = 0; col <width; col++) {
			int xg = xgrad.at<uchar>(row, col);
			int yg = ygrad.at<uchar>(row, col);
			int xy = xg + yg;
			xygrad_2.at<uchar>(row, col) = saturate_cast<uchar>(xy);
		}
	}
	imshow(output_title, xygrad_2);
	imwrite("sobel_demo2.jpg", xygrad_2);
	
 
	Mat xgrad_1, ygrad_1;
	Scharr(gray_src, xgrad_1, CV_32F, 1, 0);
	Scharr(gray_src, ygrad_1, CV_32F, 0, 1);
	convertScaleAbs(xgrad_1, xgrad_1);//取绝对值
	convertScaleAbs(ygrad_1, ygrad_1);
	addWeighted(xgrad_1, 0.5, ygrad_1, 0.5, 0, dst2, -1);
	imshow("scharr_demo", dst2);
	imwrite("scharr_demo.jpg", dst2);
	imshow("schaar_xaddweight", xgrad_1);
	imshow("schaar_yaddweight", ygrad_1);
 
 
 
	waitKey(0);
	return 0;
}
 
 
 

图像处理效果：

Sorbel算子图像边缘提取部分

输入原图和灰度图 

 Sorbel算子在X方向的梯度和Y方向的梯度

  Sorbel算子在X方向的梯度和Y方向的梯度以及addWeighted()整合后的图像

 手动融合的Sorbel图像的图像梯度效果会比ddWeighted()整合后的图像强很多

=========================================================================

Scharr算子图像边缘提取部分

 Scharr算子图像边缘提取与Sorbel算子图像边缘提取的比较，可以看出， Scharr算子提取的图像比Sorbel算子提取的图像边缘特征强度更高，具有更强的抗干扰的特性。