本期文章中，让我们一起来学习以下内容。
通过PIL和OpenCV来使用一些常见的图像处理技术，例如将RGB图像转换为灰度图像、旋转图像、对图像进行消噪、检测图像中的边缘以及裁剪图像中的感兴趣区域。
使用OpenCV中的模板匹配搜索图像中的对象。
所需安装的库：PIL、OpenCV、imutils
为什么我们需要学习图像处理技术？
深度学习对于图像的分析、识别以及语义理解具有重要意义。“图像分类”、“对象检测”、“实例分割”等是深度学习在图像中的常见应用。为了能够建立更好的训练数据集，我们必须先深入了解基本的图像处理技术，例如图像增强，包括裁剪图像、图像去噪或旋转图像等。其次基本的图像处理技术同样有助于光学字符识别（OCR）。
图像处理技术通过识别关键特征或读取图像中的文本信息，来提高图像的可解释性，以便对图像中存在的对象进行分类或检测。
此处提供代码和图像
导入所需的库
import cv2from PIL import Image
首先我们使用OpenCV和PIL显示图像
使用OpenCV读取和显示图像
image = cv2.imread(r'love.jpg')cv2.imshow("Image", image)cv2.waitKey(0)
如果图像太大，图像的窗口将不匹配屏幕显示比例。
那么如何在屏幕上显示完整的图像？
默认情况下，显示超大图像时图像都会被裁剪，不能被完整显示出来。为了能够查
看完整图像，我们将使用OpenCV中的namedWindow(name, flag)来创建一个新的显示图像窗口。
第一个参数name是窗口的标题，将被用作标识符。 当您将flag设置为cv2.WINDOW_NORMAL时，将显示完整图像，并可以调整窗口大小。当然flag参数还有选择。
image = cv2.imread(r'love.jpg')cv2.namedWindow('Normal Window', cv2.WINDOW_NORMAL)cv2.imshow('Normal Window', image)cv2.waitKey(0)
调整图像的尺寸
当我们调整图像大小时，我们可以更改图像的高度或宽度，或在保持宽高比不变的情况下同时变化高度和宽度。图片的宽高比是图片的宽度与高度的比。
image= cv2.imread(r'taj.jpg')scale_percent =200 # percent of original sizewidth = int(image.shape[1] * scale_percent / 100)height = int(image.shape[0] * scale_percent / 100)dim = (width, height)resized = cv2.resize(image, dim, interpolation = cv2.INTER_AREA)cv2.imshow("Resize", resized)cv2.waitKey(0)
使用PIL读取和显示图像
我们将使用open()加载图像，然后使用show()进行显示。
使用image.show()创建一个临时文件
pil_image= Image.open(r'love.jpg')pil_image.show("PIL Image")
如果我们对图像中目标的边缘或其他特征感兴趣，要如何对他们进行识别呢？
灰度图像常常用于识别目标物体的边缘，因为灰度图像不仅助于理解图像中对比度、阴影渐变，而且有助于理解图像特征。
与灰度图像的2D通道相比，RGB图像具有三个通道：红色，绿色和蓝色。与彩色图像相比，灰度图像每个像素的信息更少，因此灰度图像的处理时间将更快。
使用OpenCV对彩色图像进行灰度缩放
以下是使用cvtColor()将彩色图像转换为灰度图像的方法及转换结果。
image = cv2.imread(r'love.jpg')gray_image= cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)cv2.namedWindow('Gray Image', cv2.WINDOW_NORMAL)cv2.imshow('Gray Image', gray_image)cv2.waitKey(0)
完成转换的灰度图
使用PIL对彩色图像进行灰度缩放
convert()提供了此图像转换的另一种方式， “ L”模式用于转换为灰度图像，“ RGB”模式用于转换为彩色图像。
pil_image= Image.open(r'love.jpg')gray_pil=pil_image.convert('L')gray_pil.show()
使用OpenCV进行边缘检测
我们将使用Canny算子对图像中的边缘进行检测。Canny边缘检测是通过灰度图像，使用高阶算法完成的。
Canny():第一个参数是输入图像，第二个和第三个参数是阈值1和阈值2的值。
强度梯度大于threshold2的边缘被视为边缘，低于threshold1的边缘被视为非边缘。非边缘将被删除。两个阈值之间的任何梯度强度值都根据它们的连通性被分类为边缘或非边缘。
image= cv2.imread(r'taj.jpg')cv2.namedWindow("Edge", cv2.WINDOW_NORMAL)denoised_image = cv2.Canny(image, 100,200 )cv2.imshow("Edge", denoised_image)cv2.waitKey(0)
Canny边缘处理
如果图像发生一定的倾斜或旋转，应该怎样进行调整？
OCR对倾斜文本的提取效果不佳，因此我们需要对原图像进行校正。可以使用OpenCV和PIL中的rotate()对图像进行角度校正。
使用OpenCV旋转图像
cv2.ROTATE_90_CLOCKWISE
cv2. ROTATE_90_COUNTERCLOCKWISE
cv2.ROTATE_180
image = cv2.imread(r'love.jpg')cv2.namedWindow("Rotated Image", cv2.WINDOW_NORMAL)rotated_img= cv2.rotate(image,cv2.ROTATE_90_CLOCKWISE )cv2.imshow("Rotated Image", rotated_img)cv2.waitKey(0)
使用OpenCV将图像顺时针旋转90度
如果我们想将图像旋转特定角度怎么办？
根据特定角度旋转图像
在下面的代码中，图像以60度为增量旋转
使用 imutils中的rotate()
import imutilsimport numpy as npimage = cv2.imread(r'love.jpg')# loop over the rotation anglesfor angle in np.arange(0, 360, 60):cv2.namedWindow("Rotated", cv2.WINDOW_NORMAL)rotated = imutils.rotate(image, angle)cv2.imshow("Rotated", rotated)cv2.waitKey(0)
使用imutils以60度为增量旋转图像
使用PIL旋转图像
此处使用PIL将图像旋转110度
pil_image= Image.open(r'love.jpg')rotate_img_pil=pil_image.rotate(110)rotate_img_pil.show()
使用PIL将图像旋转110度
当图像因噪声而变差并影响图像分析时，我们应该如何提高图像质量？
使用OpenCV对图像进行除噪
噪声并不是我们想得到的信号，就图像而言，它会使图像受到干扰而失真。
使用OpenCV最小化图像中出现的噪声，首先输入含有噪声的图像
image= cv2.imread(r'taj.jpg')cv2.namedWindow("Noised Image", cv2.WINDOW_NORMAL)cv2.imshow("Noised Image", image)cv2.waitKey(0)
src: 源图像
dst: 输出与src具有相同大小和类型的图像
h: 调节过滤器强度。 较高的h值可以完全消除噪点和图像细节，较小的h值可以保留图像细节以及一些噪点。
hForColorComponents: 与h相同，但仅用于彩色图像，通常与h相同
templateWindowSize: 默认0（推荐7）
searchWindowSize: 默认0（推荐21）
image= cv2.imread(r'taj.jpg')cv2.namedWindow("Denoised Image", cv2.WINDOW_NORMAL)denoised_image = cv2.fastNlMeansDenoisingColored(image,None, h=5)cv2.imshow("Denoised Image", denoised_image)cv2.waitKey(0)
image[y_start:y_end, x_start:x_end]
image= cv2.imread(r'taj.jpg')resized_img= image[15:170, 20:200]cv2.imshow("Resize", resized_img)cv2.waitKey(0)
使用PIL裁剪图像
pil_image = Image.open(r'taj.jpg')# Get the Size of the image in pixelswidth, height = pil_image.size# Setting the cropped image co-ordinatesleft = 3top = height /25right = 200bottom = 3 * height / 4# Crop the image based on the above dimensioncropped_image = pil_image.crop((left, top, right, bottom))# Shows the image in image viewercropped_image.show()
cv2.TM_SQDIFF
cv2.TM_SQDI
cv2.TM_C
cv2.TM_CCORR_NORMED
cv2.TM_CCOEFF
cv2.TM_CCOEFF_NORMED
import cv2import numpy as npfrom matplotlib import pyplot as pltimg = cv2.imread(r'love.jpg',0)cv2.imshow("main",img)cv2.waitKey(0)template = cv2.imread(r'template1.png',0)cv2.imshow("Template",template)cv2.waitKey(0)w, h = template.shape[::-1]methods = [ 'cv2.TM_CCOEFF_NORMED']for meth in methods:method = eval(meth)# Apply template Matchingres = cv2.matchTemplate(img,template,method)min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)threshold=0.95loc=np.where(res>threshold)if len(loc[0])>0:# If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimumif method in [ cv2.TM_SQDIFF_NORMED]:top_left = min_locbottom_right = (top_left[0] + w, top_left[1] + h)cv2.rectangle(img,top_left, bottom_right,100,20)plt.subplot(121),plt.imshow(res,cmap = 'gray')plt.title('Matching Result'), plt.xticks([]), plt.yticks([])plt.subplot(122),plt.imshow(img,cmap = 'gray')plt.title('Detected Point'), plt.xticks([]), plt.yticks([])plt.suptitle(meth)plt.show()else:print("Template not matched")
