[python opencv 计算机视觉零基础到实战] 十五 直方图反向投影

一、学习目标

了解了直方图反向投影的一般流程 了解2D直方图的使用 目录

[python opencv 计算机视觉零基础到实战] 一、opencv的helloworld

…

[python opencv 计算机视觉零基础到实战] 五、对象追踪

…

[python opencv 计算机视觉零基础到实战] 十三 直方图颜色提鲜

如有错误欢迎指出~ 二、了解直方图反向投影

2.1 了解2D直方图

需要对直方图进行反向投影，需要使用2D直方图。2D直方图需要使用calcHist方法。calcHist方法在前两节中已经有了解，现在再来复习一下。首先我们查看calcHist方法的原型。

calcHist(images; channels; mask; histSize; ranges[; hist[; accumulate]])

calcHist方法中images参数为所需要传入的图像，接受类型为uint8以及float32，参入参数时可以使用[]对参数进行标记；

channels为传入的通道数；

mask为一个遮罩，如果为None则表示对全图进行操作，若选择其中一个部分就需要制作一个遮罩对局部进行操作；

histSize为一个范围，或者说是BIN的数目；

ranges表示像素值范围。

我们要绘制一个颜色直方图的话，需要对BGR色彩空间进行转换，转换为HSV：

import cv2 import numpy as np from matplotlib import pyplot as plt img = cv2.imread(rC:\Users\mx\Desktop\1.jpg) hsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)

随后我们使用calcHist方法传入数值，这个时候channels应该为[0,1]，mask我们依旧为None，因为我们需要处理全图；而histSize则表示了两个通道，H以及S，所以应该写成[180,256]，即H通道为180，S通道为256，最后一个range则为[0,180,0,256]，表示H取值范围在和S的取值范围。那么整体的代码如下：

import cv2 import numpy as np from matplotlib import pyplot as plt img = cv2.imread(rC:\Users\mx\Desktop\1.jpg) hsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV) hist = cv2.calcHist([hsv], [0,1], None, [180,256], [0,180,0,256]) plt.imshow(hist, interpolation=nearest) plt.show()

结果如下：

2.2 了解直方图反向投影

直方图反向投影可以在图像中找到我们感应区的部分，直方图反向投影将会输出模板图像中类似的部分，越亮的的部分则表示得越白。我们需要完成这个操作首先得有一张需要查找的对象，随后需要一张图为查找区域。我们可以先对需要查找目标的图像创建一个直方图，随后进行归一化处理。归一化处理使用normalize方法。

首先我们进行读取图片与转换HSV色彩空间图，也顺带一起读取目标扫描的图片，原图和目标图、代码如下：

原图：

目标图：

roi = cv2.imread(rC:\Users\mx\Desktop\gz\roi.png) hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV) target = cv2.imread(rC:\Users\mx\Desktop\gz\4.png) hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)

随后对hsv_roi 感兴趣的部分进行2D直方图处理：

roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] )

接下来使用normalize方法进行归一化；归一化是将数据达到一种可进行对比的标准，但是保持了原有数据间的关系。代码为：

cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX)

其中roihist为输入数据，roihist为与src大小相同的输出数据，0为一个范围低边界，255为范围的上限，cv2.NORM_MINMAX是一个归一化的方法，表示对数组的所有值进行转化，使值的映射在最小值和最大值之间。这样归一化后他们的值就在0到255之间了。接着我们使用calcBackProject方法，calcBackProject方法与calcHist的参数类似。 cvCalcBackProject 用于计算直方图的反向投影，得到的结果是数组在某个分布下的概率。

dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1)

随后使用getStructuringElement方法进行卷积，把分散点连接：

gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5)) dst=cv2.filter2D(dst,-1,gSEE)

接着使用阀值方法：

ret,thresh = cv2.threshold(dst,50,255,0)

最后进行合并：

trh = cv2.merge((trh,trh,trh))

完整代码如下：

import cv2 import numpy as np from matplotlib import pyplot as plt roi = cv2.imread(rC:\Users\mx\Desktop\gz\roi.png) hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV) target = cv2.imread(rC:\Users\mx\Desktop\gz\4.png) hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV) roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] ) cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX) dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1) gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5)) dst=cv2.filter2D(dst,-1,gSEE) ret,trh = cv2.threshold(dst,50,255,0) trh = cv2.merge((trh,trh,trh)) cv2.imshow(trh,trh) cv2.waitKey(0) cv2.destroyAllWindows()

结果如下：

当然我们也可以进行位运算，这样我们就可以取出颜色部分了，所有完整代码如下： import cv2 import numpy as np from matplotlib import pyplot as plt roi = cv2.imread(rC:\Users\mx\Desktop\gz\roi.png) hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV) target = cv2.imread(rC:\Users\mx\Desktop\gz\4.png) hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV) roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] ) cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX) dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1) gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5)) dst=cv2.filter2D(dst,-1,gSEE) ret,trh = cv2.threshold(dst,50,255,0) trh = cv2.merge((trh,trh,trh)) cv2.imshow(trh,trh) res = cv2.bitwise_and(target,trh) cv2.imwrite(res.jpg,res) cv2.imshow(res,res) cv2.waitKey(0) cv2.destroyAllWindows()

结果如下：

我们也可以换一下图：

roi：

目标：

结果：