OpenCV特征提取与图像检索实现（附代码）

OpenCV特征提取与图像检索实现（附代码）

“拍立淘”“一键识花”“街景匹配”……不知道大家在使用这些神奇的功能的时候，有没有好奇过它们背后的技术原理？其实这些技术都离不开最基本的图像检索技术。本篇文章我们就将对这一技术的原理进行介绍，并通过一个简单的Python脚本来实现一个最基本的图像检索demo。 ▌图像特征

首先我们需要明白图像特征是什么以及它的使用方法。 图像特征是一种简单的图像模式，基于这种模式我们可以描述我们在图像上所看到的内容。 例如，在一张跟猫有关的图片中，猫咪的眼睛就可以作为这幅图像的特征。特征在（包括但不限于）计算机视觉中的主要作用是将视觉信息转换为向量空间表示。这种向量空间表示让我们可以利用数学运算对其进行处理，例如通过计算寻找相似向量（这可以用来寻找相似图像或图像中的相似目标）。 ▌如何从图像中获取特征？

从图像中获取特征的方法有两种，第一种是通过提取图像描述符实现（白盒算法）；第二种通过基于神经网络的方法实现（黑盒算法）。本文主要介绍第一种方法。

特征提取的算法有很多，最常用的有：SURF、ORB、SIFT、BRIEF等。这些算法大多是基于图像梯度的。为了简化安装

需求，本教程使用的是KAZE描述符，因为其他描述符在python的基础OpenCV库中没有提供。 下面是特征提取器的实现代码： import cv2

import numpy as np import scipy

from scipy.misc import imread import cPickle as pickle import random import os

import matplotlib.pyplot as plt # Feature extractor # 特征提取器

def extract_features(image_path, vector_size=32): image = imread(image_path, mode='RGB') try:

# Using KAZE, cause SIFT, ORB and other was moved to additional module

# which is adding addtional pain during install #此处为了简化安装步骤，使用KAZE，因为SIFT/ORB以及其他特征算子需要安 #装额外的模块

alg = cv2.KAZE_create() # Finding image keypoints #寻找图像关键点 kps = alg.detect(image) # Getting first 32 of them. #计算前32个

# Number of keypoints is varies depend on image size and color pallet

#关键点的数量取决于图像大小以及彩色调色板 # Sorting them based on keypoint response value(bigger is better)

#根据关键点的返回值进行排序（越大越好） kps = sorted(kps, key=lambda x: -x.response)[:vector_size]

# computing descriptors vector #计算描述符向量

kps, dsc = alg.compute(image, kps)

# Flatten all of them in one big vector - our feature vector

# 将其放在一个大的向量中，作为我们的特征向量 dsc = dsc.flatten()

# Making descriptor of same size

# 使描述符的大小一致 # Descriptor vector size is 64 #描述符向量的大小为64 needed_size = (vector_size * 64) if dsc.size

# if we have less the 32 descriptors then just adding zeros

# at the end of our feature vector #如果少于32个描述符，则在特征向量后面补零 dsc = np.concatenate([dsc, np.zeros(needed_size - dsc.size)]) except cv2.error as e: print 'Error: ', e

return None return dsc

def batch_extractor(images_path, pickled_db_path='features.pck'):

files = [os.path.join(images_path, p) for p in sorted(os.listdir(images_path))] result = {} for f in files:

print 'Extracting features from image %s' % f

name = f.split('/')[-1].lower() result[name] = extract_features(f)

# saving all our feature vectors in pickled file # 将特征向量存于pickled 文件

with open(pickled_db_path, 'w') as fp:

pickle.dump(result, fp)OpenCV中的大多数特征提取算法的python接口都相同，所以如果你想要使用SIFT特征，只需要用SIFT_create替换KAZE_create就行。 首先，程序会用extract_features检测图像上的关键点（局部模式的中心点）。 因为关键点数量随图像的不同有所不同，因此我们需要添加一些规则，以确保所得到的特征向量大小始终相同（这是因为在计算时，我们无法对维度不同的向量进行比较，所以必须保证相同的大小）。

然后是根据关键点构建向量描述符，每个描述符的大小为64，我们有32个这样的描述符，所以我们的特征向量是2048维。 batch_extractor是在所有的图像中批量运行特征提取器，并将特征向量保存在pickled文件中以供后续使用。 现在我们来建立类Matcher，它会将待搜索图像和数据库中的图像进行匹配。

class Matcher(object): def __init__(self, pickled_db_path='features.pck'):