【综合实训】数字图像处理——基于内容的图像检索系统设计与实现

摘要

图像作为最基本，最重要的多媒体信息交流形式之一，已经随着信息技术和网络技术的发展，而越来越广泛地应用于人们的社会生活和工作密切相关的各个领域。人们希望能够利用图像自身的可视化特征对图像信息进行检索。

基于内容的图像检索系统（Content Based Image Retrieval, 以下简称 CBIR），是计算机视觉领域中关注大规模数字图像内容检索的研究分支。典型的 CBIR 系统，允许用户输入一张图像，在图像数据库（或本地机、或网络）中查找具有相同或相似内容的其它图片。本实训的基本功能要求是实现基于视觉特征的图像检索。具体包括：（1）实现基于颜色信息的图像检索，采用颜色直方图和颜色中心矩两种方法实现。（2）实现基于纹理特征的图像检索，采用了灰度共生矩阵法实现。（3）实现基于形状特征的图像检索，采用了形状不变矩法实现。（4）实现基于phash的图像检索。（5）实现HOG+SVM进行图片分类检索。

关键词：颜色直方图；颜色中心矩；灰度共生矩阵；形状不变矩；phash；HOG；SVM

Abstract

As one of the most basic and important forms of multimedia information communication, images have been used more and more widely in various fields closely related to people’s social life and work with the development of information technology and network technology. People hope to be able to retrieve image information using the visual features of the image itself.

Content Based Image Retrieval (hereinafter referred to as CBIR) is a research branch in the field of computer vision that focuses on large-scale digital image content retrieval. A typical CBIR system allows the user to input an image and search for other images with the same or similar content in the image database (or local computer, or network). The basic functional requirement of this training is to realize image retrieval based on visual features. Specifically include: (1) To achieve image retrieval based on color information, using two methods: color histogram and color center moments. (2) Realize image retrieval based on texture features, using gray-level co-occurrence matrix method. (3) Realize image retrieval based on shape features, using shape invariant moment method. (4) Realize image retrieval based on phash. (5) Realize HOG+SVM for image classification and retrieval.

Keywords: color histogram; color central moment; gray-level co-occurrence matrix; shape invariant moment; phash; HOG; SVM

1 绪论 1.1 课题研究背景

图像作为最基本，最重要的多媒体信息交流形式之一，已经随着信息技术和网络技术的发展，而越来越广泛地应用于人们的社会生活和工作密切相关的各个领域。人们希望能够利用图像自身的可视化特征对图像信息进行检索。

1.2 课题研究目的与意义

通过该课题的研究，可以用不同的方法进行图片检索比如：基于颜色特征的检索、基于纹理特征的检索、基于形状特征的检索、基于phash的检索、基于HOG特征和SVM分析的检索。通过这些方法能比较出各个图片的适应情况，为不同的图片选择更好的检索方法。也为之后图片进行自动化机器学习打下基础。

2 系统设计 2.1 图像检索系统框架

基于内容的图像检索系统框架如图1所示，系统的核心是图像特征数据库。图像特征既可以从图像本身提取得到, 也可以通过用户交互获得, 并用于计算图像之间的相似度计算。 系统框架应主要包含以下几个基本功能模块：检索方法设置、检索结果浏览、数据库管理维护等。其逻辑结构如图2所示。

图1 基于内容的图像检索框架

图2 基于内容的图像检索系统逻辑模型

2.2 图像检索系统展示

图3 运行主函数窗口

3 数据集处理 3.1 数据预处理

（1）统一图片大小为120*150； 图4 统一图片大小

（2）图片降噪，避免噪声影响，采用中值滤波方法实现

图5 中值滤波

（3）图像增强，主要用来增强对比度等，采用直方图均衡化方法实现 图6 直方图均衡化

3.2 预处理结果展示

图7为处理前的数据集，图8为预处理之后的数据集。经过比较从原来的5.13MB压缩至2.19MB，而且所有图片的大小相同，便于开展之后工作。 图7 预处理之前 图8 预处理之后

4 基于颜色特征的图像检索 4.1 颜色直方图特征 4.1.1 颜色直方图特征介绍

在RGB颜色空间中，R、G、B各颜色分量彼此独立。RGB颜色空间的缺点在于不符合人眼的视觉特性，直接处理多有不便，因此通常需要转换到其他颜色空间进行处理。HSI色彩空间是从人的视觉系统出发。HSI颜色空间中，H是Hue（色度）的缩写，S是Saturation（饱和度）的缩写，I是Intensity（强度）的缩写。

颜色相关直方图（color correlogram），结合了图像中的颜色与空间信息，用颜色之间（不同颜色或相同颜色）的量化距离来构建直方图。颜色直方图有许多的优点：对图像进行旋转之后，它的颜色直方图不发生改变；颜色直方图容易提取，且比较容易计算两个直方图之间的相似度。

4.1.2 颜色直方图特征提取步骤

（1）图像灰度化 Gray=0.30R+0.59G+0.11*B；

（2）将图像从RGB颜色空间转至HSI颜色空间； 图9 RGB到HSI的转换

（3）量化HIS参数以及通过加权公式将H,I,S三个特征值合成一个一维的特征值；

图10 量化HIS参数

（4）提取出现频率较高的特征值；

（5）将特征值存放在图像特征数据库中。

4.1.3 颜色直方图特征存储结果

颜色直方图的特征值统一存放在数据库中，数据库的表名为histogram，特征值分别为取的前10个出现频率最高的值，id是每张图片的标号，path是每张图片存储地址，数据库表中具体信息如下图所示。

图11 histogram表

同时也把这些特征值存在HistogramFeature.txt文件中，如下图所示。

图12 HistogramFeature.txt文件

4.1.4 相似度度量方法

对于颜色直方图特征，选择的是用加权的欧氏距离来进行相似度度量，如下图所示。

图13 加权欧氏距离

4.1.5 检索结果展示

选择图片后点击颜色检索后，就会出现如下结果，依次输出与被选择图片最相近的15张图片，同时输出相应的度量结果。

图14 界面输出结果

图15 前15张图片的度量结果

同时也保存了所有参与检索的图片的度量结果，存放在HistogramResult.txt文件中，按照相似度度量结果进行排序，如下图所示。

图16 所有图片的度量结果

4.2 颜色中心矩特征 4.2.1 颜色中心矩特征介绍

颜色矩是一种简单有效的颜色特征表示方法，有一阶矩(也就是均值,mean)、二阶矩(也就是标准差, variance)和三阶矩(斜度,skewness)等，由于颜色信息主要分布于低阶矩中，所以用一阶矩，二阶矩和三阶矩足以表达图像的颜色分布，颜色矩已证明可有效地表示图像中的颜色分布。HSI颜色空间不适合显示器系统，但是更符合人眼的视觉特性，因此通常会将颜色从RGB空间域转换到HSV颜色空间进行处理。

4.2.2 颜色中心矩特征提取步骤

（1）图像灰度化 Gray=0.30R+0.59G+0.11*B；

（2）将图像从RGB颜色空间转至HSI颜色空间；

图17 RGB到HSI的转换

（3）对HSI模型的三个分量分别求其前三阶中心矩，得到9个特征值；

图18 一阶中心矩

图19 二阶中心矩和三阶中心矩

（4）将特征值存放在图像特征数据库中。

4.2.3 颜色中心矩特征存储结果

颜色中心矩的特征值统一存放在数据库中，数据库的表名为matrix，特征值分别为HIS模型三个分量的一阶、二阶、三阶中心矩，id是每张图片的标号，path是每张图片存储地址，数据库表中具体信息如下图所示。

图20 matrix表

同时也把这些特征值存在MatrixFeature.txt文件中，如下图所示。

图21 MatrixFeature.txt文件

4.2.4 相似度度量方法

对于颜色中心矩特征，选择的是用余弦相似度来进行相似度度量，如下图所示。

图22 余弦相似度

4.2.5 检索结果展示

选择图片后点击颜色检索后，就会出现如下结果，依次输出与被选择图片最相近的15张图片，同时输出相应的度量结果。

图23 界面输出结果

图24 前15张图片的度量结果

同时也保存了所有参与检索的图片的度量结果，存放在MatrixResult.txt文件中，按照相似度度量结果进行排序，如下图所示。

图25 所有图片的度量结果

5 基于纹理特征的图像检索 5.1 灰度共生矩阵法提取特征原理

由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两象素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。

灰度共生矩阵是像素距离和角度的矩阵函数，它通过计算图像中一定距离和一定方向的两点灰度之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息。

共生矩阵0度的计算式：

p1(IN(M,N)+1,IN(M,N+1)+1)= p1(IN(M,N)+1,IN(M,N+1)+1)+1;

共生矩阵45度的计算式：

p1(IN(M,N)+1,IN(M-1,N+1)+1)= p1(IN(M,N)+1,IN(M-1,N+1)+1)+1;

共生矩阵90度的计算式：

p1(IN(M,N)+1,IN(M-1,N)+1)= p1(IN(M,N)+1,IN(M-1,N)+1)+1;

共生矩阵135度的计算式：

p1(IN(M,N)+1,IN(M-1,N-1)+1)= p1(IN(M,N)+1,IN(M-1,N-1)+1)+1;

5.2 灰度共生矩阵法提取特征步骤

（1）图像灰度化 Gray=0.30R+0.59G+0.11*B；

（2）降低图像灰度等级，把图像256个灰度级按顺序分为8个区间；

（3）然后获得图像 0 度，45 度，90 度，135 度四个方向的灰度共生矩阵；

图26 0度方向

图27 45度方向

图28 90度方向

图29 135度方向

（4）求每个灰度共生矩阵的纹理一致性，纹理对比度，纹理熵，纹理相关性；

图30 纹理参数

（5）求每个灰度共生矩阵的四个值的期望和标准差，得到8个特征值；

图31 计算期望与标准差

5.3 灰度共生矩阵法特征存储结果

灰度共生矩阵的特征值统一存放在数据库中，数据库的表名为texture，特征值分别为四个方向灰度共生矩阵四个属性的期望和标准差，id是每张图片的标号，path是每张图片存储地址，数据库表中具体信息如下图所示。

图32 texture表

同时也把这些特征值存在TextureFeature.txt文件中，如下图所示。

图33 TextureFeature.txt文件

5.4 相似度度量方法

对于纹理特征，选择的是用余弦相似度来进行相似度度量，如下图所示。

图34 余弦相似度

5.5 检索结果展示

选择图片后点击纹理检索后，就会出现如下结果，依次输出与被选择图片最相近的15张图片，同时输出相应的度量结果。

图35 界面输出结果

图36 前15张图片的度量结果

同时也保存了所有参与检索的图片的度量结果，存放在TextureResult.txt文件中，按照相似度度量结果进行排序，如下图所示。

图37 所有图片的度量结果

6 基于形状特征的图像检索 6.1 形状不变矩法提取特征原理

形状是描述图像内容的本质特征, 在实际检索中, 很多查询可能并不针对图像的颜色, 因为同一物体可能有各种不同的颜色, 但其形状总是相似的。如检索某辆汽车的图像，汽车可以是红的、绿的等, 但形状决不会像飞机的外形。另外, 对于图形来说, 形状是它唯一重要的特征。目前用于图像检索的形状描述方法主要有两类:基于边缘和基于区域的形状方法。

作为一组关于形状的统计值，矩不变量的表示形式有多种，如 Hu 矩，具有对图像的旋转、平移和尺度变化的不变性。基本思想就是用图像的 Hu 不变矩 u1～u7 和离心率 e 作为图像的形状特征索引，使用适当的相似性距离定义，计算出两幅图像的相似性距离。当距离足够小时，就认为两幅图像是相似的。

Hu不变矩表征图像区域的几何特征，具有旋转、平移、尺度等特性的不变特征。矩在统计学中被用来反映随机变量的散布情形，推广到力学中，它被用作描绘空间物体的质量散布。同样的原理，如果将图像的灰度值看作是一个二维或三维的密度散布函数，那么矩方式即可用于图像剖析范畴并用作图像特征的提取。在图像处理领域，Hu不变矩可以作为目标物体的特征向量，用于物体的分类。

6.2 形状不变矩法提取特征步骤

（1）图像灰度化 Gray=0.30R+0.59G+0.11*B；

（2）用中值滤波算法对图像进行平滑滤波，用于消除噪声干扰，其中需要用到排序算法， 将 3*3 窗口的像素值进行排序取中间值；

（3）用 sobel 算子对图像进行锐化；

图38 sobel算子锐化

（4）对锐化后的图像用迭代阈值法进行二值化；

①选择一个初始阈值 t1，根据 t1将图像分割为 G1和 G2两部分，G1包含所有小于等于 t1的像素，G2包含所有大于 t1像素；

②分别求出 G1和 G2的平均灰度值 u1和 u2；

③计算新的阈值 t2=( u1+ u2)/2；

④如果| t1- t2|