«上一篇 下一篇»
  计算机工程  2020, Vol. 46 Issue (9): 233-241  DOI: 10.19678/j.issn.1000-3428.0057802
0

引用本文  

刘洋, 黄大荣, 刘洋, 等. 基于多颜色空间级联分类的交通标志图像颜色标准化[J]. 计算机工程, 2020, 46(9), 233-241. DOI: 10.19678/j.issn.1000-3428.0057802.
LIU Yang, HUANG Darong, LIU Yang, et al. Color Standardization of Traffic Sign Images Based on Multi-Color Space Cascade Classification[J]. Computer Engineering, 2020, 46(9), 233-241. DOI: 10.19678/j.issn.1000-3428.0057802.

基金项目

国家自然科学基金(61903053);重庆市教育委员会科学技术研究项目(KJQN201900702)

作者简介

刘洋(1986-), 男, 硕士, 主研方向为模式识别、系统仿真;
黄大荣, 教授、博士;
刘洋, 副教授、博士;
钟蔚(通信作者), 讲师、博士

文章历史

收稿日期:2020-03-20
修回日期:2020-04-24
基于多颜色空间级联分类的交通标志图像颜色标准化
刘洋1 , 黄大荣1 , 刘洋1 , 钟蔚2     
1. 重庆交通大学 信息科学与工程学院, 重庆 400074;
2. 陆军勤务学院 后勤指挥系, 重庆 401331
摘要:在构建交通标志颜色矩阵的基础上,进行颜色标准化映射分析,确定交通标志颜色标准化的映射目标颜色集合。分析交通标志三角中心区域和环状区域RGB分量统计数据,提出一种基于区域RGB统计数据的图像粗分类方法,实现基于图像粗分类的参数设置和亮度增强,并基于矩形中心区域的亮度统计数据,提出一种图像逆光判定方法。在对图像进行预处理后,基于YIQ颜色空间和HSV颜色空间,级联基于Y值和S值二值化的黑白色分类器、基于H值可变区间划分的红绿蓝黄色分类器、基于YIQ空间的红棕色分类器和基于图像粗分类的黑白色补偿分类器,实现颜色标准化处理。利用中国交通标志检测数据集构建测试数据集进行实验,结果表明,该方法较好地实现了交通标志颜色标准化映射,具有较高的成功率。
关键词颜色标准化    交通标志    粗分类    级联分类    多颜色空间    
Color Standardization of Traffic Sign Images Based on Multi-Color Space Cascade Classification
LIU Yang1 , HUANG Darong1 , LIU Yang1 , ZHONG Wei2     
1. School of Information Science and Engineering, Chongqing Jiaotong University, Chongqing 400074, China;
2. Department of Logistics Command, Army Logistics University, Chongqing 401331, China
Abstract: Based on a constructed traffic sign color matrix, the analysis of color standardization mappings is carried out, and the mapping target color set of traffic sign color standardization is determined.Then the statistical data of RGB componentsin triangle center area and the ring area of the traffic sign is analyzed, and on this basis, a coarse image classification method based on the statistical data of regional RGB is proposed to implement parameter setting and brightness enhancement.Also, based on the statistical data of brightness of the rectangular center area, this paper proposes a determination method of image backlight.After image preprocessing, based on YIQ color space and HSV color space, four classifiers are cascaded, which are black-white color classifier based on Y value and S value binarization, red-green-blue-yellow classifier based on the variable interval division of H value, red-brown classifier based on YIQ space and black-white color compensation classifier based on coarse image classification to implement color standardization.Finally, the test data set is constructed based on the Chinese traffic sign detection data set, and experimental results show that the proposed color standardization method can realize traffic sign color standardization mapping at a high success rate.
Key words: color standardization    traffic sign    coarse classification    cascade classification    multi-color space    
0 概述

交通标志检测与识别是智能交通的重要组成部分, 对于交通管理、行车安全以及保证道路畅通等具有重要意义。交通标志图像颜色标准化是对交通标志图像颜色数据的规范化处理, 其能够降低交通标志图像颜色信息的复杂性, 有利于交通标志的检测与识别。

在现实场景中, 交通标志图像颜色易受光照、遮挡、雨雾、颜色退化、拍摄角度、标志制作时颜色标准差异以及图像收集器材等因素的影响, 使得一种颜色存在不同程度的表示和数据差异, 呈现出一种颜色到一类颜色的一到多映射关系。交通标志颜色标准化处理即利用一定的方法将发生偏差的同类多种颜色映射到一种颜色, 实现同类多种颜色到一种颜色的多到一映射过程, 该过程可称为颜色标准化映射。

在将颜色信息运用到交通标志检测与识别的研究中, 文献[1]指出了交通标志颜色会受光照、雨雾和风化等影响而变化的问题。文献[2]基于交通标志颜色稳定性存在的问题和光照对图像颜色的影响, 建立一种自适应的基于神经网络的颜色分割模型。文献[3]基于颜色RGB阈值查表的方法进行交通标志图像分割。文献[4]基于HSI颜色空间阈值化对彩色交通标志图像实现分离处理。文献[5]在HSV颜色空间上采用最大稳定极值区域法对道路标志进行检测。上述文献均指出同类交通标志颜色因受外界环境的影响而变得复杂。在颜色标准化处理方法中, 文献[6-7]在RGB空间内利用训练好的基于BP网络的颜色分类器对交通标志图像逐点扫描并进行颜色标准化处理, 最终实现图像的颜色标准化映射。文献[8-10]选取交通标志颜色的标定值, 对颜色的RGB三分量进行阈值化处理, 实现24位位图颜色到8种标定颜色的标准化映射。文献[11]提出一种针对组织图像的贝叶斯颜色分割算法, 实现了对图像颜色的标准化处理, 并将其运用于骨髓增生异常综合征(MDS)的医学图像检测中。文献[12-13]使用9种标准颜色校准玻片采集颜色信息, 利用玻片的固有光谱颜色和采集到的颜色形成颜色校正矩阵, 运用像素颜色校正矩阵逐像素地将图像颜色映射到目标颜色。文献[14]实现了基于期望最大化分割的数字图像颜色标准化。文献[15]基于同一颜色空间内单个像素颜色与标准颜色之间的偏差对单个像素颜色进行分类。

上述颜色标准化方法主要是基于训练好的分类器逐像素地进行颜色分类, 关注对单个像素颜色的分类处理, 而对图像像素之间的空间关联性或像素颜色值在颜色空间中的关联性考虑不足。本文对交通标志图像颜色标准映射进行分析, 基于RGB空间、HSV空间和YIQ空间颜色之间的关联性和图像像素间的空间关联性, 提出一种图像预处理和级联颜色分类标准化映射方法。

1 交通标志颜色标准化映射分析

依据国标《道路交通标志和标线第二部分:道路交通标志》(GB 5678.2—2009)规定, 交通标志可分为7类道路交通主标志和1类辅助标志, 使用的颜色包含白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色[16], 分别用W、Ba、R、G、Bu、Y、Br、O、YG进行表示, 令集合AwAbAdAgAtAroAan分别表示警告、禁令、指示、指路、旅游区、道路作业区和辅助告示类交通标志颜色的集合, 则交通标志颜色集合表述如下:

$ {A_{\rm{w}}} = \{ {\rm{W, Ba, R, Y, YG\} }} $
$ {A_{\rm{b}}} = \{ {\rm{W, Ba, R, G, Bu, Y\} }} $
$ {A_{\rm{d}}} = \{ {\rm{W, Ba, R, Bu\} }} $
$ {A_{\rm{g}}} = \{ {\rm{W, Ba, R, G, Bu, Y, Br\} }} $
$ {A_{\rm{t}}} = \{ {\rm{W, Br\} }} $
$ {A_{{\rm{ro}}}} = \{ {\rm{W, Ba, R, Bu, Y, O\} }} $
$ {A_{{\rm{an}}}} = \{ {\rm{W, Ba\} }} $

令某一矩阵的每行表示一类交通标志, 从第一行到最后一行依次为警告、禁令、指示、指路、旅游区、道路作业区和辅助告示类交通标志, 矩阵每一列表示一种颜色, 从第一列至最后一列依次为白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色, 可将交通标志颜色进行矩阵化描述为:

$ {{\mathrm{\boldsymbol{M}}}_{A}}=\left[ \begin{matrix} 1 & 1 & 1 & 0 & 0 & 1 & 0 & 0 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0 & 1 & 0 & 0 & 0 & 0 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ 1 & 1 & 1 & 0 & 1 & 1 & 0 & 1 & 0 \\ 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ \end{matrix} \right] $

求矩阵MA的秩, 可得rank(MA)=7。因此, 交通标志颜色空间的维度为7, 道路交通标志颜色可使用7种关联性较小的颜色进行线性组合表示, 即交通标志颜色可划分为7个颜色类, 每类颜色可映射到其代表色, 从而实现同类多种颜色到一种颜色的标准化映射。简化矩阵MA可得:

$ \mathit{\boldsymbol{rref}}{\rm{(}}{\mathit{\boldsymbol{M}}_A})=\left[ \begin{matrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 & 0 & 0 & -1 & 1 \\ 0 & 0 & 0 & 1 & 0 & 0 & 0 & -1 & 0 \\ 0 & 0 & 0 & 0 & 1 & 0 & 0 & 1 & -1 \\ 0 & 0 & 0 & 0 & 0 & 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ \end{matrix} \right] $

由上式可得, 矩阵MA的线性无关列向量为白色、黑色、红色、绿色、蓝色、黄色和棕色对应的列向量。基于交通标志颜色矩阵列向量的线性无关性, 本文将白色、黑色、红色、绿色、蓝色、黄色和棕色7种颜色所构成的集合作为交通标志颜色标准化的目标映射集合。

2 颜色标准化方法 2.1 颜色标准化方法总体流程

图 1所示, 交通标志图像颜色标准化处理模型的总体流程为:

Download:
图 1 颜色标准化方法总体流程 Fig. 1 Overall procedure of color standardization method

1) 图像预处理。如图 2所示, 图像预处理包括:图像HSV和YIQ转换, 基于OTSU方法[17]的Y值、S值和V值二值化, 基于区域RGB统计数据的图像粗分类[18], 基于Y值和V值二值化的图像逆光判断。

Download:
图 2 图像预处理流程 Fig. 2 Procedure of image preprocessing

2) 判定为不逆光的图像通过基于HSV和YIQ空间的级联分类器进行分类处理, 实现同类多种颜色到一种颜色的标准化映射。判定为逆光的图像则按如下步骤进行处理:

(1) 区分高亮度和低亮度区域。

(2) 对高亮度区域基于HSV和YIQ空间的级联分类器进行颜色分类处理。

(3) 采用最大类间方差法对低亮度区域的Y值和V值重新进行二值化。

(4) 针对重新二值化后的低亮度区域, 基于HSV和YIQ空间的级联分类器实现颜色分类处理, 最终进行整幅图像的颜色标准化映射。

2.2 图像预处理 2.2.1 基于区域RGB统计数据的图像粗分类

基于区域RGB统计数据的图像粗分类包括对图像三角中心区域(Triangular Central Area, TCA)和环状区域(Circular Area, CA)的RGB均值统计、基于统计数据的图像粗分类、基于图像粗分类的参数设置和亮度增强。

1) 图像区域RGB数据统计

图 3所示, 阴影区域为数据统计区域。

Download:
图 3 RGB数据统计区域示意图 Fig. 3 Schematic diagram of RGB data statistics area

针对常见指示标志、禁令标志和警告标志的形状特征和颜色分布特性, 分别对交通标志图像的三角形中心区域和环状区域内的RGB分量数据进行统计, 统计数据为图 3(a)图 3(b)所示阴影区域内像素RGB三分量的平均值。由于图像亮度易受外界影响, 对统计结果进行归一化处理, 计算公式如下:

$ \left\{ \begin{align} & \max \ \text{RG}{{\text{B}}_{m}}=\max ({{R}_{m}}, {{G}_{m}}, {{B}_{m}}) \\ & N{{R}_{m}}={{R}_{m}}/\max \ \text{RG}{{\text{B}}_{m}} \\ & N{{G}_{m}}={{G}_{m}}/\max \ \text{RG}{{\text{B}}_{m}} \\ & N{{B}_{m}}={{B}_{m}}/\max \ \text{RG}{{\text{B}}_{m}} \\ \end{align} \right. $

其中, RmGmBm为统计区域的RGB分量均值, max RGBm为RGB分量均值的最大值, NRmNGmNBm为归一化后的统计结果。

2) 基于RGB统计数据的图像粗分类方法

以标准指示类交通标志、禁令类交通标志和警告类交通标志为例, 三角中心区域和环状区域内RGB三分量的平均值统计数据如表 1所示。

下载CSV 表 1 标准交通标志区域统计数据 Table 1 Statistical data of standard traffic sign area

以三角中心区域RGB分量均值统计为例, 对29种指示类交通标志、43种禁令类交通标志和45种警告类交通标志进行统计并归一化统计结果, 如图 4~图 6所示。

Download:
图 4 指示类交通标志统计数据 Fig. 4 Statistical data of indicator traffic signs
Download:
图 5 禁令类交通标志统计数据 Fig. 5 Statistical data of prohibited traffic signs
Download:
图 6 警告类交通标志统计数据 Fig. 6 Statistical data of warning traffic signs

图 4~图 6所示, 利用RGB三分量均值最大分量特征(max RGBm)、RGB三分量均值排序特征(Max, Second和Min)和RGB三分量均值距离特征(Di, i=1, 2, 3), 可对指示类交通标志、禁令类交通标志和警告类交通标志进行粗分类。粗分类方法具体如下:

在由max RGBm、Max、Second、Min、D1D2D3构成的可对指示类、禁令类和警告类交通标志进行粗分类的特征空间Q中, 令集合AmsApsAws分别代表指示类交通标志、禁令类交通标志和警告类交通标志在该空间的特征集合, 有Amps=AmsAps, Awps=AwsAps, Amws=AmsAws, qQ。如果qAmsq∈(AmpsAmws), 则q对应的标志为指示类交通标志; 如果qApsq∈(AmpsAwps), 则q对应的标志为禁令类交通标志; 如果qAwsq∈(AmwsAwps), 则q对应的标志为警告类交通标志。除上述情况外, q对应的标志为不确定类交通标志。

3) 基于图像粗分类的参数设置和亮度增强

基于图像粗分类的参数设置为后续级联颜色分类器设置参数, 包括颜色区间参数和黑色补充分类器参数。颜色区间参数设置即在确定交通标志类型的前提下, 针对不同类型的交通标志设置映射目标颜色类的H值区间范围。黑色补充分类器参数设置即在确定交通标志类型的前提下, 针对不同类型的交通标志设置一个V值的阈值, 当映射目标颜色的V值小于该阈值时, 即认为该颜色为黑色。

基于图像粗分类的亮度增强即在确定交通标志类型的前提下, 采取基于V值的二值化进行图像亮度提升, 亮度提升系数如图 7所示, 具体方法如下:

Download:
图 7 基于V值的亮度提升系数示意图 Fig. 7 Schematic diagram of brightness enhancement coefficient based on V value

(1) 将图像从RGB空间转到HSV空间。

(2) 基于OTSU实现图像V值的二值化。

(3) V值二值化为1的像素, 其RGB分量提升比例为255/V, V为像素亮度。

(4) V值二值化为0的像素, 其RGB分量提升比例为255/thresh_v, thresh_v为图像亮度二值化阈值。

2.2.2 图像逆光判定

逆光采集交通标志图像会形成交通标志处于低亮度区、背景处于高亮度区的逆光图像, 如图 8(a)所示。将该图进行HSV和YIQ转换, 然后采用最大类间方差法进行Y值和V值的二值化, 结果如图 8(b)图 8(c)所示。由图 8(b)图 8(c)可以看出, 由于逆光的缘故, 交通标志图像的Y值和V值二值化效果图只保留了交通标志的轮廓信息, 几乎未保留交通标志图像的内部细节信息。

Download:
图 8 逆光交通标志及其Y值和V值二值化结果 Fig. 8 Backlight traffic sign and its binary results of Y value and V value

图 9(a)所示为光照暗淡的交通标志图像原图, 图 9(b)为Y值二值化效果图, 图 9(c)为V值二值化效果图。由此可见, 在不逆光的情况下, 将暗淡图像采用最大类间方差法对Y值和V值二值化, 仍然能够很好地保留原始图像的细节信息数据。因此, 判别图像是否逆光有利于图像预处理后保留图像数据。

Download:
图 9 非逆光交通标志及其Y值和V值二值化结果 Fig. 9 Non-backlight traffic sign and its binary results of Y value and V value

本文采用的逆光判别方法为图像中心区域亮度判别法, 基本思路为:

1) 对原始图像的Y值和V值进行二值化, 得到Y值二值化PBWY和V值二值化PBWV

2) 统计PBWY和PBWV中心区域二值化为1的像素比例, 并以此作为图像中心区域明亮程度的判别条件。令PBWY和PBWV中心区域明亮程度分别为PbcyPbcv, 则有:

$ {{P}_{\text{bcy}}}=\sum\limits_{i={{n}_{1}}, j={{m}_{1}}}^{i={{n}_{2}}, j={{m}_{2}}}{y(i, j)/((}{{n}_{2}}-{{n}_{1}})({{m}_{2}}-{{m}_{1}})) $
$ {{P}_{\text{bcv}}}=\sum\limits_{i={{n}_{1}}, j={{m}_{1}}}^{i={{n}_{2}}, j={{m}_{2}}}{v(i, j)/((}{{n}_{2}}-{{n}_{1}})({{m}_{2}}-{{m}_{1}})) $

在分析交通标志图像图形特征、颜色数据信息构成的基础上, 如图 10所示, 将中心阴影区域作为进行统计的中心区域, 该中心区域为矩形区域, 大小为图像总面积的1/16, 即:

Download:
图 10 矩形中心区域示意图 Fig. 10 Schematic diagram of rectangular central area
$ {{n}_{1}}=\text{Width}\times \text{3/8, }{{n}_{2}}=\text{Width}\times 5\text{/8} $

其中, Width为图像宽度。

$ {{m}_{1}}=\text{Height}\times \text{3/8, }{{m}_{2}}=\text{Height}\times 5\text{/8} $

其中, Height为图像高度。

3) 通过样本训练获得图像逆光与否的判别阈值TvblTybl。依据第2步的统计数据, 当PbcvTvblPbcyTybl时, 则认为交通标志图像逆光, 需要另做处理。

2.3 基于HSV空间和YIQ空间的级联颜色分类器

图 11所示, 基于HSV和YIQ空间的级联颜色分类器由基于Y值和S值二值化的黑白色分类器、基于H值可变区间划分的红绿蓝黄色分类器、基于YIQ空间的红棕色分类器和基于图像粗分类的黑白色补偿分类器构成。

Download:
图 11 基于HSV和YIQ空间的级联颜色分类器模型 Fig. 11 Cascaded color classifier model based on HSV and YIQ space
2.3.1 基于Y值和S值二值化的黑白色分类器

依据国标《中国颜色体系GB/T 15608-2006》规定, 白色(White, W)为物体明度大于8.5的中性色, 绝对白色(Absolute White, AW)为物体明度为10的理想白色[19]。本文将物体明度大于8.5的中性色称为泛白色(Generic White, GW)。在实际场景中, 绝对白色少见, 更多的是泛白色, 泛白色是一个相对概念而非绝对概念。

对图像明亮程度进行分析, 泛白色相对于绝对白色而言, 其明度小于或等于10。在图像整体暗淡的情况下, 泛白色的明度甚至小于或等于8.5, 但相对于图像中其他颜色(Other Colors, OC)而言, 其明度又相对较高。将上述颜色转换到HSV空间, 泛白色的V值小于或等于255, 在图像整体暗淡的情况下, 其V值小于或等于217, 但相对于图像中其他颜色而言较高, 即:

$ {{V}_{\text{GW}}}\le 255, \ {{V}_{\text{GW}}}\ge {{V}_{\text{OC}}} $

同理, 在YIQ空间中有:

$ {{Y}_{\text{GW}}}\le 255, \ {{Y}_{\text{GW}}}\ge {{Y}_{\text{OC}}} $

因此, 泛白色经HSV转换、YIQ转换、Y值和V值二值化后, 其对应的Y值和V值二值化值(采用OTSU方法)应为1, 即BZ_YGW=1, BZ_VGW=1, 其中, BZ为二值化的缩写。

对颜色浓度进行分析, 绝对白色在HSV空间中的S值等于0, 当S值趋近于0时, 其他颜色趋近于白色。因此, 有:

$ {{S}_{\text{GW}}}\le {{S}_{\text{OC}}}, \ {{S}_{\text{GW}}}\to 0|\ |{{S}_{\text{GW}}}=0 $

因此, 泛白色经HSV转换和S值二值化后, 其对应的S值二值化值(采用OTSU方法)应为0, 即:

$ {\rm{BZ\_}}{S_{{\rm{GW}}}} = 0 。$

因此, 白色的判别条件为:

$ {\rm{BZ\_}}{Y_{{\rm{GW}}}} = 1, \;{\rm{BZ\_}}{S_{{\rm{GW}}}} = 0 $

本文基于上式构建白色分类器。

依据国标《中国颜色体系GB/T 15608—2006》规定, 黑色(Black, Ba)为物体明度小于2.5的中性色, 绝对黑色(Absolute Black, ABa)为物体明度为0的理想黑色。同上所述, 本文将明度小于2.5的中性色称为泛黑色(Generic Black, GBa)。同理, 由:

$ {V_{{\rm{GBa}}}} \le 64, \;{V_{{\rm{GBa}}}} \le {V_{{\rm{OC}}}} $
$ {Y_{{\rm{GBa}}}} \le 64, \;{Y_{{\rm{GBa}}}} \le {Y_{{\rm{OC}}}} $

得:

$ {\rm{BZ\_}}{Y_{{\rm{GBa}}}} = 0, \;{\rm{BZ\_}}{V_{{\rm{GBa}}}} = 0 $

且:

$ {\rm{BZ\_}}{S_{{\rm{GBa}}}} = 0 $

因此, 黑色的判别条件之一为BZ_YGBa=0, BZ_SGBa=0。本文基于此构建黑色初分类器。

2.3.2 基于H值可变区间划分的红绿蓝黄色分类器

交通标志颜色包括白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色共9种颜色, 但是颜色标准化映射到白色、黑色、红色、绿色、蓝色、黄色和棕色共7种颜色。其中, 红色、绿色、蓝色、黄色和棕色采用HSV空间区分更直接并符合人类视觉感受。由HSV空间的定义可知, H为色调, S为颜色饱和度, V为颜色明度, H值对颜色的分类起到了主要决定作用。将H值归一化到[0, 1]区间内, 可得:

$ \begin{array}{l} {H_{\rm{R}}} = 0\;或\;{H_{\rm{R}}} \to 1\\ {H_{\rm{G}}} = 0.333\;3\\ {H_{{\rm{Bu}}}} = 0.666\;7\\ {H_{\rm{Y}}} = 0.166\;7\\ {H_{{\rm{Br}}}} = 0.083\;3 \end{array} $

其中, HRHGHBuHYHBr分别为理想状态下红色、绿色、蓝色、黄色、棕色的色调值。根据色调相似性可知, 同类颜色在HSV空间中其H值是相等或相近的。因此, 可构建基于H值区间划分的红绿蓝黄色分类器, 初始H值区间划分如表 2所示。

下载CSV 表 2 初始H值区间划分 Table 2 Initial division of H value interval

由于存在颜色偏差, 同类颜色在不同情况下会出现H值偏差。基于图像预处理环节的交通标志粗分类, 对于确定的交通标志类图像, 可扩大其相关的颜色区间, 压缩其他颜色区间, 从而构建基于图像粗分类的H值可变区间划分的颜色分类器。

由于红色和棕色的理想标准H值在区间[0, 0.1]内, 2种颜色H值间隔较小, 容易引发颜色误分, 因此, 本文在分类器后再串联一个分类器, 以对这2种颜色进行再细分。

2.3.3 基于YIQ空间的红棕色分类器

图 12(a)所示的红色样本和图 12(b)所示的棕色样本进行HSV转换, 在直角坐标平面内统计样本图片中所有像素颜色的H值和S值分布, 结果如图 13所示(彩色效果见《计算机工程》官网电子版, 下同)。

Download:
图 12 红色样本和棕色样本示意图 Fig. 12 Schematic diagram of red sample and brown sample
Download:
图 13 直角坐标平面内样本H值、S值分布 Fig. 13 Distribution of H values and S values of samples in rectangular coordinate plane

图 13中, 红色区域为红色样本H值和S值分布区域, 品红色区域为棕色样本H值和S值分布区域。在HSV空间中, 红色和棕色的H值间隔小, S值有重复, 容易产生颜色类错分, 因此, 在HSV空间中对这2种颜色进行分类的可行性不高。

图 14所示, 红色点代表红色样本在IQ平面内的分布情况, 蓝色点代表棕色样本在IQ平面内的分布情况。图 15所示为样本IQ平面分布热力图, 其为图 14的直接映射图像。由图 14图 15可以看出, 红色样本和棕色样本分布重合区域较小。因此, 在统计YIQ空间IQ平面内样本IQ值分布的基础上, 可基于YIQ空间对红色和棕色进行线性分类。

Download:
图 14 样本在IQ平面内的分布情况 Fig. 14 Distribution of samples in IQ plane
Download:
图 15 样本IQ平面分布热力图 Fig. 15 Thermal diagram of sample distribution in IQ plane

图 16所示, 可利用样本训练得到组合的线性分割函数, 对红色和棕色进行较好的分类。

Download:
图 16 红色和棕色线性分割示意图 Fig. 16 Linear segmentation diagram of red and brown

线性分割函数L1L2的计算公式为:

$ {L_1} \to {A_1}I + {B_1}Q + {C_1} = 0 $ (1)
$ {L_2} \to {A_2}I + {B_2}Q + {C_2} = 0 $ (2)

其中, AiBiCi(i=1, 2)为常数。令IrQr分别为基于H值区间划分后红色Cr的RGB值进行YIQ转换后对应的I值和Q值。将IrQr代入式(1)和式(2)进行计算, 则当式(3)和式(4)都成立时, Cr为红色; 否则, Cr为棕色。

$ {A_1}Ir + {B_1}Qr + {C_1} \ge 0 $ (3)
$ {A_2}Ir + {B_2}Qr + {C_2} \ge 0 $ (4)
2.3.4 基于图像粗分类的黑白色补偿分类器

绝对黑色在实际图像中较少存在, 更多的是相对黑色。在HSV空间中, 当V值足够小(V值< 0.15时), 视觉感知的颜色基本接近黑色, 可以忽略H值的影响, 仅需一个量化值就可以进行表示[20]。因此, 在上文分类器后再级联一个分类器对黑色进行补偿分类, 确保黑色完全分类。在不同类交通标志中, 相对黑色的色调范围是可统计的, 依据统计数据, 对各类交通标志相对黑色的颜色提高归一化V值阈值; 反之, 降低相对黑色的颜色归一化V值阈值。同理, 绝对白色在实际图像中较少存在, 更多的是相对白色。基于图像粗分类的白色补偿分类器依据统计数据, 对各类交通标志相对白色的颜色设置归一化V值阈值。

3 实验分析 3.1 实验样本数据和测试数据 3.1.1 样本数据构成

本文基于中国交通标志检测数据集[21-23], 通过互联网搜集和人工手动采集了不同情景下道路交通标志图片共7类200个。其中, 标准交通标志图片共7类56个, 实际场景共7类144个。图 17所示为样本标准交通图片和非标准交通图片数据样例。

Download:
图 17 交通标志样例 Fig. 17 Examples of traffic signs
3.1.2 测试数据构成

本文基于中国交通标志检测数据集, 选取交通标志图片共3类5 905个, 含指示类交通标志1 640个、禁令类交通标志3 082个和警告类交通标志1 183个。

3.2 实验结果及分析 3.2.1 图像粗分类效果

按照交通标志类型对图像粗分类方法进行测试, 令M代表指示类交通标志, P代表禁令类交通标志, W代表警告类交通标志, N代表不确定类交通标志, 测试结果如表 3所示。以禁令类交通标志为例, 表 3中绝对正确率和相对正确率的计算公式如下:

下载CSV 表 3 粗分类结果统计 Table 3 Coarse classification result statistics
$ 绝对正确率 = 粗分类为{\rm{P数/标志总数}} $
$ 相对正确率 = (粗分类为{\rm{P数 + 粗分类为N数)/标志总数}} $

在指示、禁令和警告3类交通标志中, 绝对正确率最高的是指示类交通标志, 最低的是警告类交通标志, 相对正确率最高的是警告类交通标志, 最低的是指示类交通标志。造成该现象的原因为:指示类交通标志的颜色较为单一, 以蓝色和白色为主, 利于图像粗分类, 使得指示类交通标志绝对正确率较高; 警告类交通标志的主要颜色为黄色和黑色, 而黄色为红色和绿色的调和色, 不利于粗分类, 使得警告类交通标志绝对正确率较低。

3.2.2 图像颜色标准化效果

图 18所示为颜色标准化成功图例, 颜色标准化处理后的图片保留了原图的主要纹理信息和颜色信息, 并且对原图亮度不一致的同类色区域实现了颜色和亮度校正, 降低了图像的复杂度, 提升了交通标志的可识别性。图 19所示为颜色标准化失败图例, 其虽保留了交通标志的轮廓信息, 但对交通标志内部的结构和颜色信息提取较少, 降低了交通标志的可识别性。本文所提颜色标准化模型的测试结果如表 4所示。

Download:
图 18 颜色标准化成功图例 Fig. 18 Image example of sccessful color standardization
Download:
图 19 颜色标准化失败图例 Fig. 19 Image example of failed color standardization
下载CSV 表 4 颜色标准化测试结果 Table 4 Color standardization test results

表 4可以看出, 本文所提颜色标准化模型取得了较好的效果, 颜色标准化成功率从高到低依次为指示类交通标志、警告类交通标志和禁令类交通标志。对比交通标志粗分类的绝对正确率, 指示类交通标志的粗分类和颜色标准化效果保持一致, 成功率最高; 对比交通标志粗分类的相对正确率, 警告类交通标志和禁令类交通标志颜色标准化效果和粗分类相对正确率保持一致。因此, 提高交通标志粗分类的绝对正确率有助于提升颜色标准化效果。另外, 经过统计分析, 可知颜色标准化失败案例主要为低分辨率图像、中心区域高亮度干扰图像和噪声图像, 今后可在图像预处理和频域处理上进行改进。

4 结束语

本文在对交通标志颜色标准化映射进行分析的基础上, 提出一种交通标志图像颜色标准化方法, 确立交通标志颜色标准化映射目标集合, 通过图像粗分类和基于HSV-YIQ-RGB多颜色空间级联分类实现颜色标准化映射。测试结果表明, 该方法对交通标志图像进行颜色标准化时成功率较高。下一步除探究性能更好的交通标志颜色标准化方法之外, 还可就交通标志图像处理问题进行深入研究, 以推动交通标志检测与识别的进一步发展。

参考文献
[1]
FLEYEH H.Traffic sign recognition without color information[C]//Proceedings of 2015 Colour and Visual Computing Symposium.Washington D.C., USA: IEEE Press, 2015: 1-6.
[2]
FLEYEH H.Traffic sign detection and recognition[M]//ROBERT P L, RAJA B, MOHN T.Computer vision and imaging in intelligent transportation systems.Chichester, UK: John Wiley and Sons, 2017: 343-373.
[3]
DE LA ESCALERA A, MORENO L E, SALICHS M A, et al. Road traffic sign detection and classification[J]. IEEE Transactions on Industrial Electronics, 1997, 44(6): 848-859. DOI:10.1109/41.649946
[4]
MALDONADO B S, LAFUENTE A S, GIL J P, et al. Road-sign detection and recognition based on support vector machines[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2): 264-278. DOI:10.1109/TITS.2007.895311
[5]
SOUANI C, FAIEDH H, FARHAT W, et al. Embedded real-time system for traffic sign recognition on ARM processor[J]. International Journal of Applied Metaheuristic Computing, 2020, 11(2): 77-98. DOI:10.4018/IJAMC.2020040104
[6]
ZHU Shuangdong, JIANG Tiantian, LIU Lanlan. Traffic sign recognition based on color standardization[J]. Computer Applications and Software, 2008, 25(1): 220-222. (in Chinese)
朱双东, 蒋甜甜, 刘兰兰. 基于颜色规格化的交通标志识别[J]. 计算机应用与软件, 2008, 25(1): 220-222.
[7]
ZHU Shuangdong, LIU Lanlan. Traffic sign detection based on color information and SVM network[J]. Automatic Instruments, 2009, 30(3): 69-72. (in Chinese)
朱双东, 刘兰兰. 基于颜色信息与SVM网络的交通标志检测[J]. 自动化仪表, 2009, 30(3): 69-72.
[8]
ZHU Jun, HOU Zhenjie, CHEN Shuyue, et al. Traffic sign recognition based on depth feature reconstruction and weight assignment[J]. Journal of Chinese Computer Systems, 2019, 40(9): 1932-1939. (in Chinese)
朱军, 侯振杰, 陈树越, 等. 深度特征重构与权重分配的交通标志识别算法[J]. 小型微型计算机系统, 2019, 40(9): 1932-1939.
[9]
LI He, HAO Xiaoli, QI Fei. Traffic sign detection based on color standardization and contour polygon[J]. Railway Computer Application, 2013, 22(2): 9-13. (in Chinese)
李贺, 郝晓莉, 齐飞. 基于颜色规格化和轮廓多边形的交通标志检测[J]. 铁路计算机应用, 2013, 22(2): 9-13.
[10]
MA Xing, MU Chunyang, WANG Yan, et al.Traffic sign detection and recognition using color standardization and Zernike moments[C]//Proceedings of the 28th Chinese Control and Decision Conference.Washington D.C., USA: IEEE Press, 2016: 5195-5198.
[11]
JAMES M, PHILIPP R, RONAK C, et al.Image segmenta-tion with implicit color standardization using cascaded EM: detection of myelodysplastic syndromes[C]//Proceedings of the 9th IEEE International Symposium on Biomedical Imaging.Washington D.C., USA: IEEE Press, 2012: 740-743.
[12]
YAGI Y. Color standardization and optimization in whole slide imaging[J]. Diagnostic Pathology, 2011, 6(S1): 15-20. DOI:10.1186/1746-1596-6-S1-S15
[13]
PINKY A B, NORIAKI H, YUKAKO Y. Color standardiza-tion in whole slide imaging using a color calibration slide[J]. Journal of Pathology Informatics, 2014, 5(1): 32-35. DOI:10.4103/2153-3539.139712
[14]
BASAVANHALLY A, MADABHUSHI A.EM-based segmentation-driven color standardization of digitized histopathology[EB/OL].[2020-02-15].https://engineering.case.edu/centers/ccipd/sites/ccipd.case.edu/files/publications/Ajay-HistoStandardization.pdf.
[15]
CREUSEN I M, HAZELHOFF L, DE WITH P H N.Color transformation for improved traffic sign detection[C]//Proceedings of the 19th IEEE International Conference on Image Processing.Washington D.C., USA: IEEE Press, 2012: 461-464.
[16]
National Standardization Administration of China.Road traffic signs and markings Part II: road traffic signs: GB 5678.2-2009[S].Beijing: China Standards Press, 2009.(in Chinese)
中国国家标准化管理委员会.道路交通标志和标线第二部分: 道路交通标志: GB 5678.2-2009[S].北京: 中国标准出版社, 2009.
[17]
OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.
[18]
HUANG Jin, YUAN Weiqi. Self-affine fitting based iris texture segmentation and coarse classification[J]. Chinese Journal of Scientific Instrument, 2015, 36(4): 758-767. (in Chinese)
黄静, 苑玮琦. 自仿射拟合的虹膜纹理分割及粗分类[J]. 仪器仪表学报, 2015, 36(4): 758-767.
[19]
National Standardization Administration of China.Chinese color system: GB/T 15608-2006[S].Beijing: China Standards Press, 2007.(in Chinese)
中国国家标准化管理委员会.中国颜色体系: GB/T 15608-2006[S].北京: 中国标准出版社, 2007.
[20]
QIU Zhaowen, ZHANG Tianwen. A new image color feature extraction method[J]. Journal of Harbin Institute of Technology, 2004, 36(12): 1699-1701. (in Chinese)
邱兆文, 张田文. 一种新的图像颜色特征提取方法[J]. 哈尔滨工业大学学报, 2004, 36(12): 1699-1701.
[21]
ZHANG Jianming, JIN Xiaokang, SUN Juan, et al. Spatial and semantic convolutional features for robust visual object tracking[J]. Multimedia Tools and Applications, 2020, 79(21/22): 15095-15115.
[22]
ZHANG Jianming, HUANG Manting, JIN Xiaokang, et al. A real-time Chinese traffic sign detection algorithm based on modified YOLOv2[J]. Algorithms, 2017, 10(4): 127-128. DOI:10.3390/a10040127
[23]
ZHANG Jianming, HUANG Qianqian, WU Honglin, et al. Effective traffic signs recognition via kernel PCA network[J]. International Journal of Embedded Systems, 2018, 10(2): 120-125. DOI:10.1504/IJES.2018.090568