«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (4): 284-291, 298  DOI: 10.19678/j.issn.1000-3428.0063218
0

引用本文  

张磊, 王小龙, 刘畅. 联合显著性与MRF的SAR建筑物分割算法[J]. 计算机工程, 2022, 48(4), 284-291. DOI: 10.19678/j.issn.1000-3428.0063218.
ZHANG Lei, WANG Xiaolong, LIU Chang. SAR Building Segmentation Algorithm Combining Saliency and MRF[J]. Computer Engineering, 2022, 48(4), 284-291. DOI: 10.19678/j.issn.1000-3428.0063218.

基金项目

国家重点研发计划(2017YFB0503001)

作者简介

张磊(1997—),男,硕士研究生,主研方向为SAR图像目标检测;
王小龙,副研究员、博士;
刘畅,研究员、博士

文章历史

收稿日期:2021-11-12
修回日期:2021-12-27
联合显著性与MRF的SAR建筑物分割算法
张磊1,2 , 王小龙1 , 刘畅1,2     
1. 中国科学院 空天信息创新研究院, 北京 100190;
2. 中国科学院大学 电子电气与通信工程学院, 北京 100049
摘要:针对经典马尔可夫随机场(MRF)在进行高分辨率SAR图像分割时存在容易受到斑点噪声干扰等问题,提出一种基于建筑物指数相似度距离及MRF模型(BISD-MRF)的高分辨率SAR建筑物分割算法。基于较复杂SAR场景下建筑物目标可能呈现多种形态结构的问题,设计一种多尺度显著性建筑物指数(MSBI)方案来提取建筑物目标的显著性特征,并通过强度信息重构、纹理显著性提取、频谱显著性信息统计来分别提取不同类型区域的显著性信息,构建适用于SAR建筑物目标的显著性模型。在此基础上,将MSBI值引入到改进的基于改进余弦函数的势函数模型中,利用余弦函数对邻域像素MSBI值进行相似性度量,同时利用特征空间语义信息对像素及其邻域像素标签信息进行有效约束,以提升势函数模型对高分辨率SAR建筑物目标的表征能力。不同平台下的建筑物分割实验结果表明,与MRF、MBI、FRFCM等算法相比,本文算法分割性能平均提升了4.3~10.7个百分点,更适用于较复杂场景下高分辨率SAR建筑物的分割任务。
关键词高分辨率SAR图像    多尺度显著性建筑物指数    改进MRF模型    建筑物提取    势函数    
SAR Building Segmentation Algorithm Combining Saliency and MRF
ZHANG Lei1,2 , WANG Xiaolong1 , LIU Chang1,2     
1. Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100190, China;
2. School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: Aiming at the problem that classic Markov Random Field(MRF)problem is susceptible to speckle noise during high-resolution Synthetic Aperture Radar(SAR) image segmentation, this study proposes a high-resolution SAR building segmentation algorithm based on a Building Index Similarity Distance and MRF(BISD-MRF).Considering that building targets in a more complex SAR scene may show multiple morphological structures, a Multi-scale Saliency Building Index(MSBI)scheme is designed to extract the saliency of building target features using intensity information reconstruction texture saliency extraction and spectral saliency information statistics; the saliency information of different types of target areas is extracted, and a saliency model suitable for SAR building targets is constructed.On this basis, the MSBI value is introduced to the improved potential function model based on the improved cosine function, which is used to measure the similarity of the MSBI value of the neighborhood pixels, and the feature space semantic information is used to measure the pixel and its neighborhood pixel labels.The information can be effectively constrained to improve the ability of the potential function model to characterize high-resolution SAR building targets.The results of building segmentation under different platforms show that the segmentation performance of the proposed algorithm improved by an average of 4.3~10.7 percentage points compared to traditional algorithms, such as MRF, MBI, and FRFCM, and it is more suitable for high-resolution SAR building segmentation tasks in more complex scenes.
Key words: high-resolution SAR image    Multi-scale Saliency Building Index(MSBI)    improved MRF model    building extraction    potential function    

开放科学(资源服务)标志码(OSID):

0 概述

合成孔径雷达(Synthetic Aperture Radar,SAR)可以全天时、全天候进行主动式微波成像,已被广泛应用于侦察探测、城市规划等任务中[1]。早期的SAR图像分辨率偏低,建筑物检测任务侧重于提取简单几何结构、阴影等信息。文献[2]组合近似垂直目标元,设计一种分级检测方案。文献[3]融合光学与SAR图像,利用主线条与阴影进行辅助判别。文献[4]通过感知编组(Perceptual Grouping,PG)的形式提取建筑物结构信息。文献[5]在传统马尔可夫随机场(Markov Random Field,MRF)分割基础上,结合区域Hough变换设计L型结构并提取方案。

随着SAR图像分辨率的不断提高,建筑物呈现更明显的纹理结构信息,人们逐渐开始倾向于研究基于目标纹理和结构特征的提取算法。文献[6]在分水岭变换的基础上将纹理信息和建筑物特征点结合分析。文献[7]基于YOLOv3框架,利用K-Means改进先验框尺寸,引入浅层特征融合模块和转置卷积增强细节信息。文献[8]利用复数卷积网络将多尺度多通道信息融合,提升三维建筑物分割精度。然而,深度学习方案计算成本较高,需要大数据样本支撑,且会随SAR系统差异出现迁移应用受限等问题。在实际应用中,目标区域可能仅能获取一幅SAR图像,因此,基于传统SAR建筑物分割方法的研究具备一定的现实意义。

显著性特征与空间关系特征的提取能够有效提升建筑物检测的准确率与效率。文献[9]通过提取形态学显著性特征提取建筑物,但在较复杂场景中,SAR建筑物目标会呈现出L型、框型等多种几何结构。文献[10]提出形态学建筑物指数(Morphological Building Index,MBI)算法,采用多方向形态学算子进行白帽重构,适用于矩形建筑物,而线形建筑物数值偏低,经阈值处理可能会出现目标断裂问题。文献[11]在SAR建筑物分割任务中利用邻域像素距离因子及强度差异改进传统MRF势函数模型,并提取空间关系特征,该模型能够提升分割性能,但没有充分考虑建筑物目标与邻域像素在特征空间的语义关系,制约了模型的泛化能力。

为有效提取高分辨率SAR建筑物的显著性特征,本文提出一种多尺度显著性建筑物指数值(Multi-scale Saliency Building Index,MSBI)算法,通过融合不同类型的SAR建筑物特征获取符合SAR建筑物的显著性信息。为有效表征复杂场景下高分辨率图像中SAR建筑物目标的空间关系特征,本文将MSBI特征因子引入到基于改进余弦函数的MRF势函数模型,更加关注邻域像素在特征语义层面的关系,加强势函数模型对复杂SAR建筑物目标的表征能力。

1 算法方案

本文联合高分辨率SAR建筑物目标的显著性与空间关系特征,提出一种基于建筑物指数相似度距离改进MRF模型的分割方法。利用MSBI算法提取SAR建筑物显著性特征从而进行相似度约束,以改进像素间空间关系,算法流程如图 1所示。

Download:
图 1 建筑物分割流程 Fig. 1 Procedure of building segmentation
1.1 图像预处理

SAR独特的成像机制会导致大量斑点噪声的产生,严重影响特征提取的精度。Shearlets变换[12]通过多尺度多方向的时频分析策略,能够提取局部化特征及采取最佳稀疏表示。相较于传统SAR图像去噪方案,Shearlets变换更适合SAR建筑物这类包含丰富纹理信息的目标,能够更好地保留高频信息。

1.2 多尺度显著性建筑物指数

传统MBI算法采取多方向(通常为4个方向)的形态学算子进行多尺度白帽重构,赋予矩形建筑物目标较高的指数,如图 2(a)所示。考虑到较复杂场景下SAR建筑物目标可能呈现多种结构形态的问题,本文基于多尺度滤波重构的思路,通过引入多尺度低通及均值滤波代替形态学滤波降低算法复杂度,提取强度显著性信息。在此基础上,使用基于单演信号特征分析将多尺度局部相位信息融合,提取纹理显著性信息。此外,通过频域对比度分析,引入谱残差权重,提取频谱显著性信息。最终通过多特征融合获取建筑物显著性指数图,如图 2(b)所示。

Download:
图 2 MSBI算法与MBI算法的对比 Fig. 2 Comparison of MSBI and MBI algorithm
1.2.1 强度显著性

形态学滤波重构复杂度较高,考虑到线性滤波具有较低的计算成本,引入均值滤波与高斯低通滤波进行目标重构,主要步骤如下。

步骤1  线性滤波剖面生成。对原图O(xy)利用高斯核G和均值滤波模板Laver(s)分别进行处理,计算公式如式(1)~式(4)所示:

$ G(x, y)=\frac{1}{\sqrt{2\mathrm{\pi }}\sigma }{\mathrm{e}}^{-\frac{{x}^{2}+{y}^{2}}{2{\sigma }^{2}}} $ (1)
$ {L}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}\left(s\right)=\frac{1}{s\times s}\sum\limits_{-\frac{s-1}{2}\le i, j\le \frac{s-1}{2}}\boldsymbol{O}(x+i, y+j) $ (2)
$ \begin{array}{l}{L}_{\mathrm{l}\mathrm{o}\mathrm{w}\_\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}}=\left\{G\right(s), s\in \{{S}_{\mathrm{m}\mathrm{i}\mathrm{n}}, ({S}_{\mathrm{m}\mathrm{i}\mathrm{n}}+△s), \cdots , \\ ({S}_{\mathrm{m}\mathrm{a}\mathrm{x}}-△s, )S{}_{\mathrm{m}\mathrm{a}\mathrm{x}}\left\}\right\}\end{array} $ (3)
$ \begin{array}{l}{L}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}=\left\{{L}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}\right(s), s\in \{{S}_{\mathrm{m}\mathrm{i}\mathrm{n}}, ({S}_{\mathrm{m}\mathrm{i}\mathrm{n}}+△s), \cdots , \\ ({S}_{\mathrm{m}\mathrm{a}\mathrm{x}}-△s), S{}_{\mathrm{m}\mathrm{a}\mathrm{x}}\left\}\right\}\end{array} $ (4)

其中:ij均为整数;Llow_passLaver分别代表低通和均值滤波剖面;s代表从初始窗口Smin以步长Δs增加至最终窗口Smax所对应的各阶段窗口尺寸。

步骤2  微分线性滤波剖面生成。将相邻Laver依次取差值可得到k-1个相应的微分图像,计算公式如式(5)和式(6)所示:

$ {D}_{\mathrm{l}\mathrm{o}\mathrm{w}\_\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}}\left(s\right)=\left|{L}_{\mathrm{l}\mathrm{o}\mathrm{w}\_\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}}(s+△s)-{L}_{\mathrm{l}\mathrm{o}\mathrm{w}\_\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}}\left(s\right)\right| $ (5)
$ {D}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}\left(s\right)=\left|{L}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}(s+△s)-{L}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}\left(s\right)\right| $ (6)

其中:k=(Smax-Smin)/Δs+1;Dlow_passDaver分别代表高斯低通滤波和均值滤波的微分剖面。

步骤3  基于强度信息显著性权重生成。将通过均值滤波和低通滤波获取到的相应k-1个微分图像进行累加,归一化至[0, 1],计算公式Iintensity如式(7)所示:

$ {\boldsymbol{I}}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{y}}=\mu \left(\sum\limits_{s={S}_{\mathrm{m}\mathrm{i}\mathrm{n}}}^{{S}_{\mathrm{m}\mathrm{a}\mathrm{x}}}{D}_{\mathrm{l}\mathrm{o}\mathrm{w}\_\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}}\left(s\right)/k\right)+(1-\mu )\sum\limits_{s={S}_{\mathrm{m}\mathrm{i}\mathrm{n}}}^{{S}_{\mathrm{m}\mathrm{a}\mathrm{x}}}{D}_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}\left(s\right)/k $ (7)

其中:µ为超参数;Iintensity为区域权重值,强度差异高的区域,该值越大,反之,该值越小。

1.2.2 纹理显著性

高分辨SAR建筑物目标具有明显的方向性结构信息,纹理特征提取有利于分析不同建筑物目标的细节信息。文献[13]基于单演信号构造的特征具有良好的尺度不变和旋转不变特性,针对图像处理任务,二维单演信号经过Riesz变换,同时结合原始信号在高维空间进行特征提取与分析。f(xy)为原信号,单演信号fM(xy)表达式如式(8)所示:

$ {f}_{\mathrm{M}}(x, y)=f(x, y)-(\mathrm{i}, \mathrm{j}){f}_{\mathrm{R}\mathrm{i}\mathrm{e}\mathrm{s}\mathrm{z}}(x, y) $ (8)

其中:fRiesz(xy)为Riesz变换结果;i和j均为虚数。

利用局部相位提取建筑物目标几何结构信息,表示式如式(9)所示:

$ {\varphi }_{\mathrm{R}\mathrm{i}\mathrm{e}\mathrm{s}\mathrm{z}}(x, y)=\mathrm{t}\mathrm{a}{\mathrm{n}}^{-1}(\left|{f}_{\mathrm{R}\mathrm{i}\mathrm{e}\mathrm{s}\mathrm{z}}(x, y)\right|/f(x, y\left)\right) $ (9)

其中:$ \left|{f}_{\mathrm{R}\mathrm{i}\mathrm{e}\mathrm{s}\mathrm{z}}(x, y)\right|=\sqrt{{f}_{x}{(x, y)}^{2}+{f}_{y}{(x, y)}^{2}} $

考虑到图像信号长度受限,在Riesz变换之前一般采用带通滤波进行预处理。低尺度特征包含SAR建筑物丰富的细节信息,而高尺度建筑物特征具备更强的语义性。因此,通过构造多尺度的局部相位信息,融合处理得到Gphase

1.2.3 频谱显著性

基于频域的显著性模型能通过提取目标的基本轮廓信息,引入频域显著性信息来辅助增强建筑物目标区域,文献[14]提出的谱残差算法(Spectral Residual,SR)利用图像幅度谱与平均谱之间的差异来提取显著性区域。首先对输入图像进行傅里叶变换得到频域幅度信息,再通过对数运算获取幅度谱,并经过高斯平滑处理得到平均谱取差值,最终进行逆变换获得频谱显著图Ffrequency,处理流程如图 3所示。

Download:
图 3 谱残差算法流程 Fig. 3 Procedure of spectral residual algorithm

通过对上述强度、纹理和频谱3种显著性特征进行融合,获取全局MMSBI值,计算公式如下:

$ {\boldsymbol{M}}_{\mathrm{M}\mathrm{S}\mathrm{B}\mathrm{I}}={\lambda }_{1}{\boldsymbol{I}}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{y}}+{\lambda }_{2}{\boldsymbol{G}}_{\mathrm{p}\mathrm{h}\mathrm{a}\mathrm{s}\mathrm{e}}+(1-{\lambda }_{1}-{\lambda }_{2}){\boldsymbol{F}}_{\mathrm{f}\mathrm{r}\mathrm{e}\mathrm{q}\mathrm{u}\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{y}} $ (10)

其中:λ1λ2∈(0,1)。

相比传统算法MBI,MSBI算法能够对建筑物与背景杂波赋予不同权重,同时加强L型、框型等建筑物目标的显著度。

2 改进MRF模型的SAR图像建筑物分割 2.1 基于MRF模型图像分割

MRF模型通过点集L={l=(ab)|1≤aM,1≤bN}描述二维M×N图像,同时定义标签场X={X1,X2,…,Xm},$ \boldsymbol{\delta }=\{{\delta }_{ab}:(a, b)\in \boldsymbol{L}, {\delta }_{ab}\in \boldsymbol{L}\} $为邻域系统,用以描述像素间的空间状态关系。所有服从二维MRF分布的变量,其概率值仅与其邻域变量状态有关[15]

Y为图像的特征矢量,即已知的观测数据,X为与Y对应的分类标签,分割问题[16]即分类标签X的后验概率分布,其表达式如式(11)所示,其中MRF分割最优化即求取最大后验概率对应的分类标签,表达式如式(12)所示:

$ P\left(\boldsymbol{X}\left|\boldsymbol{Y}\right.\right)\mathrm{ }=\frac{P\left(\boldsymbol{Y}\left|\boldsymbol{X}\right.\right)P\left(\boldsymbol{X}\right)}{P\left(\boldsymbol{Y}\right)} $ (11)
$ {\stackrel{\wedge }{X}}_{\mathrm{M}\mathrm{A}\mathrm{P}}=\underset{x}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\left\{P\right(\boldsymbol{X}=x\left|\boldsymbol{Y}=y\right.\left)\right\} $ (12)

根据Hammersley-Clifford定理可知,Markov随机场与吉布斯分布具有同一性。吉布斯分布如式(13)所示:

$ P(\boldsymbol{X}=x)=\frac{1}{Z}{\mathrm{e}}^{-\frac{U\left(x\right)}{T}} $ (13)

其中:$ Z=\sum\limits_{x\in X}{\mathrm{e}}^{-\frac{U\left(x\right)}{T}} $为归一化系数;$ U\left(x\right)=\sum\limits_{c\in C}{V}_{c}\left(x\right) $为能量函数;C为邻域基团集合;T代表温度,为常数;$ {V}_{c}\left(x\right) $代表势能函数。

最优分割求取过程[17]从最大化后验概率转化为寻找使全局能量最低的分类状态。本文使用ICM算法[18]寻找能量稳定状态,此时的分类标签为SAR建筑物分割的最优结果。

2.2 改进的MRF势函数模型

在标签域传统MRF模型中对每次迭代的结果利用K-Means进行初始标签提取,之后利用势函数模型对像素点邻域进行标签概率统计[19]。传统势函数模型如Potts模型[20]等,对图像中的简单目标结构具有一定的表征能力,计算公式如式(14)所示:

$ {V}_{c}({x}_{a}, {x}_{b})=\left\{\begin{array}{l}0, \mathrm{ }({x}_{a}={x}_{b})\\ \beta , \mathrm{ }({x}_{a}\ne {x}_{b})\end{array}\right. $ (14)

其中:$ {x}_{i} $代表当前像素;$ {x}_{j} $$ {x}_{i} $的邻域像素。当两者标签一致时,势函数能量为$ 0 $,标签不同时则为$ \beta $

但Potts模型并未考虑到像素特征语义层面的关系,在SAR建筑物分割时,由于目标受背景杂波干扰,易产生过分割现象。故本文提出并设计一种改进的MRF分割模型,命名为BSID-MRF,算法流程如图 4所示。模型主要在标签域利用改进的势函数模型对当前像素点以及邻域像素的MSBI值进行相似性度量,利用SAR建筑物在特征语义层面的信息生成新的标签信息,在此基础上与特征域能量信息结合,求取最大后验概率。

Download:
图 4 BSID-MRF分割模型的流程 Fig. 4 Procedure of BSID-MRF segmentation model

将邻域MSBI因子引入到基于改进余弦函数的势函数模型中,改进后的势函数公式如式(15)所示:

$ {V}_{c}({x}_{a}, {x}_{b})=\left\{\begin{array}{l}0\mathrm{ }, {x}_{a}={x}_{b}\\ \left(1-\frac{1}{2}\left(\mathrm{c}\mathrm{o}\mathrm{s}\right(\alpha \times d)+1)\right)\times \beta , {x}_{a}\ne {x}_{b}\end{array}\right. $ (15)

其中:β为初始能量与邻域能量的比值,β∈[0, 1];d为相似度距离,代表当前像素点与其邻域在SAR建筑物显著性特征层面的相似程度,d∈[0,π];α为超参,代表尺度变换,一般取1。势函数变化曲线如图 5所示。由图 5可知,当像素点xa与邻域像素点xb初始分类标签相同时,势函数能量赋值为0;而当分类标签不同时,利用上述改进的余弦函数评估两者间的MSBI特征相似度,在像素空间通过概率形式进行能量约束。相似度距离d取值越小,则归属一类的概率越高;反之,赋予不同标签值的概率越高。

Download:
图 5 势函数能量与相似度距离的变化关系 Fig. 5 Change relationship between potential function energy and similarity distance
3 实验与分析

为验证算法的有效性,本文采用机载和星载2类不同的SAR图像开展了不种场景下的建筑物分割实验,如图 6所示。其中,机载SAR图像为中科院空天信息创新研究院的高分辨率SAR影像,星载SAR图像为美国Capella-2星载高分辨率SAR图像。此外,为了评估算法性能,传统MRF模型、MBI算法以及文献[21]的快速鲁棒模糊C均值(Fast and Robust Fuzzy C-Means,FRFCM)算法被选用开展对比实验。实验中,由于SAR场景下同一目标整体强度分布不均,算法分割结果与地面真实值存在一定偏差。

Download:
图 6 不同平台下原始高分辨率SAR图像示例 Fig. 6 Examples of original high-resolution SAR images on different platforms

图 6(a)所示为机载SAR图像,用于展示本文MSBI算法相较传统MBI算法的改进效果。图 7(a)~图 7(c)分别为原SAR图像、地面真值图和细节放大图;图 7(d)~图 7(f)分别为MBI处理结果;图 7(g)~图 7(i)分别为本文MSBI处理结果。不难看出,MBI算法能将类似矩面结构的建筑物目标赋值较高,而部分L型、框型建筑物目标指数值偏低,进行阈值处理容易导致L型、框型等建筑物目标出现严重断裂,如图 7(f)所示。如果为了防止目标断裂而将阈值设置过低,则会引入过多的虚警目标。MSBI算法能够对线条型建筑物区域进行增强,提取的细节信息如图 7(i)所示。综上分析,与传统MBI算法相比,MSBI算法对SAR建筑物目标的整体结构信息的保留效果更佳,可以有效处理可能出现的目标断裂问题。

Download:
图 7 MSBI算法和MBI算法的效果对比 Fig. 7 Effect comparison between MSBI and MBI algorithm

针对建筑物空间关系特征提取,传统MRF算法的分割结果如图 8(a)所示,算法过分割现象较为严重,出现较多的误分割区域和冗余连接。BSID-MRF算法可以在一定程度上避免建筑物目标过分割。FRFCM算法对L型、框型等目标断裂较为严重的建筑物,分割效果不理想,如图 8(b)所示。本文将邻域MSBI因子引入改进的MRF势函数模型中,分割结果如图 8(c)所示,BSID-MRF算法能够更好地提取L型、框型等建筑物目标,最终的分割结果更有利于后续设计目标、提取规则,提升建筑物检测算法的精度。算法的分割结果中误分割区域较少,有效地去除了大部分建筑物边缘冗余连接,使建筑物目标分割更加精准。

Download:
图 8 不同算法检测建筑物的性能对比 Fig. 8 Comparison of building detection performance with different algorithms

图 6(b)所示为机载SAR图像,用于开展改进MRF势函数模块的消融实验,并展示改进势函数模型在特征提取中的优势。图 9(a)图 9(b)分别为原始图像和地面真值图;图 9(c)为传统MRF算法的分割结果,目标与背景杂波混杂,算法过分割严重。图 9(d)为改进MRF势函数模块的消融结果,基于传统MRF势函数模型,利用MSBI算法结果代替初始标签域赋值,并通过迭代进行标签更新。由图 9(d)可以看出,引入MSBI算法能够有效解决大部分背景与目标的过分割问题。但由于单个目标区域灰度分布不均,传统势函数模型无法有效表达目标的结构信息,导致部分矩形建筑物周边存在冗余像素点,目标结构信息丢失。图 9(e)图 9(d)为在传统MRF算法的基础上加入改进MRF势函数模型的处理结果,即本文完整算法处理结果。对图 9(e)图 9(d)进行差值比对,结果如图 9(f)所示,可见本文算法通过特征空间约束,能够在一定程度上保留建筑物目标的结构信息,使SAR建筑物分割更加精准。

Download:
图 9 改进势函数模型的消融实验结果 Fig. 9 Ablation experimental results of improved potential function model

图 10所示为MBI和FRFCM算法与本文算法的处理结果对比图。如图 10(a)图 10(b)所示,前2种算法均无法同时兼顾虚警率以及漏检率。图 10(c)为本文BSID-MRF算法的处理结果,由于融合了邻域显著性特征约束因子,建筑物边缘区域分割更精准,在一定程度上能够去除部分冗余虚警像素,同时保证其他SAR建筑物的完整性,目视效果更佳。

Download:
图 10 针对场景2下的建筑物分割实验 Fig. 10 Building segmentation experiment for scene 2

图 6(b)为星载SAR图像,用于展示本文算法在不同SAR系统图像间的适用性。在该场景中,SAR建筑物目标结构形态多样,背景杂波主要包括散斑噪声、植被、广场道路等干扰信息,针对此类场景的SAR建筑物提取可以进一步检验本文算法在星载应用中的可行性。图 11(a)图 11(b)分别为星载SAR图像及其地面真值图。传统MRF算法对SAR建筑物目标的分割效果良好,如图 11(c)所示,但引入了较多类建筑物的虚警目标,漏检率较低但虚警率偏高,致使算法整体检测性能不佳。而如图 11(d)图 11(e)所示的MBI算法和FRFCM算法的处理结果针对L型、框型等建筑物目标断裂较为严重,无法完整地提取此类建筑物目标,虚警率较低但漏检率偏高,导致算法检测性能降低。与之相比,本文BSID-MRF算法能够有效平衡虚警率与漏检率,分割结果如图 11(f)所示,整体检测性能优于其他算法。

Download:
图 11 针对场景3下的建筑物分割实验 Fig. 11 Building segmentation experiment for scene 3

本文选用SAR建筑物提取研究领域广泛使用的分割指标进行定量评估算法性能,Dice指标[22]能够有效表示2类样本间的相似性程度,Jaccard系数[23]为集合间相似性度量指标,mIoU代表集合平均交并比[24],以上三者系数值越高,代表分割算法的性能越佳。利用漏检率(False Negative Rate,FNR)与虚警率(False Positive Rate,FPR)描述分割算法的特性[25]。这些指标的具体公式如式(16)~式(20)所示:

$ {D}_{\mathrm{D}\mathrm{i}\mathrm{c}\mathrm{e}}=\frac{2\times {T}_{\mathrm{T}\mathrm{P}}}{2\times {T}_{\mathrm{T}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}} $ (16)
$ {J}_{\mathrm{J}\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{a}\mathrm{r}\mathrm{d}}=\frac{\left|{\boldsymbol{R}}_{\mathrm{S}\mathrm{e}\mathrm{g}}\bigcap {\boldsymbol{R}}_{\mathrm{G}\mathrm{T}}\right|}{\left|{\boldsymbol{R}}_{\mathrm{S}\mathrm{e}\mathrm{g}}\bigcup {\boldsymbol{R}}_{\mathrm{G}\mathrm{T}}\right|} $ (17)
$ \mathrm{m}\mathrm{I}\mathrm{o}\mathrm{U}=\frac{1}{2}\times \frac{{T}_{\mathrm{T}\mathrm{P}}}{{T}_{\mathrm{T}\mathrm{P}}+{T}_{\mathrm{F}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}}+\frac{1}{2}\times \frac{{T}_{\mathrm{T}\mathrm{N}}}{{T}_{\mathrm{T}\mathrm{N}}+{F}_{\mathrm{F}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}} $ (18)
$ {F}_{\mathrm{F}\mathrm{N}\mathrm{R}}=\frac{{F}_{\mathrm{F}\mathrm{N}}}{{T}_{\mathrm{T}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}} $ (19)
$ {F}_{\mathrm{F}\mathrm{P}\mathrm{R}}=\frac{{F}_{\mathrm{F}\mathrm{P}}}{{T}_{\mathrm{T}\mathrm{N}}+{F}_{\mathrm{F}\mathrm{P}}} $ (20)

其中:TTPFFPFFN分别为真正例、假正例、假负例;RSeg代表算法实际分割结果;RGT代表地面真实值。

基于不同平台SAR场景下的几类建筑物分割算法性能的对比情况分别如表 1~表 3所示。由表 1~表 3可知,相比于其他建筑物分割方法,BSID-MRF算法能够保持合适的漏检率与虚警率,Jaccard、mIoU和Dice指标均高于其它方法,证明了BSID-MRF算法对于高分辨率SAR建筑物分割任务的可行性与有效性。

下载CSV 表 1 不同算法针对场景1下的建筑物分割性能指标对比 Table 1 Comparison of building segmentation performance indexes of different algorithms for scene 1
下载CSV 表 2 不同算法对场景2下的建筑物分割性能指标对比 Table 2 Comparison of building segmentation performance indexes of different algorithms for scene 2
下载CSV 表 3 不同算法对场景3下的建筑物分割性能指标对比 Table 3 Comparison of building segmentation performance indexes of different algorithms for scene 3
4 结束语

本文提出一种基于建筑物指数相似度的改进MRF分割算法BSID-MRF。通过强度信息重构、纹理特征构造、谱残差权重统计来提取SAR建筑物目标不同区域的显著性指数。在此基础上,引入邻域MSBI因子相似度,利用特征空间语义特性对原始像素空间进行有效约束,提升MRF势函数模型对建筑物目标结构的表征能力。建筑物分割结果表明,本文所提算法BSID-MRF相比于传统MRF、MBI、FRFCM等算法,Dice指标平均提升4.3~10.7个百分点,且能够有效平衡虚警率和漏检率,更适用于高分辨率SAR建筑物分割任务。下一步将通过设计目标提取规则提升SAR建筑物检测算法精度。

参考文献
[1]
李威, 梁军, 张桢, 等. 基于ARM GPU的机载SAR成像算法并行优化策略[J]. 计算机工程, 2020, 46(10): 240-247.
LI W, LIANG J, ZHANG Z, et al. Parallel optimization strategy of airborne SAR imaging algorithm based on ARM GPU[J]. Computer Engineering, 2020, 46(10): 240-247. (in Chinese)
[2]
COOPER D B. New models and fast algorithms for natural and urban clutter with applications[EB/OL]. [2021-10-10]. https://www.researchgate.net/publication/235102603_New_Models_and_Fast_Algorithms_for_Natural_and_Urban_Clutter_with_Applications.
[3]
TUPIN F, ROUX M. Detection of building outlines based on the fusion of SAR and optical features[J]. Journal of Photogrammetry and Remote Sensing, 2003, 58(1/2): 71-82.
[4]
MICHAELSEN E, SOERGEL U, THOENNESSEN U. Perceptual grouping for automatic detection of man-made structures in high-resolution SAR data[J]. Pattern Recognition Letters, 2006, 27(4): 218-225. DOI:10.1016/j.patrec.2005.08.002
[5]
ZHANG F L, SHAO Y, ZHANG X, et al. Building L-shape footprint extraction from high resolution SAR image[C]//Proceedings of 2011 Joint Urban Remote Sensing Event. Washington D.C., USA: IEEE Press, 2011: 273-276.
[6]
ZHAO L J, ZHOU X G, KUANG G Y. Building detection from urban SAR image using building characteristics and contextual information[J]. EURASIP Journal on Advances in Signal Processing, 2013(1): 1-16.
[7]
李响, 苏娟, 杨龙. 基于改进YOLOv3的合成孔径雷达图像中建筑物检测算法[J]. 兵工学报, 2020, 41(7): 1347-1359.
LI X, SU J, YANG L. A SAR image building detection algorithm based on improved YOLOv3[J]. Acta Armamentarii, 2020, 41(7): 1347-1359. (in Chinese)
[8]
CHEN J K, QIU X L, DING C B, et al. CVCMFF net: complex-valued convolutional and multifeature fusion network for building semantic segmentation of SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-14.
[9]
WANG Z C, DU L, SU H T. Target detection via bayesian-morphological saliency in high-resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5455-5466. DOI:10.1109/TGRS.2017.2707672
[10]
HUANG X, ZHANG L P. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery[J]. Photogrammetric Engineering & Remote Sensing, 2011, 77(7): 721-732.
[11]
侯一民, 郭雷. 一种基于马尔可夫随机场的SAR图像分割新方法[J]. 电子与信息学报, 2007, 29(5): 1069-1072.
HOU Y M, GUO L. A novel SAR image segmentation method based on Markov random field[J]. Journal of Electronics & Information Technology, 2007, 29(5): 1069-1072. (in Chinese)
[12]
KUTYNIOK G, LIM W Q, REISENHOFER R. ShearLab 3D: faithful digital shearlet transforms based on compactly supported shearlets[J]. ACM Transactions on Mathematical Software, 2016, 42(1): 1-12.
[13]
BRIDGE C P, NOBLE J A. Object localisation in fetal ultrasound images using invariant features[C]//Proceedings of the 12th International Symposium on Biomedical Imaging. Washington D.C., USA: IEEE Press, 2015: 156-159.
[14]
HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2007: 1-8.
[15]
傅兴玉, 尤红建, 付琨. 基于改进Markov随机场的高分辨率SAR图像建筑物分割算法[J]. 电子学报, 2012, 40(6): 1141-1147.
FU X Y, YOU H J, FU K. Building segmentation from high-resolution SAR images based on improved Markov random field[J]. Acta Electronica Sinica, 2012, 40(6): 1141-1147. (in Chinese)
[16]
CHEN X H, ZHENG C, YAO H T, et al. Image segmentation using a unified Markov random field model[J]. IET Image Processing, 2017, 11(10): 860-869. DOI:10.1049/iet-ipr.2016.1070
[17]
ZHENG C, PAN X X, CHEN X H, et al. An object-based Markov random field model with anisotropic penalty for semantic segmentation of high spatial resolution remote sensing imagery[J]. Remote Sensing, 2019, 11(23): 28-38.
[18]
BESAG J. On the statistical analysis of dirty pictures[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1986, 48(3): 259-279. DOI:10.1111/j.2517-6161.1986.tb01412.x
[19]
OMATI M, SAHEBI M R. Change detection of polarimetric SAR images based on the integration of improved watershed and MRF segmentation approaches[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4170-4179. DOI:10.1109/JSTARS.2018.2874517
[20]
CRESSIE N, VERZELEN N. Conditional-mean least-squares fitting of Gaussian Markov random fields to Gaussian fields[J]. Computational Statistics & Data Analysis, 2008, 52(5): 2794-2807.
[21]
LEI T, JIA X H, ZHANG Y N, et al. Significantly fast and robust fuzzy C-means clustering algorithm based on morphological reconstruction and membership filtering[J]. IEEE Transactions on Fuzzy Systems, 2018, 26(5): 3027-3041. DOI:10.1109/TFUZZ.2018.2796074
[22]
DICE L R. Measures of the amount of ecologic association between species[J]. Ecology, 1945, 26(3): 297-302. DOI:10.2307/1932409
[23]
JACCARD P. The distribution of the flora in the alpine zone.1[J]. New Phytologist, 1912, 11(2): 37-50. DOI:10.1111/j.1469-8137.1912.tb05611.x
[24]
XIONG D H, HE C, LIU X L, et al. An end-to-end Bayesian segmentation network based on a generative adversarial network for remote sensing images[J]. Remote Sensing, 2020, 12(2): 216. DOI:10.3390/rs12020216
[25]
ZHANG C L, ZOU K L, PAN Y. A method of apple image segmentation based on color-texture fusion feature and machine learning[J]. Agronomy, 2020, 10(7): 972-981. DOI:10.3390/agronomy10070972