运动背景星空图像中小目标的运动轨迹提取算法

2008年3月　　　　Mar.2008

文章编号　10042924X(2008)0320524207

第16卷　第3期

　光学精密工程

Vol.16　No.3

运动背景星空图像中小目标的运动轨迹提取算法

张春华1,陈　标2,周晓东1

(1.海军航空工程学院控制工程系,山东烟台,264001;2.海军潜艇学院卫星遥感应用研究所,山东青岛,266000)

摘要:提出了一种序列星图中目标运动轨迹的提取算法。利用交叉投影方法提取星点,确定包含星点的区域。然后,利用序列图像中最亮的一组星点的质心估计星图的全局运动参数,并进行图像匹配,滤除背景恒星。最后,提出了一种目标运动轨迹的提取算法。实验结果表明:该算法对于在序列图像中运动轨迹不连续的空间小目标(≥1pixel)可以进行准确的轨迹提取,并且具有较强的鲁棒性。关　键　词:图像处理;星图;交叉投影;轨迹提取中图分类号:V557.4　　文献标识码:A

Smalltargettraceacquisitionalgorithmforsequencestar

imageswithmovingbackgroundZHANGChun2hua1,CHENBiao2,ZHOUXiao2dong1

(1.DepartmentofControlEngineering,NavalAeronauticalandAstronauticalUniversity,Yantai264001,China;

2.RemoteSensingInstitute,NavySubmarineAcademy,Qingdao264001,China)

Abstract:Atargettraceacquisitionalgorithmforsequencestarimageswithmovingbackgroundisputforwardtodetectthediscontinuoustraceofasmallspacetargetwithhighaccuracy.Acrossprojectionmethodisusedtoextractstarsandacquiretargetarea.Then,thecentroidofagroupofbrighteststarsinsequenceimagesisusedtoestimatetheglobalmovingparameters.Finally,atargettraceacquisi2tionmethodispresented.Thesimulationexperimentiscarriedoutwithtwosmalltargetsin16framesequenceskyimages(82bitgrayscaleimage).Theresultsoftraceacquisitionshowthatthealgorithmcandetectthetracesoftwotargetswithhighaccuracy,andcanprovidearobustwayforthetraceac2quisitionofsmalltargetswithdiscontinuoustrace.

Keywords:imageprocessing;starimage;crossprojection;traceacquisition

目标进行光学观测或其它手段的监测。对于由星

1　引　言

　　空间目标监视是利用地基或天基平台对空间

空观测相机获得的序列星图,空间目标的亮度很

弱,在背景存在大量恒星的干扰下,如何有效探测弱小目标并提取目标的运动轨迹是一项复杂的工

　　收稿日期:2007208226;修订日期:2007210225.

　　基金项目:国家“863”高技术研究发展计划资助项目(No.2006AA0627)

第3期

　　　张春华,等:运动背景星空图像中小目标的运动轨迹提取算法

525

作。另外,在空间目标监视过程中,空间目标运动的同时,相机也随着平台姿态或位置的改变而发生运动,因此图像的运动与背景自身的运动混淆

在一起,增加了目标检测与轨迹提取的复杂度。

常用的序列图像运动目标检测的方法包括块匹配技术、光流法以及三维时空滤波器法。块匹配技术[1]主要是将图像分割成小的亮度区域或者基于图像本身的特征,找出帧与帧之间的对应关系,常用的数学方法是基于位移帧差的平方和差分、线性最小二乘或者求一致化的相关函数的方法。光流法的核心思想是找出动态图像序列中守恒的物理量,完成微分方程求解[223]。基于频域的时空滤波器法通常是借助于时空方向滤波器[425]实现的,对速度矢量比较敏感。

上述3种方法均为基于序列图像的运动目标检测与轨迹提取方法,其中基于图像亮度的块匹配技术原理简单,但是只能对有限个假设位移量进行匹配估计,当图像目标两帧间的位移量不在假设范围之内或在图像边界时,匹配法所做的估计将有较大误差,且存在局部极小值点。光流法在图像亮度和运动不连续处运算会产生较大的误差,随着运动状态的改变,空间目标对应图像上的灰度值也改变,使得光流微分方程有较强的局限性。基于频域的时空滤波器法不依赖于目标光流场恒定的假设,不仅具有方向分析能力,而且能够精确地估计运动参数,其本质是目标运动在某一方向上能量的叠加,但是由于目标距离相机远,目标在图像上成像面积小,只占一个或几个像素,信噪比低,目标可能在序列图像中的某几帧成像湮没在背景噪声中,给目标运动估计带来了较大的困难,传统的基于能量积累的方法往往不能实现目标能量的有效积累,因而无法检测目标。

本文提出了一种CCD星空背景图像弱小目标轨迹提取算法,算法能够在背景近似服从匀速直线运动时准确地提取低信噪比空间目标的运动轨迹。实验结果表明,该算法对空间小目标(≥1pixel)在序列图像中运动轨迹不连续的情况下可以准确提取运动轨迹,且对目标的灰度变化不敏感,能实现多目标的运动轨迹提取。

背景噪声,往往难以直接提取空间目标,因此需要在对目标和背景成像特征进行分析的前提下,通过有效的降噪处理技术来改善图像的质量。星空观测CCD图像主要包括恒星,空间目标,空间辐射噪声,星空背景噪声和CCD暗电流噪声等。2.1.1　恒星目标成像性质

恒星是天基CCD成像的重要组成部分。在图像上表现为点状目标,图像的能量分布又称为点扩散函数(PointSpreadFunction,PSF),形成了一个近对称的高斯分布[6]。PSF的中心对应观测星的位置,恒星成像的像素数存在一定的区别,从几十个像素到几个像素甚至只占一个像素。恒星成像特性与远距离空间目标成像特性有较强的相似性,严重影响目标的识别概率和虚警率。2.1.2　空间目标成像性质空间目标在图像上表现为点状小目标,只占一个或几个象素,无结构、纹理等信息可利用,且空间目标在序列图像中成像亮度不稳定。

影响目标亮度的因素包括[7]:目标距离、目标尺寸、目标反射率、太阳入射角、观测方向等。

空间目标CCD相机探测的是空间目标反射的太阳光,也就是说,空间目标信号来源主要是太阳可见光谱段的辐射能量。空间目标不同部分的反射率不同,不同观测时刻的观测相位角也不同,因此,空间目标序列图像的亮度存在一定程度的起伏。2.1.3　空间辐射噪声空间观测相机在运行过程中总是曝露在外层空间辐射下,其主要形式是高能粒子,包括宇宙射线、太阳耀斑辐射等。高能粒子打到CCD焦平面上,使一个像素内的信号瞬时增强。由于这些粒子(通常是质子)速度极快,其信号通常仅持续一个图像帧。但这些粒子能量大,释放的能量一般溢出到中心像素之外,所以每探测到一个质子一般能影响多个像素。

空间辐射噪声成像特性与远距离空间目标成像特性也具有一定的相似,靠单帧图像无法进行区分。2.1.4　CCD暗电流噪声

当没有光入射到CCD探测器时,因为有暗电流噪声存在,探测器仍会产生电子数,暗电流噪声

2　预处理

2.1　星图目标成像特征

星空背景图像中存在着载荷自身噪声和星空

526

　　　　　光学　精密工程　　　　　

第16卷　

通常由在给定温度下探测器的试验测量得到。

暗电流噪声在图像上通常表现为位置固定的单像素点[8],利用CCD相机对一幅亮度均匀场景进行成像很容易判断检测出这种噪声。2.1.5　星空背景噪声

探测的区域条件决定了星空背景噪声的大小,主要包括以深空辐射为主的深空背景噪声和地球临边散射或任何进入相机的杂散光。深空背景辐射是来自宇宙空间背景上的各向同性的微波辐射,也称为微波背景辐射。它不是可见光,不能用光学设备观测,因此可以忽略。2.2　基于信噪比阈值的预处理方法

假设一个星像在CCD上占有m个像元,定义峰值信噪比为:

,

σ󰁡其中ATarget为目标峰值幅度,这里指图像中目标成像的峰值灰度,μ󰁦为噪声均值,σ󰁡为噪声方差[9]。ATarget-μ󰁦xi2)。经过竖直和水平投影检测,就得到了各星

点外接四边形的4个顶点坐标,即确定了星像点

的分布范围,如图1所示。

图1　交叉投影示意图

Fig.1　Demonstrationofcrossprojection

SNR=

将星点区域的像素值赋1,其余像素值赋0,

就得到了二值化星点区域图。图2(a)为序列星图的第二帧,图2(b)为交叉投影提取的星点图,两幅图像的区别是,图2(b)保留了图2(a)中所有σ灰度值不小于μ󰁦+SNR0・󰁡的像素信息,背景像

素灰度值为0,图2(c)为对图2(b)进行交叉投影提取的星点区域图。根据交叉投影得到的目标区域图像进一步可以得到星点和目标的质心,令B(x,y)代表星点图g(i,j)中星的交叉投影区域,

[11]

B(x,y)的p+q阶混合原点矩定义为

n

n

p

q

yB(i,j)　p,q=0,1,…

对单帧图像f(i,j)中的每个像素,使用二元假设检验判断目标是否存在:

H0:f(i,j)=n(i,j),　　　　目标不存在H1:f(i,j)=s(i,j)+n(i,j),目标存在若采用单帧门限判决,并设判决门限为Th,则判决准则为:

f(i,j).

mpq=

x=1y=1

∑∑x

则星点的质心坐标[x0,y0]为x0=m10/m00,

y0=m01/m00。经过上述步骤得到一系列目标和

按上式进行阈值处理滤除背景噪声,取Th=μσ󰁦+SNR0・󰁡,得到图像g(i,j):

μ+K・σf(i,j)f(i,j)≥

g(i,j)=　.

σ0f(i,j)<μ+K・通常SNR0取2～3。这种方法的特点是:实

现简单,对单帧图像预处理后保留了所有的满足信噪比要求的空间目标,即漏检率为0,目标检测的效率取决于目标运动轨迹提取的准确性。2.3　交叉投影方法提取星点坐标

噪声的质心坐标点。

图2　交叉投影示例图

Fig.2　Demonstrationofcrossprojectionalgorithm

对g(i,j),本文采用文献[10]提出的交叉投影法提取目标点位置,具体过程为:首先对星图图像进行竖直投影运算,并检测投影灰度值>0点的坐标区间,投影为单个非零值的点赋0,检测到存在星点区域的列坐标(yi1,yi2),i为检测到的第

i个星点的存在区域,在每个列区间范围内,取与

3　背景运动补偿

3.1　全局运动参数估计

原始图像行数相等的图像进行水平投影检测,进

而确定该坐标区间内各星点的行坐标范围(xi1,

相机在对空间目标进行实时观测的过程中,不仅目标星在像平面上的位置在不断变化,同时,星空背景也在变化,因此,利用背景时域或空域背

第3期

　　　张春华,等:运动背景星空图像中小目标的运动轨迹提取算法

527

景对消存在一定的困难。但是,可以利用相机对

空间目标观测过程中恒星之间相对位置不变的性质来估计全局运动参数进而实现背景运动补偿。背景运动补偿的思路如下:对每帧图像提取最亮的N个点,由于实际跟踪系统相机本身存在运动,使背景在整体上发生了变化,出现了退出视场和新进入视场的星点,所以每帧图像所求出来的N个星点并不一定能够形成连续的N条运动轨迹,一般形成的轨迹条数n≤N,所以多利用序列图像的n条轨迹的平均运动参数作为全局运动参数进行序列图像匹配。

本文选取序列图像中最亮的6个星点进行全局运动参数估计,如图3所示,最亮的星点用▲标记出,得到5条轨迹。设图像的左上角为原点,利用n条最亮的星点的运动参数估计的全局运动参数为:行方向运动速度为2.76pixel/frame,方向为行增加方向,列方向运动参数为0.04pixel/frame,方向为列增加方向。

属于这一类。

本文空间目标运动轨迹提取的目的便是提取T、TF的运动轨迹。利用全局运动参数对星点区域二值图像进行配准,将配准后的F帧图像相加形成图像P,在理想情况下,目标S在叠加图中的像素值为F,SF在叠加图中的像素>F/2,但是由于估计的全局运动参数与真实的运动参数存在一定的误差以及星点质心的运动参数并不等于整数个像素,目标S的区域叠加图只在目标区域的部分像素处为F,针对这一点,本文把图像P中各连通区域最大值大于F/2的认为是S和SF,进行滤除。

对于CCD焦平面固定噪声点B,利用其在每帧图像中的位置是固定不变的特点也很容易进行滤除。

这样图像中剩下的3类信息T,TF和BF,用方框标记出,如图4所示。图4　T,TF,BF的标记图

图3　序列星图最亮点提取结果

Fig.3　Extractionofthebrightest6starsofsequence

starimages

Fig.4　SignatureofT,TF,BF

4　目标轨迹提取算法

4.1　轨迹提取算法

3.2　背景恒星滤除

为了方便讨论,设序列图像的帧数为F,把经

过交叉投影提取的星点划分为6类:

(1)成像稳定的恒星S:在每帧图像都会成像的恒星;

(2)成像不稳定的恒星SF:不能在全部帧图像中成像,但能够成像的帧数>F/2;

(3)CCD焦平面固定噪声点B:在每帧图像中都存在的位置固定噪声点;

(4)成像稳定的目标星点T:每帧都能成像的运动目标,与S的运动轨迹不同;

(5)成像不稳定的目标星点TF:不能在全部帧图像中成像,但能够成像的帧数大于F/2;

(6)其他噪声点BF:除去上述所有星点的都

对于T,TF和BF,由于一般所占面积较小,靠单帧图像信息无法检测出T和TF。本文提出一种基于多帧图像的运动轨迹提取算法,不仅可以准确提取出T的运动轨迹,对TF的轨迹提取也有很高的精度。

通过上面的分析可知,图像经过预处理分割后,每个候选目标点用其质心坐标表示。轨迹搜索算法如下:

(1)从第一帧图像中选取经过交叉投影提取的某个目标点Pk,(k=1,2,…,K),设Pk为一条轨迹的第一个点D1(x1,y1),并将这一点标记为1,即Sig=1。

(2)通过分析估计出目标在序列图像中的最

528

　　　　　光学　精密工程　　　　　

第16卷　

大运动速度V(Vx,Vy),由于对参数的估计只是

对速度大小的估计,运动方向与成像系统设定的坐标系有很大的关系,运动方向是不确定的。因此,以D1为原点将第一帧图像分为4个区域Ai(i=1,2,3,4),根据估计得到运动速度V,在第二

)帧中每个区域Ai中利用V按照下式以(x1′,y1′

为中心,对[2Vx,2Vy]大小的区域进行搜索,找到

i

相匹配的点D2,其中下标代表序列图像的帧数,上标表示第i个区域,如果找不到相匹配的点,则

(2)相邻轨迹节点连接的线段倾角与平均轨

迹倾角差的绝对值不>30°。

符合上述两个条件的最终判断为一条目标运动轨迹。搜索示意图如图5所示。○表示实际检测到的目标点,△表示依据本文的搜索规则推算出的在某一帧未检测到的目标。

返回(1)。

(x1+Vx,y1+Vy)　i=1

(x1′)=,y1′

(x1-Vx,y1+Vy)　i=2(x1-Vx,y1-Vy)　i=3(x1+Vx,y1-Vy)　i=4

(3)对第三帧图像中每个区域利用最小二乘

图5　目标轨迹搜索图Fig.5　Demonstrationoftargettracesearchingmethod

线性预测器预测轨迹在下一时刻的位置(NextX,NextY),并以(NextX,NextY)为中心,对[2Vx,2Vy]大小的区域进行匹配搜索,找到轨迹上的第i

3个点D3,这个点的标记位记为1。若没找到相4.3　仿真实验分析对某地基光电望远镜观测的运动背景星空序列图像(8bit灰度图像)添加两个仿真目标,分别为3pixel×3pixel,最大灰度值为148,1pixel×1pixel,灰度值为120。目标在序列图像中的真实轨迹和本文方法提取的轨迹结果如表1所示。

表1　目标轨迹提取结果[行,列,标记位](单位:像素)

Tab.1　Coordinateoftargetsin16frames

[Row,Column,Sig](unit:pixel)

匹配的点,则记坐标值为[NextX,NextY]的点为i轨迹上的第3个点D3,上标表示第i个区域,将

i这个点的标记位Sig=-1。同时将D3设为当前

点。

(4)从当前点按步骤(3)的搜索规则继续搜

索,直到确定轨迹上的所有点,形成一条伪轨迹

ii

[D1,D2,…,DF]。

(5)重复(1)～(4)遍历所有候选目标点。当空间目标在第一帧图像并不能成像,即序列图像中目标第一次成像在第f帧(f>1)时,(1)～(5)的搜索是不完善的,因此需要按照上述步骤依次从第f(f=2,3,…,3F/4)帧开始,令第f帧中(1)～(5)未能遍历到的点为轨迹起始点,依次进行轨迹搜索,同时令点[D1(x,y),…,Df-1(x,y)]=[[0,0],…,[0,0]],将这些点的标记位记为0,即Sig=0。4.2　轨迹置信度检测

为了进一步得出真正的轨迹,对上述求出的所有轨迹再用下面两个条件约束:

(1)Sig1≥F/2。其中Sig1为伪轨迹中标记位为1的节点的个数,F为序列图像的帧数。

上式的含义是当检测结果中标记为1的节点的个数大于所有节点个数的1/2时便判断为一条轨迹。

目标1(3×3)真实轨迹

提取轨迹

[103,105,1][103.5,105.4,1][102,106,1][102.5,106.4,1][101,107,1][101.4,107.5,1][100,108,1][100.5,108.4,1][99,109,1][99.5,109.5,1][98,110,1][98.5,110.5,1][97,111,1][97.5,111.4,1][96,112,1][96.5,112.4,1][95,113,1][95.4,113.4,1][94,114,1][94.5,114.5,1][93,115,1][93.5,115.4,1][92,116,1][92.5,116.4,1][91,117,1][91.5,117.5,1][90,118,1][90.5,118.4,1][89,119,1][89.5,119.4,1][88,120,1][88.5,120.5,1]

目标2(1×1)真实轨迹

[160,200,1][158,194,1][156,188,1][154,182,-1][152,176,-1][150,170,-1][148,164,1][146,158,1][144,152,1][142,146,1][140,140,1][138,134,1][136,128,1][134,122,1][132,116,1][130,110,1]

提取轨迹

[160.0,200.0,1][158.0,194.0,1][156.5,188.0,1][154.0,182.0,-1][152.0,176.0,-1][150.0,170.0,-1][149.0,164.0,-1][146.0,158.0,-1][144.0,152.0,1][142.0,146.0,1][140.0,140.0,1][138.0,134.0,1][136.0,128.0,-1][134.0,122.0,1][132.0,116.0,1][130.0,110.0,1]

第3期

　　　张春华,等:运动背景星空图像中小目标的运动轨迹提取算法

529

　　对于目标1,属于本文3.1节中6类目标中

的T,即在每帧图像中都能成像,提取的轨迹与真实轨迹是一致的,对于目标2,仿真时设定在第4、5、6帧未能成像,另外,在第7、8和第13帧目标

与背景恒星位置重合,湮没在背景恒星中。

序列图像的合成图像如图6(a)所示,轨迹提取结果如图6(b)所示,其中轨迹不连续处用・表示。可以看出,本文提出的轨迹提取算法对两个弱小目标运动轨迹进行了精确的提取。图6(c)为对图6(a)进行Hough变换的轨迹提取结果,可以看出,目标1的轨迹可以通过方向判定,与绝大多数方向不同的一条轨迹为目标轨迹,但Hough变换不能够提取目标2的轨迹。

(c)Hough变换结果(c)Houghtransform

图6　序列图像点目标运动轨迹提取结果

Fig.6　Resultsoftargettraceacquisitionofsequence

images

5　结　论　　本文针对近似匀速直线运动背景星图提出了一种空间目标的运动轨迹提取算法。本文算法的优点可以概括为:(1)能够对≥1pixel的小目标进行准确的运动轨迹提取;(2)能实现多目标的运

(a)合成图(a)Synthesizedimage

动轨迹提取,对于提取运动轨迹不连续的小目标具有较高的准确性,当目标未能成像的图像帧数≤F/2时仍能够成功地提取目标轨迹;(3)对目标的灰度变化不敏感:当目标在序列图像中存在灰度起伏时,只要目标的灰度值大于阈值Th,目标灰度的变化不影响目标运动轨迹的提取精度。

不可否认,当星图中小目标成像与恒星成像距离很近或两者重合时,本文算法在背景恒星滤除的同时会将目标也滤除,造成目标在单帧图像中漏检。但是由于本文目标轨迹提取算法考虑到了目标在某一帧或几帧不能成像的现象,因此,由于恒星成像遮挡造成的漏检现象对目标运动轨迹的提取基本不造成影响。

(b)轨迹提取结果(b)Traceextraction

参考文献:

[1]　AROHB.Bolckmatchingalgorithmsformotionestimation[R].DIP6620Spring2004FinalProjectPaper,

2004:126.

[2]　VERRIA,POGGIOT.Motionfieldandopticalflow:qualitativeproperties[J].IEEETrans.PAMI,1989,11:

4902498.

530

　　　　　光学　精密工程　　　　　

第16卷　

[3]　孙辉,赵红颖,熊经武.基于光流模型的图像运动估计方法[J].光学精密工程.2002,10(5):4432447.

SUNH,ZHAOHY,XIONGJW.Methodofestimatingimagemotionbasedontheopticalflowmode[J].Opt.PrecisionEng.,2002,10(5):4432447.(inChinese)

[4]　MUSMANNHG,HOTTERM,OSTERMANNJ.Objectorientedanalysis2synthesiscodingofmovingimages[J].

SignalProcessing:ImageColumn,1998,10(1):19238.

[5]　YAKIMOVSKYY,CUNNINGHAMR.Asystemforextractionthree2dimensionalmeasurementsforastereopair

ofTVcameras[J].ComputerGraphicsandImageProcessing,1998,7(2):1952210.

[6]　张科科,傅丹鹰,周峰,等.空间目标可见光相机探测能力理论计算方法研究[J].航天返回与遥感,2006,27

(4):22226.

ZHANGKK,FUDY,ZHOUF,etal..Thestudyondetectabilitycalculationmethodofspaceobjectvisiblecamera[J].SpacecraftRecovery&RemoteSensing,2006,27(4):22226.(inChinese)

[7]　李广泽,刘金国,郝志航.基于双正交小波的星点细分定位方法研究[J].光学精密工程,2005,13(增):2172221.

LIGZ,LIUJG,HAOZHH.Researchofsubpixelsubdivisionlocationalgorithmforstarimagebasedonbiorthogonalwavelet[J].Opt.PrecisionEng.,2005,13(Supp.):2172221.(inChinese)[8]　彭华锋.天基光电望远镜系统建模仿真研究[D].成都:四川大学硕士论文,2006.

PENGHF.StudyonSimulationofSpaceBasedOpto2ElectronicTelescope[D].Chengdu:Post2graduateUniver2sityofSichuanUniversity,2006.(inChinese)

[9]　廖斌,杨卫平,沈振康.基于多帧移位叠加的红外小目标检测方法[J].红外与激光工程,2002,31(2):1502153.

LIAOB,YANGWP,SHENZHK.Dimtargetdetectionalgorithmbasedonmulti2frameindexingaccumulation[J].InfraredandLaserEngineering,2002,31(2):1502153.(inChinese)

[10]　王兆魁,张育林.一种CCD星图星点快速定位算法[J].空间科学学报,2006,26(3):2092214.

WANGZHK,ZHANGYL.AlgroithmforCCDstarimagerapidlocating[J].Chin.J.SpaceSci.,2006,26(3):2092214.(inChinese)[11]　孙即祥.数字图像处理[M].石家庄:河北教育出版社,1993.

SUNJX.DigitalImageProcess[M].Shijiazhang:HebeiEducationPress,1993.(inChinese)

作者简介:张春华(1980-),女,山东梁山人,博士研究生,主要研究方向为图像处理、运动估计、空间目标监视等。E2

mail:xiaohua800506@163.com

陈　标(1959-),男,江苏射阳人,教授,主要研究方向为海洋可见光遥感、海洋微波遥感等。E2mail:chenbi2

aojs@public.qd.sd.cn.