您的当前位置:首页多帧融合自适应核回归图像去噪

多帧融合自适应核回归图像去噪

2023-07-07 来源:小侦探旅游网
204 201 1,47(1 3) Computer Engineering a 胁Ⅱf 0n 计算机工程与应用 多帧融合自适应核回归图像去噪 董晓明 ,崔静 ,刘本永 DONG Xiaoming ,CUI Jing ,LIU Benyong 1.贵州大学计算机科学与信息学院,贵阳550025 2.贵州大学智能信息处理研究所,贵阳550025 1.College of Computer Science and Information,Guizhou University,Guiyang 550025,China 2.Institute of Intelligent Information Processing,Guizhou Universiy,Guityang 550025,China DONG Xiaoming,CUI Jing,LIU Benyong.Image denoising via adaptive kernel regression and multiframe processing. Computer Engineering and Applications。2011,47(13):204-207. Abstract:Image denoising is an important step in many systems involving image processing.Traditionally,median filtering and Wiener filtering are two of the most popular image denoising methods.In recent years.methods based on wavelet tI_ans・ form and kemel regression draw much attention in the related study.Generally,the kernel regression method performs beRer 也ala methods based on wavelet transform.This study shows that the kemel regression method may be easily extended to mul- tiframe processing,and the performance is further improved. Key words:image denoising;multiframe processing;adaptive kernel regression 摘要:图像去噪是数字图像处理的重要内容,常用的传统方法包括空域中值滤波和维纳滤波,近年来基于小波变换、核回归等 的去噪方法备受关注,基于单帧处理的实验发现核回 -3方法有更好的去噪效果。在理论上将核回归方法推广到多帧情况,并进 行了对比实验,结果表明多帧处理能够进一步改进去噪效果。 关键词:图像去噪;多帧处理;自适应核回归 DOI:10.3778/j.issn.1002—8331.2011.13.058 文章编号:1002・8331(2011)13-0204—04 文献标识码:A 中图分类号:TP301.6 l引言 数字图像在科技领域和日常生活中发挥着日益重要的作 用,例如:卫星电视、磁共振成像、计算机断层扫描、视频监控、 性,能较好地去除图像的噪声,但是基于阈值收缩的方法需要 利用估计的阈值对小波系数进行处理,且在估计阈值的过程 中要知道噪声方差,而噪声方差在实际应用中只能通过估计 得到,若噪声方差估计不准确会造成估计的阈值出现误差,最 天文学等。由于受图像获取方式的限制或因传输过程中受到 干扰,实际获取的图像往往被噪声污染,含噪图像不利于后续 分析处理,如超分辨、放大、解模糊等。图像去噪的目的在于 去除噪声的同时,尽可能多地保留图像的特征,如图像的边缘 细节和纹理。 终导致去噪后的图像不能完全去除图像噪声,并造成一定程 度的模糊。 近年来,回归分析理论研究工作在自身不断深入的同时, 中值滤波n 和维纳滤波[21是最常用的传统图像去噪方法。 中值滤波能较好地保留图像的边缘部分,但平滑效果差。维 在图像处理中的应用也得到更多的重视 。其中较好的去噪 方法包括基于非参数的核回归去噪方法[81,该方法能利用图像 的局部特性改变核的大小、方向、形状,以达到去噪的同时较 好地保留图像的细节信息。然而至今为止,该方法主要是针 纳滤波正好相反,会将清晰的边缘变得模糊。 针对上述问题,近二十年来出现了很多图像去噪方法,其 中基于小波变换的图像去噪方法具有多尺度等优良特性,因 此引起人们的广泛关注。研究人员先后提出了基于阈值收缩 的通用阈值去噪方法。 、基于Stein的无偏风险准则下最优的 SURE阈值方法 ,以及基于贝叶斯风险估计最小准则下的贝 叶斯阈值方法 等。以上方法主要是针对图像小波变换后的 高频系数进行处理,算法简单快速,且小波变换具有多尺度特 对单帧图像处理进行研究的。在对同一场景或同一对象能获 取多帧图像的条件下,如何推广核回归方法值得进一步研 究。本文将自适应核回归去噪方法推广到多帧情况,实验结 果表明了该方法的有效性。 2三维核回归理论 为了估计回归函数在给定数据下任意点处的值,二维核 基金项日:国家自然科学基金(the National Natural Science Foundation of China under Grant No.60862003);科技部国际合作项目 (No.2009DFR10530);教育部高等学校博士点基金(No.20095201110002)。 作者简介:董晓明(1984一),硕士生,主要研究方向:数字图像处理;崔静(1987一),硕士生;刘本永(1966一),教授,博士生导师。 E-mail:dongxiaomingO07@163.com 收稿日期:2010—11-09;修回日期:2011-03—03 董晓明,崔 静,刘本永:多帧融合自适应核回归图像去噪 回归方法是将回归函数在给定点附近做泰勒级数展开,利用 给定点附近的点通过加权的方式经线性和非线性项修正,最 小跟置离 本身的远近有关,而且一般情况下距离越远,影响 越小,所以需要考虑在加权条件下参数{n 。的估计问题,可 以利用加权最小二乘法,即 终得到估汁结果 。二维自适应核回归方法是在二维核回归 仅考虑采样点位置要素的基础上,同时考虑采样点的像素信 息,即自适应核回归函数在计算权值时考虑两个要素:空间距 离和灰度距离。凶此,自适应回归核的大小、方向、形状是与 图像的局部边缘特性相关的,在去噪过程中可以根据图像局 部边缘特性改变核的形状,进而使去除图像噪声的同时更好 地保留图像的边缘特性。本文将二维核回归方法以及二维自 度 (Xi-X)一 .. (7) Ks(J,) I_ ( J,) (8) 适应核回归方法推广到三维情况,以期更好地解决基于多帧 处理的图像去噪问题。 2.1 三维核回归方法及其性质 假设三维信号的测量数据模型由下式给出: g =p( )+专, =【 .,x ,ti】 O=1,2,…, (1) 其中q 为X 处的噪声样本点,X 与 为x 处空间坐标,t 为 处的广义时间坐标, .为3x1的向量,P(・)为待估计的回 归函数, ,为独立同分布零均值噪声,n为回归核内采样点的 个数。 其 为了估计回归函数在给定数据下任意点 处的值,可以 中 将回归函数在三维空间内做局部展开。假设X是X,处空间与 T 2 时间附近的采样点,可以得至[P C ,● 0一-维空间内 点的值的JV阶泰 勒级数展开式为: ¨ p(x )=p( )+{ ( )} x ~ 、l, 一 )+ /J _导( 一 ) {Kp( ))X ( 一 )+-・・= p(x)+{ ( )} x -X)+ lvecT{ (x) c{( — )( 一 )【}十一.- (2) 其中 和K是梯度(3×1)和Hessian(3x3)算子,vec(・)是向量 化算子,它按照一定顺序将一个矩阵转换为一个向量。定义 vect(・)为一个对称矩阵的“下三角”部分的半向量化算子,如: vect [ 】 r ’ tto Y zj) 由于Hessian算子具有对称性,所以式(2)可简化为: p( )=%+ ( — )+ cf — )( 一 ) }+.一 (4) 其中,向量a。和向量口:的具体形式为: vp( f , , I ㈥ ,2 ,2 , 0x:一,2 O ’x c3t,  Ot I ㈦ … 比较式(2)和式(4)可以看出,a。 )是已知坐标点X的 像素值,p(x1)是在X附近任意位置的像素值。而由式(4)可知, 处的值是由X处的值院。及其经线性和非线性项修正的结果, 参数{ 就是修正项的系数。上述各项对p( )的影响大 为三维核函数, 为3×3的平滑矩阵(后续讨论其选取问 题)。可以用矩阵形式来求取式(7)的最优解”…: =argmainIIq- ̄ Il R =arg唧n q--x d) R (口一xxd)(9) 其中 g=q :,…,g ] , = ・,口 (10) 其中窖为多帧处理时的采样矩阵,利用多帧处理解决去噪问题 时,涉及到兴趣块的平移、缩放、旋转等问题。在利用三维核 回归处理带噪图像时,若各帧取的块存在没有配准的情况,则 去噪后的图像会出现重影现象。所以在获取采样矩阵窑时采 用块匹配寻找相似块的方式来解决上述问题。 =diagI ( 一 ),Ks2 x 一 ),・一,Ks x 一x)j (11)  一一 : , — Xx (12) 1(X )T ,一  ,TfI(、 一  )(、 所以式(7)的加权最小二乘估计为: 一x 一 ..  V八 =( TR X V八) q (13) 在噪声存在的情况下,利用给定三维空问点附近的点对 。 一一  经线性和非线性项修正,重新估计 。n n 。这时,要估计的图像像 素值 。由三维空间内样本点的附近点的一个加权线性组合给 出: PA(f)=6^0c= T A=∑∞f(R ,Sf,N,X —x)qf (14) 其中e。为第一个元素为1,其余元素全为0的列向量。∞ 为 的核权重函数,满足以下归一性: ∑∞ (・)=1 (15) l l 2.2平滑矩阵的选取及参数估计 回归核的形状已由式(8)定义,回归函数的估计取决于3x3 的平滑矩阵. 的选取n”,平滑矩阵的形式定义为: S =a/ (16) 其中 为全局平滑参数。 全局平滑参数 的选取至关重要,较小的 使去噪后的 图像不能完全去除噪声,较大的 使去噪后的图像模糊较为 严重。本文利用基于三维空间位置和时问的协方差矩阵来估 计 的值。由式(1)得到 处的坐标为一个3×1的向量: Ix , 1 ,i=1,2,…, 。采样点为n个点时的位置坐标的协方 差矩阵为: X=C。v( , )=E(崩 )一E(x)E(x ) 206 2011,47(13) ComputerEngineering彻 『fc口ff0 计算机工程与应用 Wl+叩。 砉 一 耋 砉 由下式得到: :,(17) (18) = 其中 为3x3的三维坐标协方差矩阵。所要估计的参数 可 w 3 +r/' ≥o) (25) llz 2.3三维自适应核回归方法及其性质 上述三维核回归方法在利用多帧处理时,仅考虑帧问像 叩,为正规化参数,能抑制噪声的影响,使分母不为零。蜥作用 的直观理解是在三维平坦的区域( ≈0)保持三维核的 形状不变,在边缘附近(如W >> >> )改变三维核的形状,对 三维核进行拉伸。 素点的空间位置与帧间的时间要素,使去除图像噪声的同时 会使图像的边缘和细节变得平滑。为解决这个问题,在多帧 处理中考虑坐标影响的同时,考虑灰度值影响,以确保三维核 尺度参数^ 定义为: 能适应图像信息在三维空间中的局部变化,达到保留图像边 缘和细节的目的。 三维自适应核回归待估计的像素点的值的表达式形式类 似于式(14): (f)= 。=P = ∞ ( ,S steer N 一 (19) i I 其中 为回归核内采样点的个数。 为3x3控制矩阵,其表 达式为: =aCi (20) c 是基于不同局部灰度值的协方差矩阵,它的选取将决定三维 核的形状,以确保三维核能适应图像信息在三维空间中的局 部变化。因为图像的局部边缘结构与图像的梯度协方差有 关,所以C的估计 可以表示为: : (21) I x。)px2(X )p,( 。) I=( )Px2(: Xn) ( )j I (22) 其中 为 处期、妇和矗方向的一阶导数构成的矩阵。而这种 估计一般情况下不是满秩的且不稳定。为解决这一问题,可 以采用等价于特征值分解的方式来获取协方差矩阵G的稳定 估计,其表达形式为: 土 ci= i∑Urj iT(23) J=1 其中/为式(24)中J5r矩阵的列数。由式(23)n-J' ̄l:协方差矩阵 G的估计由向量 (旋转)、uj(伸缩)、 (尺度)三个参数决定,它 们对三维核大小、形状的影响如图1所示。 原始 拉伸 旋转 缩放 图1控制矩阵C的参数对核的大小与形状的影响图 中的参数利用 处 、勘和 方向的一阶导数构成的矩阵 做奇异值分解来求解: M/=G』 (24) 矩阵冠= ,h2,h 】定义了协方差矩阵c 的旋转向量因子髓。 伸缩参数∞的表达式为: 2i=(WIW2W3+q"] (26) 也为正规化参数,抑制噪声影响,使 不为零。,7与,7 饷存在 同时也避免了核无限延展,在实验中应使其尽可能得小。取 t/'=l、 '-0.1。 协方差矩阵c 求出后,若选择高斯核,可以得到三维自适 应核的数学表达形式如下: 2mr2 {一 } 如图2所示,为多帧处理中三维核回归与三维自适应核回 归在局部边缘处核的特性:图2(a)为三维核回归方法中核的 大小、形状不随图像的局部边缘特性发生改变,图2(b)为三维 自适应核回归方法中核的大小、形状随图像的局部边缘特性 发生拉伸、旋转、缩放。三维自适应核能适应图像信息在三维 空间中的局部变化,达到保留图像边缘和细节的目的。 (a)三维核回归方法中核 (h)三维自适应核回归方 的大小、形状不随图像的 法中核的大小、形状随图 局部边缘特性发生改变 像的局部边缘特性发生 拉伸、旋转、缩放 图2多帧处理中三维核凹归与三维自适应核凹归 在局部边缘处核的特性 去噪方法主要是将核回归去噪方法推广到多帧情况,利 用多帧图像信息联合去噪,进而取得更好的去噪效果。在去 噪过程中,将不同帧之间的时间信息包含在三维核回归函数 中,利用三维回归核的局部自适应性改变三维核的形状,并对 三维核内的所有样本点进行回归处理。回归过程中,对三维 空间点附近的点做泰勒级数展开,进而对样本点重新估价,最 终得到去噪图像。 3实验结果及分析 为验证方法的有效性,在实验中用本文去噪方法与二维 自适应核回归去噪方法进行比较。 图3(a)是截取视频中的五帧图像,其分辨率为117x163。 加入噪声标准差为30的高斯噪声后的图像如图3(b)(以 图3(b)的第一帧图像作为参考帧,其PSNR(峰值信噪比)= 28.436 5 dB)。对图3(b)第一帧带噪图像用二维自适应核回 归方法去噪的结果如图3(C)(PSNR=32.165 3 dB)。图3(d) 董晓明,崔静,刘本永:多帧融合自适应核回归图像去噪 2011,47(13) 207 (PSNR=32.818 5 dB)是对图3(b)5帧带噪图像,利用本文去噪 帧情况,是将核回归方法应用于多帧图像去噪的一次尝试,利 方法得到的去噪结果图,从图3中看到,与二维自适应核回归 去噪方法相比本文方法在去除图像噪声的过程中充分利用了 多帧图像的信息,去噪的同时较好地保留了图像的细节,有较 好去噪效果,并且有比二维自适应核回归去噪方法稍高的峰 值信噪比。 用三维空间位置和时间的协方差矩阵来估计全局平滑参数, I亩=J时引入块匹配方法解决帧问配准问题,并通过对比实验验 证了方法的有效性。从主观视觉上判断,由于该方法利用了 多帧图像的信息,使得去噪后的图像有较好的视觉效果,相对 于二维核回归去噪方法较好地保留了图像的细节。同时利用 峰值信噪比这一客观准则也说明了该方法的有效性。虽然许 一一■一一 一l一一一 图3(c)二维自适应 核IJ归去噪方法 口(PSNR=32.165 3 dB) 多使用结果较好,但还有一些实验结果不够理想,比如程序运 行速度慢,接下来的工作就是进一步优化该方法,进而在实际 应用中有更好的表现。 参考文献: 【1]Yang R,Yin L,Gabbouj M,et al Optimal weighted median fil— ters under structural constraints[J].1EEE Trans on Signal Process— ing,1995,43(3):591—604. 【2]Jain A K.Fundamentals of digital image processing[M].is.1.]: ■ 一 图3(d)三维多帧自适 应核【・tI 闩去噪方法 l(PSNR=32 818 5 dB) Prentice—Hal1.1 989. [3]Donoho D L,Johnstone 1 M.Ideal spatial adaptation via wave— let shrinkage[J].Biometrika,1994,81(3):425—455. [4】Luisier F,Blu T,Unser M.A new SURE approach to image de— noising:Inter-scale orthonormal wavelet thresholding[J].IEEE Trans on Image Process.2007,16(3):593—606 图4为在图3(a)的原始图像上加入噪声标准差分别为 [5】Chang S G,Yu B,Vetterli M.Adaptive wavelet thresholding for image denoising and compression[J].IEEE Trans on Image Pro— cessing,2000,9(9):1532—1546. 1O、20、30、40、50的高斯噪声后,二维自适应核回归去噪方法 与本文去噪方法的PSNR比较。从图4中看到在噪声标准差不 同的情况下,与二维自适应核回归去噪方法相比,本文方法均 得到稍高的峰值信噪比,取得较好的去噪效果。 [6]Takeda H,Farsiu S,Milanfar P.Robust kernel regression for res toration and reconstruction of images from sparse noisy data[C]// IEEE Int’1 Conf Digital Object Identifier,Atlanta,GA,2006: 1257一l260 【7]Liu B Y,Liao X.Image denoising and magnification via kernel iftting and modiifed SVD[C]//Proc Int’1 Conf Information As— surance and Security,Xi’all,China,2009:521—524. 【8]Takeda H,Farsiu S,Milanfar RKemel regression for image pro・ cessing and reconstruction[J].IEEE Trans on Image Processing, 2007,16(2):349—366. [9]Wand M P,Jones M C.Kernel smoothing monographs on statis— 噪声标准差 tics and applied probabilit's [M].New York:Chapman&Hall, 1995. 图4图3(a)JJ[1入噪声标准差为】0、20、30、40、 50的高斯噪声后,二维自适应核回归去噪方法 和本文去噪方法的PSNR的比较图 4 【10]Bose N K,Ahuja N A.Superresolution and noise filtering US— ing moving least squares[J].IEEE Trans on Image Process, 2006,15(8):2239—2248. 结论 基于二维核回归方法,在理论上将核回归方法推广到多 [11】Ruppert D,Wand M RMultivariate locally weighted least squares regression[J].Ann Statist,1994,22(3):1346一I 370. 

因篇幅问题不能全部显示,请点此查看更多更全内容