您的当前位置:首页基于特征跟踪和网格路径运动的视频稳像算法

基于特征跟踪和网格路径运动的视频稳像算法

来源:小侦探旅游网
CN 43-1258/TPISSN 1007-130X计算机工程与科学Computer Engineering & Science第42卷第5期2020年5月Vol. 42 , No. 5 , May. 2020文章编号:1007-130X(2020)05-0843-08基于特征跟踪和网格路径运动的视频稳像算法熊 炜1!,王传胜!,管来福!,童 磊!,刘 敏!,曾春艳1(1.湖北工业大学电气与电子工程学院,湖北武汉430068;2.美国南卡罗来纳大学计算机科学与工程系,南卡哥伦比亚29201)!摘要:针对手持移动设备拍摄的抖动视频问题,提出了一种基于特征跟踪和网格路径运动的视频稳

像算法。通过SIFT算法提取视频帧的特征点,采用KLT算法追踪特征点,利用RANSAC算法估计相邻 帧间的仿射变换矩阵,将视频帧划分为均匀的网格,计算视频的运动轨迹,再通过极小化能量函数优化平 滑多条网格路径。最后由原相机路径与平滑相机路径的关系,计算相邻帧间的补偿矩阵,利用补偿矩阵对

每一帧进行几何变换,从而得到稳定的视频。实验表明,该算法在手持移动设备拍摄的抖动视频中有较好 的结果,其中稳像后视频的PSNR平均值相比原抖动视频PSNR值大约提升了 11.2 dB。与捆绑相机路 径方法相比约提升了 2. 3 clB„图像间的结构相似性SSIM平均值大约提升了 59%,与捆绑相机路径方法

相比约提升了 3. 3%。关键词:视频稳像;SIFT算法;KLT追踪;RANSAC算法;PSNR ; SSIM中图分类号:TP391.41

doi:10. 3969/j. issn. 1007130X. 2020. 05. 011文献标志码:AA video stabilization algorithm based on feature tracking and mesh path motionXIONG Wei1'2 ,WANG Chuan-sheng ,GUAN LaiJu1 ,TONG Lei1 ,LIU Min1 ,ZENG Chun-yan】

(1. School of Electrical and Electronic Engineering, Hubei University of Technology, Wuhan 430068,China;2. Department of Computer Science and Engineering,University of South Carolina,Columbia,SC 29201,USA)Abstract: A video stabilization algorithm based on feature tracking and mesh path motion is proposed to solve the jitter video issues for handheld mobile devices. The algorithm uses SIFT algorithm to ex­

tract the feature points of video frames, uses KLT algorithm to track the feature points, uses RANSAC algorithm to estimate the affine transformation matrix between adjacent frames, divides the video frames inQouniformgrids,calculaQesmoQionQrajecQoriesofQhevideo, andQhenopimizesQhesmooQhingofmul-

Qiple mesh paQhs by minimizingQhe energy func ion.Finaly,Qhe compensaQion maQrix beQween adjacenQ

framesiscalculaQedbyQherelaQionshipbeQweenQheoriginalcamerapaQhandQhesmooQhedcamerapaQh, andQheneachframeisgeomeQricalyQransformedbyQhecompensaion maQrixQoobQainasQablevideo.

ExperimenQsshowQhaQQheproposedalgoriQhmhasgoodresulQsforQhejiQervideocapQuredbyhandheld

mobiledevices.TheaveragePSNRafQerimagesQabilizaQionisapproximaQely11.2dBhigherQhanQhaQof QheoriginaljiQervideo,andisapproximaQely2.3dBhigherQhanQhebundledcamerapaQh meQhod.The

average structural similarity (SSIM) between images is increased by approximately 59 % , and is approxi-

mately3.3% h;gherthanthebundledcamerapath method.Key words:video stabilization;SIFT algorithm;KLT tracking;RANSAC algorithm;PSNR;SSIM* 收稿日期2019-06-20;修回日期:2019-09-11基金项目:国家留学基金(201808420418);国家自然科学基金(61571182);湖北省自然科学基金(2019CFB530)

通信地址:430068湖北省武汉市湖北工业大学电气与电子工程学院Address: School of Electrical and Electronic Engineering, Hubei Universty of Technology, Wuhan 430068 , Hubei,P. R. China(44Computer Engineering & Science 计算机工程与科学 2020,42(5)1引言通过智能手机等个人设备拍摄短视频已经成 为人们记录生活的主流方式。在手持移动设备拍 摄视频的过程中,由于设备内部或者外在因素的影

响,获得的视频通常不稳定。抖动视频降低了视频 图像的质量,使得观看者有晕眩感。视频稳像技术

的目的主要是消除或减少视频的抖动,以便生成稳

定的视频[1]0视频稳像方法一般包含3个部分,分别是运动 估计、运动平滑和运动补偿。根据运动估计中运动

模型的不同,又可以分成2D方法[3、2. 5D方

法⑷和3D5方法。3D方法鲁棒性差、速度慢。2. 5D方法需要跟踪很长的运动轨迹,仅适用于专

业设备,不适用手持设备拍摄的视频。由于2D方 法处理速度快、鲁棒性好,常被用来处理视频去抖 问题。2D视频稳像方法中的相机运动估计先进行局

部运动估计,再通过局部运动向量估计全局运动向

量。局部运动估计方法主要包括2类:基于像素点 的方法和基于特征点的方法[1]0基于像素点的方 法主要包括块匹配法、相位相关法、灰度投影法以 及光流法等。块匹配法原理简单、实现方便、应用 广泛,但是在有快速运动的场景中效果并不好;相 位相关法是一种非线性的算法,基本原理是傅里叶

变换,有较高的匹配精度,且具有一定的抗干扰能

力,但是计算时间过长,不适用于实时场景;光流法

尽管不需要了解相关场景信息就能准确地检测识 别运动目标位置,但有计算量大、耗时长、对光线敏 感等缺点。基于特征点的方法主要将高维的图像

数据进行简化表达,常见方法包括角点检测法、斑 点检测法、边检测法等。角点是指在某方面属性特 别突出的点,一般角点检测法有Harris角点检测 法、FAST ( Features from Accelerated Segment

Test)算法等。斑点检测法主要对特征点周围像素

灰度值大的区域进行检测,常见方法有SIFT

(Scale-Invariant Feature Transform)算法、SURF

(Speeded Up Robust Features)算法等。2011 年, Grundmann等人2提出'1优化处理的运动平滑

方法来处理抖动视频#013年,Liu等人旳提出捆

绑相机路径框架算法进行视频稳像#016年,Liu

等人⑺提出一种新型MeshFlow运动模型算法来

实时稳定抖动视频#017年,熊晶莹归提出基于特 征提取与匹配的车载电子稳像方法;2018年,Nie

等人「汨在视频拼接中考虑视频稳像,提出一种结合

识别视频背景和捆绑相机路径的方法来拼接视频;

随着计算机视觉及深度学习的发展,2019年,

Wang等人(10)提出一种StaTNet神经网络模型处

理抖动视频,该方法对计算机显卡及内存要求较 咼。针对手持设备拍摄的抖动视频问题,本文提出

一种基于特征跟踪和多网格路径运动的视频稳像 算法。根据 SIFT 与 KLT(Kanade-Lucas-Toma-

si)相结合的特征跟踪方法[11],首先通过SIFT算

法检测视频帧的特征点;再对检测出来的SIFT特

征点通过KLT算法进行特征追踪匹配;然后根据 匹配到的特征点,利用RANSAC(RANdom SAm­

ple Consensus)算法估计相邻帧间的仿射变换矩

阵;再根据文献[6]思想,将视频帧划分为均匀的网

格,选取均匀网格中的一格,把相邻帧间仿射矩阵 与前一帧相机运动路径累乘,由此计算视频的运动 轨迹。再通过极小化能量函数优化平滑多条网格

路径。最后由原相机路径与平滑相机路径的关系, 计算相邻帧间的补偿矩阵,利用补偿矩阵对每一帧

进行几何变换,从而得到稳定的帧序列。本文算法 框架如图1所示。运稳动补I—定>■视

Figure 1 Block diagram of the algorithm in this paper

图1本文算法框图2基于特征跟踪的全局运动估计基于特征跟踪的全局运动估计主要分为以下

4步:首先选取视频第1帧作为基准,而后进行相邻

帧间的处理,通过直方图均衡化、高斯或卡尔曼滤 波等方法进行预处理;然后进行SIFT(12]特征点的

检测及KLT跟踪,主要检测图像中梯度变化较大 的点,对相邻帧间的特征点进行跟踪;再根据之前

跟踪匹配的特征点,估计出帧间的仿射变换;最后 将帧间的仿射变换进行累积,得到相机的路径。2.1

SIFT特征点提取SIFT算法对视角变化、仿射变换、噪声等保持

较好的稳定性;同时,在图像旋转、尺度缩放、亮度

熊炜等:基于特征跟踪和网格路径运动的视频稳像算法变化等方面具有很好的不变性'SIFT算法步骤如

下所示:(1)尺度空间和极值点的检测。图像I((\") 的高斯尺度空间(如图2a左侧)可用式(1)表示:'(,),!)= G(X , ) , !)• I(X , ))

(1)其中,咼斯核函数 +(,( , ) , ! ) = 1 2

2 2+) )!2 2 , ! !!为尺度空间因子。得出不同尺度下的特征点后,进一步由高斯尺

度空间生成高斯差分尺度空间DOG (Difference

Of Gaussian)。其 DOG(如 图 2 a 右侧)可用式(2)

表示:D((,),!)= (G(x,),!) — G((,),!)) + I(,))()

其中,k为组内总层数的倒数。接下来在DOG尺度空间通过比较每一个像

素和它所有相邻像素的值,从而得到极值点,如图尺度scale第 (2组)

尺度scal第e (1组)

Figure 2 Schematic diagram of feature point acquisition

图2特征点获取示意图(2)关键点定位及其主方向确定。关键点是由

DOG空间的局部极值点组成的。首先利用拟合关 系确定关键点的精确位置和尺度。在完成关键点 的梯度计算后,使用直方图统计邻域内像素的梯度845和方向,然后建立关键点邻域像素的梯度方向直方 图,直方图的峰值方向代表了关键点的主方向。女口

图3所示。主方向Figure 3 Main gradient direction determination

图3主梯度方向确定(3)关键点描述子的生成。先将坐标轴移动到

关键点的主方向,以关键点为中心取8X8窗口,计 算图像每个像素的梯度。然后建立45。的等间隔

梯度直方图,计算得到不同方向的累加值。最后利 用归一化处理得到的累加值作为一个描述子。女口

图4所示。通过SIFT算法提取视频每一帧特征点,得到 特征点如图5所示。Figure 5 Feature points of a sample video

frame extracted by SIFT algorithm

图5 SIFT算法提取视频帧的特征点2.2 KLT算法跟踪提取视频中相邻2帧间的SIFT特征点后,需

要对其特征点进行跟踪。主要的匹配跟踪方法有

K最近邻算法、快速最近邻逼近搜索算法、KLT算

法(13)等。KLT算法是基于最优估计的匹配跟踪

算法,也是一种基于特征点匹配算法。由于其在运 动速度小的情况下匹配精度较高、耗时较少(11),所

846Computer Engineering & Science 计算机工程与科学 2020,42(5)以本文采用该算法进行特征点跟踪。KLT跟踪算法假设目标在视频流中只产生一

致性的小位移,并且目标的灰度变化不大。那么, 算法必须是在以下3个假设成立的前提下产生良 好的效果:(1)亮度一致;(2)时间连续或者运动位

移小#3)空间一致性,邻近点有相似运动,保持相 邻。本文使用的抖动视频都由移动设备拍摄所得,

运动速度较小,帧间位移也较少,满足上述的3点 假设°因此,使用KLT算法匹配可以缩小匹配过 程中的搜索范围,减少匹配时间,且有较高的匹配

精度。KLT算法是一种以待跟踪窗口在视频相邻帧

间的灰度差平方和(SSD)作为度量的匹配算 法:11]o假设一个包含特征纹理信息的特征窗口

W,设t时刻对应的视频帧用I (,y,t)表示,t — r 时刻对应的视频帧用I(x,y,t + r),其对应的位置 满足式(3):I(, y ,t — r) = 1(,(,y,Ay,t)

(3)其中,(和Ay为特征点X (,y)的偏移量。在

I(,y,t-r)中的每个像素点,都可以根据I(,y,

t)中相对应的像素点平移,Ay)求得。假设给定的相邻帧I和丿,定义£为:$ =#[4(X) - I(X-d))2%(X)dX (4)

其中,0是给定的特征窗口,%(X)为权重函数, 且常设为1'将式(4)中JX)-I(X-d)替换成其对称的

形式 J(X + d/2) - I(X —d/2),可改写为式(5):

$ =#[J(X + 2) -I(X-2)]2%(X)dX (5)0为了得到最佳匹配点,将J(X + d/2)进行泰

勒展开,去掉最高次项,仅保留前2项,g是泰勒展 开式的一阶泰勒系数,g(和gy分别为(和y方向

上的一阶泰勒系数。根据式(5)对d进行求导,可 得式⑹:! =#[I(X) - J(X))g(X)%(X)dX (6)

0其中,z = ( g5 ggy),为找到最优匹配,对每 (gy g2

y个点利用式(6)进行牛顿迭代,求得最终解:L 2

--1d/+1 = d/ +

g2 g(gygg2

2+(gy

y#[I(X)—J(X) g %(X)dX (7)0

gy

其中,d表示特征窗口 0中心的平移,dk表示第/

次牛顿迭代计算所得d值。在迭代过程中,计算d

需要使用初始估计值d。,设初始值d0 = 0。通过KLT跟踪算法得出视频帧的跟踪点,如 图6所示。Figure 6 Feature points of a sample video

frame tracked by KLT algorithm

图6 KLT算法跟踪视频帧的特征点2.3帧间全局运动估计相邻视频帧间的全局运动主要表现为平移、缩

放、旋转等变换,其他更加复杂的变换形式都由这

些基本变换组合而成,比如相似变换、刚性变换和 仿射变换「⑷等。本文采取仿射变换作为相邻帧间 的全局运动,利用RANSAC算法估计出帧间的仿

射变换矩阵。其基本数学模型如下所示:y=Hy/

丄1 '711712 713其中,H = 721

722

723是仿射变换矩阵,包含00 1

6个自由度。71 ,712,721,22表示图像间的旋转和缩放部分;73 723表示图像间的平移部分。对于输入视频相邻的2帧图像I和J ,分别设 为第t帧和第t + 1帧。先用SIFT算法检测图像的特征点,再对检测出来的SIFT特征点通过

KLT算法进行特征追踪匹配,最后对跟踪匹配到的特征点利用RANSAC算法估计相邻帧间的仿 射变换矩阵。由上述步骤得到视频中第t帧和第t + 1帧的仿射变换矩阵\"后,可计算出从第t帧到第t + 1

的相机运动。具体地,将第t帧划分为mXn的均

匀网格。先选定第t帧均匀网格中的网格2 ,网格

;在第t帧中的相机运动路径C:,表示为第t-1帧

中网格;的路径与相邻帧间仿射变换矩阵的累积, 如式(9)所示:熊炜等:基于特征跟踪和网格路径运动的视频稳像算法C;= Ct,1H,

(9)其中,H,表示第t — 1帧与第t帧的仿射变换矩

阵。通过帧间运动计算相机的运动轨迹。网格;

运动路径计算如图7所示。Figure7 Motionpathofthegrid图 7 网格 的运动 路径3基于多网格路径的运动平滑选择基于2D捆绑相机路径框架来稳定视

频。本文将求出的相邻帧间仿射变换矩阵,应用于 下一帧均匀的网格中。具体地,设输入的视频共有

#帧,将视频的每一帧划分为mXn的均匀网格。

通过求解相邻帧间的仿射变换矩阵,可以得出相邻

网格运动。进一步,计算相机的运动路径轨迹。先选择每一帧所对应的网格;,将所有帧对应 的网格;累加,该网格在第t帧时就可得到一条路

径C;,如式(10)所示:—1C;= C1 +(C;H<,C; = 0 (10)j-1其中,C;表示网格;在第t帧时的路径。设相机的原始运动路径为c,, I = 1,2,3,…,

8 9n,而相机的运动路径轨迹是由所有网格的路 径合成的。进一步对该路径进行平滑处理。设平滑后的

相机路径为P,, ; — 1,2,3 ,…,m 9 n ,且P, — $ ,

t —1,2,3 ,…,N。先针对一条路径进行平滑。给定路径C,若 要得到处理后的平滑路径P ,则C — C , P — P1' 根据文献[6]的思想,P可以通过极小化能量函数

得到,该能量函数如式(11)所示:NECP) — ( ( | P —C1 ) 2 + ”( II Pl —Pr)2)

t— 1

*T 't11)

其中,&为自定义参数;'t表示第t帧的相邻帧;II Pt—Ct | 2项使得平滑处理后的路径尽可能地接

近原始路径,确保稳像后的视频的裁剪率与扭曲率 较小;IIP—PT「为平滑项,用于稳定原始路径’如果对于每一条网格路径都采取式(11)平滑相

机运动轨迹,则视频帧对应的空间网格不能被保留,

847会导致稳像后的视频出现扭曲率较大的情况’所

以,相机运动轨迹的平滑是通过极小化能量函数来

平滑所有的空间网格’其能量函数如式(12)所示:(NNE(P) + ( ( || Pt—Pt | 2 (12)t—1

t —1 <*N!)其中,N!)表示网格;的8个相邻网格集合;N1(E(P)是每条路径的式(11)中的目标函数;能 —1量项(II P:—P; ) 2使视频帧中的每一条网格路N!)径和相邻网格的路径趋于接近,减小扭曲率,但该

项优化属于二次的,因此为了获得最佳的平滑结

果,将式(12)转换求解稀疏线性方程组形式:C — P;+2&( (P;—P:)+2 ( (P;_ P;),'*Tt

;*N();—1,2,3,,・,m9n;t — 1,2,3,,・,N (13)

通过基于Jacobi的迭代[15]的方法求解式(13) 稀疏线性方程组,迭代形式用式(14)表示:P;,E —丄(C; + 2&(P> ' () + 2 ( P;,)'

; * N(:14)

其中,)—2(A + 2 N() — 1 ,P\\,刊 表示第(+ 1'*Tt次迭代结果,本文中,迭代初始值P\\,0) — C:'4运动补偿由运动平滑得到相机运动轨迹后 根据原相机

运动轨迹和求得的新的运动轨迹之间的关系 可得

到新的运动网格。依据新的运动网格和原视频网 格间的位置差异,可求得相邻每帧的运动补偿,最 后对每一帧进行运动补偿,进而获得稳定的视频°通过运动平滑对相机路径c;平滑处理之后, 将对视频的每一帧进行补偿’假设补偿矩阵为 B1 ,则得到的视频帧间的路径P'满足:P; — CB;

(15)通过式(15)计算得出相邻帧间的补偿矩阵 B1 '计算每一帧的补偿矩阵后,利用B1对每一帧 图像进行几何变换,从而得到稳定的帧序列,也就 得到了稳定的视频°5实验结果与分析将本文提出的算法与Liu等人的捆绑相机 路径算法、Liu等人⑺的MeshFlow模型算法以及

Javier[16)的参数模型算法进行了大量对比实验°848Computer Engineering & Science 计算机工程与科学 2020 \"2(5)图8展示了实验中使用的视频数据集,编号为1〜

8。测试视频来源于文献[6,10]提供的公开数据

集,其中视频1〜6来自文献视频7、视频8来 自文献(0),且视频的分辨率均为640 X 360。视

频1具有单个前景运动物体,视频2具有多个运动 物体,视频3有小范围镜头移动,视频4有快速移

动的部分,视频5和视频6都有小范围的左右摇

晃,视频7是沿着同一方向的移动,视频8具有大

范围的左右摇晃。本文采用相邻帧间的PSNRCPeak Signal to

Noise Ratio)囚和 SSIM(Structural Similarity In­dex) (7) 均值及相对应的标准差作为客观质量评价

指标。本文在 Intel 酷睿 i5-3230M 2. 6 GHz CPU

和4 GB内存的计算机上,利用未经优化的Matlab

2017b进行实验。实验中,在运动估计阶段,把视

频每一帧都划分为8X8的均匀网格。实验结果如表1和表2所示。由于视频8的 运动复杂性,采用文献的MeshFlow未能生成

7 8Figure 8 Video data used in theexperiment, numbered from 1 〜8

最终的稳定视频,因此未记录其PSNR值与

SSIM 值。图8实验中使用的1〜8号视频数据Table 1 Comparison of PSNR mean and standard deviation between frames表1 帧间PSNR均值及标准差对比结果算法来源实验视频原始值文献文献[7]24.20±5.3429.95±3.2334.14±3.1728.25±5.1928.38±1.77文献[16]24.18±4.2922.70±2.66本文2& 24 + 3. 93116. 70±8 1719. 48±2. 9125.59±5.1832.30±2.90234

536. 94±2. 2824.82±3.7723.81±9.3737.35±3.4330.63±5.0727. 82±2. 7838.01±3.7736.30+3.4331. 55±2. 0031. 59±1. 7631.93±2.1830.51±4.4125.77±4.4423.42±2.4024.56±2.3617.44±1.8225.68±3.7922.05±2.2325.13±3.1231. 06±1. 3831. 41±1. 6127.82±2.2230.24±4.25678

28.07±2.2027.86±2.50-22. 66±1. 9321. 86±3. 10Table 2 Comparison of SSIM mean and standard deviation between frames

表2 帧间SSIM均值及标准差对比结果算法来源

实验视频

原始值文献(]1文献[7]0.825±0.1060.914±0.054文献[16]0.890±0.0650.901±0.045本文0.938+0.0300.982+0.0080.982±0.0110.970+0.0280.951±0.0320.954±0.0280.880±0.0410.389±0.2170.578±0.1230.863±0.084234

50.949±0.0270.982+0.0090.830±0.0810.558±0.2960.967±0.0170.809±0.1620.874±0.0400.957±0.0280.848±0.1720.876±0.1050. 917±0. 0200.405±0.1010.567±0.0830.630±0.0820.759±0.1090.879±0.065678

0.937±0.0190.875±0.0400.910+0.0520.895±0.0430.863±0.052-0.913±0.0240.837±0.0430.873±0.0520.905±0.061熊炜等:基于特征跟踪和网格路径运动的视频稳像算法通过表1可以发现,实验选取的8个视频,稳 像后的PSNR值与原视频相比得到了明显提高, 说明相邻帧间的灰度差变小,视频帧序列稳定。8 个视频原始PSNR值平均值为21. 9 dB,本文算法

的平均值为33. 1 dB。稳像后的PSNR值平均提 升了 11. 2 dB。捆绑相机路径算法平均PSNR值

为30.8 dB,相比提升2. 3dB。通过表2可以发

现,本文的稳像算法有效提高了图像间的结构相似 性,稳像后比稳像前SSIM大约提升了 59%。相 比捆绑相机路径算法平均SSIM值提升3. 3%。本文算法主体包含2部分:使用SIFT算法与

KLT算法相结合的特征跟踪和基于多网格路径的

运动平滑。本文采用SIFT算法对视频帧进行特

征提取,并使用KLT算法对特征点进行跟踪。

SIFT特征是图像的局部特征,其对旋转、尺度缩

放、亮度变化具有不变性,对视角变化、仿射变换、 噪声也具有一定程度的稳定性。SIFT算法对于部 分物体遮蔽的特征提取效果也十分不错,因此对所

选的8个视频都有很好的特征提取效果,这样使得

KLT算法跟踪更加精确,使仿射矩阵计算更加准

确,也将使得最终的稳像效果较好。在多网格路径 的运动平滑部分,文献[6]将视频每一帧划分为均 匀的网格,并求出相邻每个均匀网格的单应性变换 矩阵,应用于下一帧均匀网格中。本文算法将全局

运动估计用于帧间的局部运动估计,相比文献

更能使抖动视频变得稳定。相比文献本文算 法更加准确地表示了视频全局运动轨迹,且计算量

小。文献[7]提出的MeshFlow是平滑图像空间稀 疏运动,仅在网格顶点处具有运动矢量。匹配的特

征点上的运动矢量被传递到它们对应的附近网格 顶点,运动轨迹变复杂,整个变换矩阵计算也变得 复杂。相比文献[16]直接估计帧与帧之间的全局

变换,本文算法提出的基于SIFT与KLT相结合 的特征跟踪能够更加精确地匹配跟踪特征点并计

算出全局变换矩阵,使得最终稳像效果较好。6结束语针对手持移动设备拍摄的抖动视频问题,本文

提出了一种基于特征跟踪和多网格路径运动的视 频稳像算法。通过SIFT算法提取视频帧的特征

点,采用KLT算法追踪特征点,利用RANSAC算 法估计相邻帧间的仿射变换矩阵,将视频帧划分为

均匀的网格,计算视频的运动轨迹,再通过极小化

能量函数优化平滑多条网格路径。最后由原相机

849路径与平滑相机路径的关系,计算相邻帧间的补偿 矩阵,利用补偿矩阵对每一帧进行几何变换,从而 得到稳定的视频。实验表明,该算法在手持移动设

备拍摄的抖动视频中有较好的结果。参考文献:[1] Wei Shanshan, Xie Wei, He Zhi-qiang. Digital video stabili­

zation techniques: A survey [J]. Journal of Computer Re­

search and Development, 2017 ,54 (9): 2044-2058. (in Chi­

nese)[2] Grundmann M,Kwatra V,Essa I. Auto-directed video stabili­

zation wth robust ' optimal camera paths [C]〃Proc of the

IEEE Conferenceon CompuQer Visionand PaQern Recogni-Qion(CVPR) 2011:225-232.[3] Liu S C, Yuan L,Tan P,et al. SteadyFlow: Spatially smooth

optical flow for video stabilization [C]〃Proc of IEEE Con­

ference on Computer Vi(CVPR) 2014:4209-4216.[4]

Goldgeometry[J]. ACM Transactions on Graphics, 2012,31 (5):

1-10#[5] LiuS C\"Wang Y\"Yuan L\"etal#Videostabilization witha

depth camera [C]〃Proc of the IEEE Conference on Compu-

terVisionandPaternRecognition(CVPR) 2012:89-95.[6]

LiuSC\"YuanL\"TanP etal.Bundledcamerapathsforvideo

stabilization [J].ACM Transactionson Graphics\"2013\"32 (4):1-10.[7] LiuSC\"TanP\"Yuan L\"etal.MeshFlow: Minimumlatency

online video stabilization [C]〃Proc of the 14th European

ConferenceonCompuQerVision(ECCV) 2016:800-815.8] XiongJing-ying.SQudyofvehicleelecQronicimagesQabiliza-

QionbasedonfeaQureexQracionand maQchingdescripQionfor vehicles[D].Changchun:ChangchunInsQiQuQeofOpics\"Fine

MechanicsandPhysics\"Chinese AcademyofSciences 2017. (inChinese)[9]

NieY W\"SuT\"ZhangZS eQal.DynamicvideosQichingvia

shakinessremoving [J].IEEE TransacQionsonImage Pro­

cessing 2018 27 1):164-178.[10]

Wang M\"YangG Y\"LinJK eQal.DeeponlinevideosQabili-

zaQionwiQhmuli-gridwarpingQransformaQionlearning [J]. IEEE Transactions on Image Processing,2019,28(5) : 2283-

2292.[11]

Liu Yu\"WangJing-dong\"LiPeng.AfeaQurepoinQQracking

meQhodbased onQhecombinaQion ofSIFT algoriQhm and

KLT maQchingalgoriQhm[J].JournalofAsQronauics2011\" 32(7):1618-1625. (inChinese)[12]

LoweD G.DisQincQiveimagefeaQuresfrom scale-invarianQ

keypoinQs [J].InQernaionalJournalof CompuQer Vision\"

2004 60(2):91-110.[13] Shi J B,Tomasi C. Good features to track [C]〃Proc of the

IEEEConferenceonCompuQerVisionandPaQernRecogni-850Computer Engineering & Science 计算机工程与科学 2 0 20,42 (5)tion(CVPR) ,1994:593-600.(14) Gan Wen-jie. Research on structure preserving based video

stabilization method [D). Hefei: University of Science and

Technology of China,2018. (in Chinese)(15) Bronshtein I N,Semendyayev K A, Musiol G, et al. Hand­

book of mathematics [M). Berlin: Springer-Verlag Berlin

Heidelberg 2007#(16) Sanchez J. Comparison of motion smoothing strategies for

video stabilization using parametric models [J). Image Pro- ce<baEngineering Univer究与发展,2017,54!):2044-205 8.M熊晶莹.基于特征提取与匹配的车载电子稳像方法研究

:D).长春:中国科学院长春光学精密机械与物理研究所,

2017#:11)刘玉,王敬东,李鹏.一种基于SIFT和KLT相结合的特征

点跟踪方法研究□)•宇航学报2011 ,2(7):1618-1625.:14)干文杰.基于结构保持的视频稳像方法研究:D).合肥:中

国科学技术大学2018.:17)初守艳.基于背景特征匹配的稳像算法研究:D).哈尔滨:

哈尔滨工程大学,2014.作者简介:熊炜(1976 -),男,湖北宜昌人,博士 , 副教授,研究方向为数字图像处理和计算 机视觉'E-mail: xw@mail. hbut. edu. cnXIONG Wei, born in 1976 , PhD, asso­

ciate professor,his research interestsin-cludedigitalimageprocessing,andcomputervision王传胜(1994 -),男,安徽六安人,硕士

生,研究方向为数字图像处理和视频稳像。

E-mail: wangcs@ hbut. edu. cnWANG Chuan-sheng, born in 1994 , MS

candidate\"his research interests includedigital image processing andvideo stabilization管来福(1992 -),男,河南驻马店人,硕

士生,研究方向为数字图像处理。E-mail:

201710329©hbut. edu cnGUAN Lai-fu, born in 1992 , MS candi-

date\"hisresearchinterestincludes digitalimageprocessing#童磊(1993 -),男,湖北鄂州人,硕士

生,研究方向为数字图像处理。E-mail:

101700174©hbut. edu cnTONG Lei, born in 1993 , MS candi-

date\"hisresearchinterestincludes digitalimageprocessing#fl刘敏(1979 -),女,河南周口人,博士 , 副教授,研究方向为数字图像处理。E-

mail:46367853@qq. comLIU Min , born in 1979 , PhD? associate

professor her research ;nterest ;ncludesd;gtal;mageprocess;ng.曾春艳(1986 -),女,湖北武汉人,博 士 ,副教授,研究方向为数字图像处理。E-

mail: cyzeng@hbut. edu. cnZENG Chun-yan , born in 1986 , PhD ,

assoc;ate professor her research ;nterest;ncludesd;g;tal;mageprocess;ng.

因篇幅问题不能全部显示,请点此查看更多更全内容