基于特征的音频比对技术

维普资讯 http://www.cqvip.com 第３４卷　第２期　河南师范大学学报（自然科学版）　￡．３４　Ｎｏ．２　２００６年５月　Ｊｏｕｒｎａ　ｏ　ｆ　Ｈｅｎａｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ）　Ｍａｖ．２００６　＝＝＝＝＝＝＝＝＝＝＝！＝！！！！！＝＝＝　＝＝＝＝＝　文章编号：１０００　基于特征的音频比对技术　郭兴吉　，范秉琪　（１．绵阳师范学院物理与电子信息工程系，四ＪＩＩ绵阳６２１０００；２．郑州大学电气工程学院，郑州４５００００）　摘　要：音频比对有别于语音识别，音频比对不存在音频重构．在保证音频主要信息不丢失的前提下，采用二　阶Ｈａａｒ小波变换压缩原始音频，以音频帧的方式提取出能代表音频主要信息特征的质心、均方根和前１２个Ｍｅｌ倒　谱系数，并分别计算这３类参数的欧氏距离，根据欧氏距离的值与阎值Ｅ之间的关系，完成音频间的比对任务．经实　践证明，这套方案对于音频比对具有较高的准确性和较好的实时性．　关键词：小波变换；音频参数；欧氏距离；音频相似度　中图分类号：ＴＰ３９１．４２　文献标识码：Ａ　语音识别技术是全球研究的热点，从文字的语音录入到对设备的语音控制、基于Ｉｎｔｅｒｎｅｔ的语音搜索以及基于视频的音　频识别等都有不少的研究成果．音频比对技术，既属于语音识别范畴，又有别于语音识别．语音识别需要从一段语音信息中，　搜索出语言文字和对语言文字语义的理解；而音频比对技术是指从一段连续的音频信息中搜索出是否存在指定的音频序列、　指定的音频序列在该段连续的音频序列中的起始和结束位置，以及指定音频序列在该段连续音频序列中的完整性的技术．这　类技术不用去考虑音频的具体语义．实现音频比对技术的方法主要分为两种：一是利用提取音频特征参数来进行音频相似度　比对；二是利用图形技术，将标准音频和被测音频同时转换为相同时间轴的波形，再利用图形识别技术来实现音频的比对．　本文采用提取音频特征参数的方法来实现音频之间的相似度比对，其实现流程如图１所示，重点是音频参数的选择、获取　和比对技术的实现．　失败　图ｌ基于提取特征参数的音频比对流程示意图　１利用小波变换实现音频数据的压缩　由于采集的音频数据信息量非常大，直接从中获取音频特征参数会导致参数量过大而影响比对实时性．因此首先采用　Ｈａａｒ小波变换非重构算法　来压缩音频信息．　１．１　Ｈａａｒ小波函数概述　基本Ｈａａｒ函数的图形如图２所示．函数的定义为：　ｒ１，　当Ｏ　ｚ＜１／２　（　）一　一１，　当１／２　＜１　　ＩＯ，　其它　收稿日期：２００５—０４—２ｌ　基金项目：四川省教育厅青年重点基金项目（２００２Ａ１１７）　作者简介：郭兴吉（１　９６４一），男，四川南充人，绵阳师范学院教授，研究方向：多媒体技术和网络技术　维普资讯 http://www.cqvip.com ３６　河南师范大学学报（自然科学版）　２００６卑　１．２音频数据的压缩　设有一段分辨率为Ｎ个数据的立体声音频数据Ｘ＝｛　，　，…，ｚ　｝（Ｎ　ｍｏｄ　２＝Ｏ），用Ｈａａｒ小波变换为：　ｘｊ－￣－，一ｖｊ＋２　一。一　一　＋２　ｉ一１，２，…，Ｎ／４，　一４．（ｉ一１）＋１　（１）　＋ｌｌ一墨　…＝　一为＋３　ｉ一１，２，…，Ｎ／４，　＝４．（　—１）＋１　（２）　分别利用（１）、（２）两公式即可得到一阶小波变换后的音频数据新序列ｘ　＝ｌ　，　ｚ，…，ｚ　｝以及重构系数序列Ｙ　一｛　，Ｙ　，…，Ｙ　，｝，式中Ｎ　＝Ｎ／２．再次利用　上述计算公式对Ｘ　进行Ｈａａｒ二阶变换，得到音频序列　．经过Ｈａａｒ二阶变换后，　图２　Ｈａ盯小渡函数图形示意图　音频的波形除幅度有所减小外。波形轮廓几乎没有变化，为了补偿音频波形幅度，引　入调节系数Ｅ：．　一　・（１＋￡），０．００５　￡　０．１．　２提取音频特征参数　音频特征参数，是指能代表原始音频中主要信息的参数ｒ－　－１．提取音频特征参数，通常采用“音频帧”的方法ｒ。－１，逐帧提取．　对于每一个音频帧，本文提取其质心、均方根和ｌ２个Ｍｅｌ倒谱系数［　共１４个参数，来构成１４维的帧特征参数．　２．１音频帧的确定　对于音频序列，以２Ｏ　ｍｓＥ　５］（实际对应压缩前的８Ｏ　ｍｓ）采集的音频数据量为一个音频帧（相邻音频帧重复１０　ｍｓ，以消除　帧间闪烁），在音频帧中再等分３２子带来计算帧质心和均方根．音频帧的划分如图３所示．　２０ｍ目　音频帧１　音频帧２　音频帧３　图３音频帧划分示意图　２．２提取音频特征参数　设一个音频序列的采样频率为　，采样声道数为Ｓ　，采样位数为　，每个子带的数据个数为Ｋ（＝，｜・Ｓｄ・Ｗ　・　２０／（８　０００＊３２）），每个音频帧的数据个数为Ｎｕｍ（Ｎｕｍ＝ｋ＊３２），　（　）（　∈［１．．Ｎｕｍ）为帧音频数据集，目（　）（ｊ∈Ｉ－１．．　３２３）为第ｉ帧第　子带的音频数据集．计算第ｉ音频帧的音频特征参数：　２．２．１　质心ｃ　：反映音频帧内信号的基本频率带．　ＪⅥ＿．＝　（３）　３　２　‘∑　Ｍ　－　Ｃ　＝　卜　（４）　∑Ｍ　Ｊ一１　２．２．２　均方根：用于衡量音频帧信号的强弱　Ｒ．一　（５）　２．２．３　Ｍｅｌ倒谱系数（Ｍｅｌ　Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒａｌ　Ｃｏｅｆｆｉｃｉｅｎｔ，ＭＦＣＣ）：用于表征人的听觉特性　。　（１）计算频域信息：对音频帧进行快速傅里叶变换（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ，ＦＦＴ），将时域信息置（　）（　∈［１．．　Ｎｕｍ）转换为频域信息Ｙ　（　）（　∈Ｅｏ．．Ｎｕｍ　１］）：　Ｎｕｍ一１　Ｙ　（　）一∑Ｐ　・　（　＋１）ｋ一０，１，…，Ｎｕｍ—ｌ　ｊ为虚数单位　（６）　—ｏ　（２）计算Ｍｅｌ频率：根据音频的频率范围确定出中心频率（通常定为ｌ　ＫＨｚ），并按“１　ＫＨｚ以下以线性的形式计算１１个频　维普资讯 http://www.cqvip.com 第２期　郭兴吉等：基于特征的音频比对技术　３７　率点，１　ＫＨｚ以上以等比的形式计算１２个频率点”的原则确定出２４个频点的频率　（　∈［１．．２４］）：　，｛一２０　Ｈｚ　ｆ１２＝１　０００　Ｈ　一，ｌ一　＋厶　Ｈｚ　∈［２．．１１］　（７）　血　血＿．．．一血　ｆ、　｛　ｊｔ　，２４—２２　０００　Ｈｚ　根据（７）式的计算结果，代入（８）式，即可计算出对应的Ｍｅｌ频率．　ｒ　ｒ—了————一、　＿６　｛　＋√　）２¨｝　（３）计算Ｍｅｌ倒谱系数，利用２４个三角带通滤波器分别与（６）式计算出的频域信息Ｙ　（　）（　∈ＦＯ．．Ｎｕｍ一１３）求卷积，得　到每个频率点的对数能量ｐ　（　）（　∈［１．．２４１）．根据该频点能量进行余弦变换（ＤＣＴ）即可得到Ｎｅｌ倒谱系数．　ＭＦＣＣ　）一∑　ｃｏｓ（（　一专）・智）ｄ∈［１’２，…，１２２　（９）　式中ｄ代表取Ｍｅｌ倒谱系数的个数（本文取前１２个）．　由上述１２个Ｍｅｌ倒谱系数、１个质心和１个均方楸、ＪＩ；㈧　成ｒ　１个音频帧的１４维特征参数，从而由各个音频帧的特征　参数构成了音频特征参数矩阵．　３音频比对技术　在音频帧所提取的１４维特征参数中，分别对质心、均方根和Ｍｅｌ倒谱系数进行欧氏距离计算，该距离越小，表示相似度　越高，反之，相似度越低　．　３．１质心和均方根ｂＥ对　利用加权欧氏距离计算公式按照如图４所示的方式分别计算质心和均方根的欧氏距离ｗ＾和Ｇ　，对计算出的ｋ个欧氏距　离排序，找出最小的欧氏距离值，分别判定ｗ　ｅ　和　ｅｚ是　否成立，如果成立，则表明样本音频与被测音频相似，否则不相似．　一耋　＝　Ｎ６　（１Ｏ）　Ｇ一薹　ＩⅣ　其中，Ｃ　表示被测音频第ｉ帧的质心，Ｃｌ”表示样本音频第ｉ帧的质　心，Ｎ。表示被测音频的音频帧数，Ｎ　表示样本音频的音频帧数，Ｒ　图４欧氏距离计算示意图　表示被测音频第ｉ帧的均方根，尺　表示样本音频第ｉ帧的均方根．　３．２　Ｍｅｌ倒谱系数比对　３．２．１利用倒谱平均值消去法．计算补偿倒谱系数．其原理是：将倒谱系数每一维看成随机变量，令其期望值为零，则有：　Ｎ　Ａｖ，（ｊ）一—　１∑ＭＦＣＣ　（Ｊ）　Ｊ∈［１．．音频帧数］，砀丽　（　）　ＭＦＣＣ　（　）一Ａｖ　，其中，Ｎ为倒谱系数的个数（取值１２），Ａ　为　一』一１　第ｉ个倒谱系数的平均值，　（　）为补偿后的倒谱系数．　３．２．２相似度比较．对应样本音频帧与被测音频帧的两个经补偿后的１２维倒谱系数向量，计算其间的欧氏距离，根据计算出　的欧氏距离值再计算整个样本的平均欧氏距离，根据平均欧氏距离值来判定样本音频与被测音频之间的相似度．　厂Ⅱ——————————————————————～　１９ｉ　Ｐ　（　）＝＾／∑１Ｙ　ｄ１１　丽Ｆ　（ｄ）一　丽　（ｄ）　ｌ　∈［１．．样本音频帧数］　（１２）　Ｎ６　∑Ｄｉｓｐ　Ａｖｉ＾（Ｄ）＝　广一ｋ＝Ｎ　一Ｎ６　（１３）　』　ｂ　其中，　Ｆ　（ｄ）表示样本的第ｉ个音频帧第ｄ个补偿倒谱系数，　丽　（ｄ）表示被测音频对应的第ｉ个音频帧第ｄ个补偿倒　谱系数，Ｄｉｓｐ　（　）是计算出的两个音频帧之间的欧氏距离，Ａｖｉ　（Ｄ）表示样本音频帧的第ｋ个平均欧氏距离．对计算出的ｋ个　欧氏平均距离排序，找出最小的欧氏距离值如果Ａｖｉ…≤￡。成立，则表明样本音频与被测音频相似，否则不相似　］．　维普资讯 http://www.cqvip.com ３８　河南师范大学学报（自然科学版）　２００６生　４音频比对技术的实现　利用上述方案，以Ｄｅｌｐｈｉ和Ｍａｔｌａｂ为实现平台，有效实现了实时音频监播功能＋下表为实验结果（音频源来自于ＣＣＴＶ－－　ｉ电视台，表中的门限阀值￡　，￡２　分别取０．００３、０．０３和１．５）．　寰ｉ　音频比对实验结果对照裹　讨论：表ｉ中使用的音频数据的采样参数为：声道数：２；采样频率：２２　０５０　Ｈｚ；采样位数：１６．实验结果表明，如果进一步提　高采样频率，对Ｗ　，Ｇ　和Ａｖｉ…（Ｄ）的值虽然有所改善，但效果不明显，同时带来了计算量的成倍增加的副作用．　５结束语　本文实现了基于特征的音频比对技术方案，为了有效提高音频比对效率，在提取音频特征之前，引入小波变换对音频数　据进行二阶压缩变换，提取的音频特征集由质心、均方根和１２维补偿倒谱系数共１４维特征参数构成．在音频比对时，分别对　质心、均方根和补偿倒谱系数计算欧氏距离，根据计算出的欧氏距离的最小值与阀值进行比较进而判定被测音频序列中是否　存在样本音频，同时对音频采样参数的选定也进行了探讨．　参　考　文　献　［１］林福宗．小波与小波变换Ｉ－Ｄ］．北京：清华大学，２００１．　［２］郑方，吴文虎，方棣棠．汉语语音听写机中的语音识别基元Ｅｃ］．第四届全国人机语音通讯学术会议，北京：１９９６．　［３］卢坚，陈毅松，孙正兴，等．基于隐马尔可夫模型的音频自动分类ＥＪ］．软件学报，２００２，１３（８）：１　５９３—１　５９７．　［４］李国辉，李恒峰．基于内容的音频检索：概念和方法［Ｊ］．小型微型计算机系统，２０００（１１）；１　ｌ７３—１　１７７．　［５］赵雪雁，吴　飞，庄越挺，等．基于模糊聚类表征的音频例子检索及相关反馈［Ｊ］．浙江大学学报，２００５，３７（３）：２６４—２６８　［６］郑方．连续无限制语音流中关键词识别方法研究［Ｄ］．北京：清华大学，１９９７．　［７］李俊毅．语音评分［Ｄ］．新竹：台湾清华大学，１９９８．　［８］杜利民，侯自强．汉语语音识别研究面临的一些科学问题Ｉ－ｊ］．电子学报，１９９５，２３（１０）：１１Ｏ—ｌ１６．　Ｆｅａｔｕｒｅ—ｂａｓｅｄ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ａｕｄｉｏ　　ｆ　｝　＿１ｉ　ｉ　ｌ；．．｝　｛　：｛｛｝　ｌ　Ｉ　＊。　ｌ　ＧＵＯ　Ｘｉｎｇ—ｊｉ　．ＦＡＮ　Ｂｉｎｇ　ｑｉ。　（１．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｍｉａｎｙａｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｍｉａｎｙａｎｇ　６２１０００，Ｃｈｉｎａ；　２．Ｅｌｅｃｔｒｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｓｃｈｏｏｌ，Ｚｈｅｎｇｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ　４５００００，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｕｄｉｏ　ｃｏｍｐａｒｉｓｏｎ，ｄｉｆｆｅｒｅｎｔ　ｆｒｏｍ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ，ｄｏｅｓ　ｎｏｔ　ｈａｖｅ　ｔｈｅ　ｎｅｃｅｓｓｉｔｙ　ｏｆ　ａｕｄｉｏ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｕｎ—　ｄｅｒ　ｋｅｅｐｉｎｇ　ｔｈｅ　ｍａｊｏｒ　ａｕｄｉｏ　ｉｎｆｏｒｍａｔｉｏｎ，ｔｈｅ　ｏｒｉｇｉｎａｌ　ａｕｄｉｏ　ｆｒｅｑｕｅｎｃｙ　ｉｓ　ｃｏｍｐｒｅｓｓｅｄ　ｉｎ　ｔｈｅ　ｗａｙ　ｏｆ　Ｈａａｒ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ．　Ｂａｓｅｄ　ｏｎ　ａｕｄｉｏ　ｆｒａｍｅｓ，ｔｈｅ　ｃｅｎｔｒｏｉｄｓ　ｒｅｆｌｅｃｔ　ｔｈｅ　ｆｅａｔｕｒｅｓ　ｏｆ　ｍａｊｏｒ　ａｕｄｉｏ　ｉｎｆｏｒｍａｔｉｏｎ，ＲＭＳ。ａｎｄ　ｔｈｅ　ｆｉｒｓｔ　１　２　Ｍｅｌ—Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒａｌ　Ｃｏｅｆｆｉｃｉｅｎｔｓ　ａｒｅ　ｅｘｔｒａｃｔｅｄ，ａｎｄ　ｔｈｅ　Ｅｕｃｌｉｄｅａｎ　Ｄｉｓｔａｎｃｅ　ｏｆ　ｔｈｅｓｅ　ｔｈｒｅｅ　ｐａｒａｍｅｔｅｒｓ　ｉｓ　ｃｏｍｐｕｔｅｄ　ｒｅｓｐｅｃｔｉｖｅｌｙ　Ｆｉｎａｌｌｙ　ａｕｄｉｏ　ｃｏｍｐａｒｉｓｏｎ　ｉｓ　ａｃｃｏｍｐｌｉｓｈｅｄ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｖａｌｕｅ　ｏｆ　Ｅｕｃｌｉｄｅａｎ　Ｄｉｓｔａｎｃｅ　ａｎｄ　Ｔｈｒｅｓｈｏｌｄ　Ｖａｌｕｅ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ａ　ｎｉｇｈ　ａｃｃｕｒａｃｙ　ａｎｄ　ｅｆｆｉｃｉｅｎｃｙ，Ｉｔ　ｗｉｌｌ　ｐｌａｙ　ａｎ　ａｃｔｉｖｅ　ｒｏｌｅ　ｉｎ　ｃｏｍｐｕｔｅｒ—ｂａｓｅｓ　ａｕｄｉｏ　ｒｅｃ—　ｏｇｎｉｔｉｏｎ　ａｎｄ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ；ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ；ａｕｄｉｏ　ｐａｒａｍｅｔｅｒ；Ｅｕｃｌｉｄｅａｎ　Ｄｉｓｔａｎｃｅ；ａｕｄｉｏ　ｓｉｍｉｌａｒｉｔｙ　｝