全景视觉泊车辅助系统研究-精简版

硕士学位论文全景视觉泊车辅助系统研究

姓名：丁鑫申请学位级别：硕士专业：信息与通信工程指导教师：刘济林

20100101

浙江大学硕士学位论文摘要针对驾驶员在车位日趋紧张的城市里泊车困难等问题，本文提出了一种全景视觉泊车辅助装置及其生成全景视觉图像的方法，能够实时提供驾驶员泊车所需要的汽车全景图像，消除了车四周的视觉盲区，以帮助驾驶员更加精确的泊车。本文首先介绍了全景视觉辅助泊车系统的标定方法，用安装在汽车四周的四个广角摄像机获取图像；首先对所得图像进行去失真处理，得到矫正后图像，进行对地面的单应性变换，得到以某一虚拟视点为坐标原点的俯视图；同时标记所得矫正后图像公共视场中２点，计算其在单应性变换后俯视图中的位置，以此两点确定某条直线作为拼接缝隙并且进行拼接缝隙的全局优化处理；最后输出虚拟鸟瞰坐标系下各个图像之间位置计算参数，生成全景虚拟鸟瞰图象查找表以供硬件使用。之后，本文介绍了整个系统的硬件方案设计和一些技术难点。采用ＴＩ公司的ＴＭＳ３２０ＤＭ６４３芯片作为系统核心并利用ＣＰＬＤ实现主要的逻辑控制，重点介绍了各模块之间的连接关系。全景视觉泊车辅助装置包括视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器；生成虚拟全景图像的过程主要通过ＤＳＰ处理器根据预先存放在闪存中的虚拟全景图像查找列表的参数进行寻址得到，所以计算复杂度低，能够满足实时性要求。最后一章对该系统进行了总结和展望。关键字：全景图像；鱼眼标定；单应性变换；接缝优化Ｉｌ浙江大学硕士学位论文第一章概要１．１课题研究的背景汽车作为现代人类的交通工具，改变了人们的生活方式，推动了社会经济的发展和人类文化的进步，成为社会不可缺少的交通工具。中国是世界上汽车发展速度最快的国家，近几年，汽车进入家庭的步伐特别迅速。目前中国民用汽车保有量已接近７０００万辆，超过德国，仅次于美国，与日本并列世界第二。但随着汽车保有量的日益增加，汽车也带来诸如环境污染、能源消耗、交通安全等社会问题。汽车发展过快的速度，使得中国人对汽车社会的到来准备不足，人们心态普遍比较浮躁，不仅驾车人自觉遵守交通法规意识欠缺，行人也缺乏自我保护意识。同时，中国人口众多，人１：３密度很高，到处人满为患，车与车，人与车的矛盾也特别尖锐，道路上事故频发，无论频率还是绝对数量，不仅大大高于发达国家，也高于其他发展中国家。近几年我国每年道路交通事故死亡约１０万人，直接经济损失达数十亿元。减少交通事故不仅要在主观上增强安全意识，客观上更要提高汽车本身安全驾驶的可靠性。现存的各式各样的辅助驾驶工具就是为了解决这个问题。汽车安全保障系统大体可以分为被动和主动系统，前者主要包括安全带、安全气囊等，虽然能降低事故伤亡程度，但并不能防止事故的发生。后者则主要利用各类传感器如，超声波、雷达、红外热传感器和摄像机等。它们能够为驾驶员决策提供障碍物等路况信息。同时，主动安全保障系统也构成了智能交通系统的重要组成部分。在上述所有的方法中，摄像机具有低成本、易维护和高集成性等优点，因此得到了广泛的应用。随着图像处理和计算机视觉的快速发展，越来越多的先进技术被应用到汽车电子领域。传统的基于图像的辅助驾驶，只在汽车车尾安装倒车摄像头，只能覆盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐患。在狭隘拥堵的停车场，尤其是左右两边都已有车的情况下，容易出现碰撞等事故。为了扩大驾驶员的视野范围，就必须感知汽车四周３６００环境，这就需要多个视觉传感器之间信息融合和配准。多个视觉传感器之间的相互位置和姿态关系参数从特定的测量传感器获得，这就使融合配准的结果严重依赖于精确的位浙江大学硕士学位论文置和姿态参数。１．２现有技术及发展趋势随着人类社会的不断发展，汽车作为主要交通运输工具，无论在发达国家还是发展中国家，都越来越普及。人们对行车的安全性与舒适性也有了更高的要求，近几年来，电子信息技术的飞速发展使得车载电子设备及电子系统越来越多的进入到各种档次的车辆中。汽车电子产品市场已经成为我国电子信息产品的一个新增长点。２００９年，中国成为全球汽车消费第一大国。全年，累计销售汽车１３６４．４８万辆，同比增长４６％。根据中国汽车工业协会统计，１－１１月，全国汽车行业规模以上企业累计实现主营业务收入２８０５４．３３亿元，同比增长２１％；累计实现利润总额１９８８．２７亿元，同比增长５２％。快速发展的汽车产业为汽车电子产品提供了广阔的应用市场，中国汽车电子市场随着中国汽车产业一起进入快速发展时期。在中国汽车产业高速发展的直接推动下，２００９年中国汽车电子市场发展势头不减，市场规模连续七年增长率超过３０％，目前产业处于高速增长期，取得了跨越式的发展，已经初具规模。其中，车载信息系统成了汽车电子市场增长的引擎，也是今后的热点。随着我国经济的快速发展，人们的收入稳步提高，对中高档汽车的需求量将快速上升，而中高档汽车在电子产品的配置方面不仅全面，而且越来越向智能化、系统化、多功能方向发展，倒车雷达将成为整个系统中的一部分功能，而不再是一个单个的产品或零配件，倒车雷达与多媒体、ＧＰＳ、各种传感器、电脑等电子产品、软件系统的结合或集成成为主流。倒车雷达，又称泊车辅助系统，或倒车电脑警示系统。通常，倒车雷达由超声波传感器（俗称探头）、控制器和显示器（或蜂鸣器）等部分组成。系统采用超声波测距原理，在控制器的控制下，由传感器发射超声波信号，当遇到障碍物时，产生回波信号，传感器接收到回波信号后经控制器进行数据处理、判断出障碍物的位置，由显示器显示距离并发出其他警示信号，得到及时警示，解除了驾驶员泊车和起动车辆时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和视线模糊的缺陷，提高驾驶的安全性。浙江大学硕士学位论文倒车雷达按提示方式可分为数码显示、液晶、后视镜、可视雷达、语言和声音提示几种；目前使用较多的倒车雷是数码显示、液晶显示和语音三种提示功能的倒车雷达。按信号的接收方式倒车雷达又可分为无线传输和有线传输两种。无线倒车雷达是近年来随着无线传输技术的应用快速发展起来的新一代产品，就产品本身功能上来说，与有线倒车雷达的基本相同，没有什么突破，但该类产品最突出的卖点是在具有有线倒车雷达相同功能的前提下，在安装过程中避免了对汽车内饰结构改动而导致的破坏，缩短等候时间，因此该类产品严格意义上来说是一种意识创新、观念创新、服务创新的新产品。倒车雷达经过多年的发展，至今已经过了几代的技术改良，不管从结构外观上，还是从性能价格上，每代产品都各有特点：第一代和第二代倒车雷达都是以声响报警为主要功能，汽车在倒车状态，即没有语音提示，也没有距离显示，虽然司机知道有障碍物，但不能确定障碍物离车有多远，对驾驶员帮助不大，价格便宜，已基本退出市场。第三代数码波段显示可以显示车后障碍物离车体的距离。如果是物体，在１．８米开始显示；如果是人，在０．９米左右的距离开始显示。这一代产品有两种显示方式，数码显示产品显示距离数字，而波段显示产品由三种颜色来区别：绿色代表安全距离，表示障碍物离车体距离有０．８米以上；黄色代表警告距离，表示离障碍物的距离只有０．６－０．８米；红色代表危险距离，表示离障碍物只有不到Ｏ．６米的距离，你必须停止倒车。该代产品由于比较实用，价格不高，中低档车和车铃超过三年的车安装使用较多，但安装在车内不太美观。功能单一。第四代液晶荧屏显示这一代产品有一个质的飞跃，特别是荧屏显示开始出现动态显示系统。不用挂倒档，只要发动汽车，显示器上就会出现汽车图案以及车辆周围障碍物的距离。动态显示，色彩清晰漂亮，外表美观，可以直接粘贴在仪表盘上，安装很方便，目前已逐渐成为高档车安装使用的主流产品。不过目前国产的液晶显示器外观虽精巧，但灵敏度较高，抗干扰能力不强，所以误报也较多。浙江大学硕士学位论文第五代魔幻镜倒车雷达结合了前几代产品的优点，采用了最新仿生超声雷达技术，配以高速电脑控制，可全天候准确地测知２米以内的障碍物，并以不同等级的声音提示和直观的显示提醒驾驶员。魔幻镜倒车雷达把后视镜、倒车雷达、免提电话、温度显示和车内空气污染显示等多项功能整合在一起，并设计了语音功能，是目前市面上比较先进的倒车雷达系统，部分进口的高档车已有安装使用。因为其外形就是一块倒车镜，所以可以不占用车内空间，直接安装在车内倒视镜的位置。而且颜色款式多样，可以按照个人需求和车内装饰选配。第六代可视雷达（简称ＴＦＴ）：第六代产品除了具备第五代产品的所有功能之外，还整合了高档轿车具备的影音系统，可以在显示器上观看ＤＶＤ影像。采用摄像头配有专用显示器以影象形式显示倒车情况，价位很高客户很少接受，是专门为高档轿车生产的。代表着高档车未来几年的配置趋势。１．３项目开发内容与技术关键从上述汽车倒车雷达发展历史可以看出，早期的汽车倒车雷达多以音频作为主要的辅助手段，由安装于车辆的后保险杠上的传感器来探测车辆的后部物体，通过不同节奏的音频来提醒驾驶者车辆后面的状况。倒车雷达依靠回音探测距离并以通过不同频率的声音来对驾驶员进行提示，但是仅仅凭借声音提示显然没有视觉来得直观，而且对声音的判断也必然会存在误差。其后经过多年的发展，汽车倒车雷达系统已经升级了技术，改良了性能，不管从结构和外观上，还是从性能价格上，都有很大的发展和提升，目前使用较多的是数码显示、荧屏显示和视频实时显示这三种方式。其中，数码显示通过一个小小的显示器，其上有倒车雷达探测到的数据，来实时显示后方障碍物与后保保险杠的距离。荧屏显示则就更进一步，它在车辆全身布置多个的传感器，然后通过平面图象，实时显示车辆周围障碍物与车辆之间的距离。但这样的图象多为计算机绘制，且传感器的精度不能做到非常逼真的水平。因此就出现了视频实时倒车系统，即倒车影像监视系统。该系统让驾驶员在倒车时，可以清楚的观察车后的状况，因此更加直观可视，对４浙江大学硕士学位论文于倒车安全来说是非常实用的配置之一。当挂倒车挡时，该系统会自动接通位于车尾的高清摄像头，将车后状况清晰的显示于液晶显示屏上，并在显示器上通过电脑合成＂－３前方向盘的转动角度所对应的车辆行车路线，从而准确而直观地把握车后的状况。显然，倒车影像监视系统比起全方位的倒车雷达更加直观和实用。此后随着汽车技术的进一步发展，人们已经不再仅仅满足于看到汽车后面的实时影像，对于其他盲区如车身侧面、前保险杠以及转弯时的死角等，都有了进一步探寻的需求。因此，本文提出了一种全景视觉泊车辅助装置及生成全景视觉图像的方法，帮助驾驶员能够清楚了解并掌握车辆周围的环境和其余行人及车辆等物体，以完成安全和精确的车辆操作。车身的鸟瞰视野由分布于车前、左右外后视镜和车尾的４个广角摄像机来提供，这四个摄像头分别采集了汽车车身前后左右四个区域的实时画面，然后通过全景视觉泊车辅助装置合成为一个虚拟的鸟瞰全景图象，显示在屏幕上。为了实现实时提供给驾驶员泊车所需要的汽车全景图像，消除了车四周的视觉盲区，来帮助驾驶员更加精确的泊车的目标，生成全景视觉图像的算法主要包含去鱼眼失真、平面投影映射和图像合成。对于实现全景视觉泊车辅助系统图像的硬件装置，需要能够满足在实际应用中的实时性要求，主要通过ＤＳＰ处理器根据预先存放在ＦＬＡＳＨ中的虚拟全景图像查找列表进行寻址操作得到虚拟的全景图像。１．４本文主要内容本文解决的主要问题是：通过在车的四周各安装广角摄像机，使得所有摄像机能够覆盖汽车周围的区域，并且对于任意相邻的两个摄像机，它们相互之间有一定的公共视场；然后对标定模板进行一系列计算，获得表示汽车四周摄像机之间拼接关系的参数，根据这些参数，产生虚拟的全景鸟瞰图像，从而最大限度扩大了驾驶员的视野范围。具体来说，第二章主要介绍摄像机标定和鱼眼相机模型，并且详尽介绍了图浙江大学硕士学位论文像单应性变换的实现和虚拟乌瞰图像的合成，并给出实验结果。第三章将对系统硬件结构进行整体的规划，并在其基础上描述全景泊车辅助系统硬件的工作流程和技术关键。在论文的最后，给出了总结和展望。６浙江大学硕士学位论文第二章系统软件设计２．１软件总体结构框架图２－１全景视觉泊车辅助系统的算法流程图如图２－１所示，线框内为生成虚拟汽车全景图像的算法流程。为了得到全景视觉泊车辅助系统的标定参数，本算法首先对所用鱼眼广角相机的模型参数进行建模，计算相机的内部参数和鱼眼镜头的失真系数；然后根据所得参数对图像进行去失真处理，得到去失真矫正图像；同时在摄像机的非公共区域内沿地面平铺标定模板，指定每块模板坐标系（世界坐标系）的坐标原点和五，方向；计算汽车的长和宽，确定虚拟鸟瞰相机对地面垂直投影的位置，测量该位置在４个摄像机的世界坐标系下的相对位置；然后计算从原始相机位置到虚拟鸟瞰位置的单应性变换矩阵；利用该矩阵，将之前得到的无失真图像变换到虚拟鸟瞰相机视角，得到虚拟鸟瞰视角的图像；之后，利用非线性寻优技术计算最优化的拼接缝隙方向，对虚拟鸟瞰视角图像进行旋转和平移变换，直到得到满意的金景拼接图像记录此时的平移参数。最后输出标定参数：相机内部参数，鱼眼镜头失真系数，单应性矩阵，优化拼接缝隙和平移参数。浙江大学硕士学位论文２．２鱼眼摄相机标定２．２．１摄像机模型机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息，以由此重建和识别物体。摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可用成像变换（即摄像机成像模型）来描述。对于具体的摄像机几何模型的描述，可分为线性模型和非线性模型两类。１）针孔模型针孔模型（ｐｉｎ－ｈｏｌｅｍｏｄｅｌ）属于线性摄像机模型，该模型能够比较好地描述大多数的摄像机。／图２－２针孔摄像机模型针孔摄像机模型由一个投影中心ｃ和一个图像平面咒所组成。世界坐标系的任意一个三维点ｗ＝［Ｘ，Ｙ，Ｚ】ｒ投影到图像平面的点，，ｚ＝【“，ｖ】ｒ，历是连接∥和ｃ点直线与图像平面的交点。这种透视投影关系可由矩阵声表示。旆：砧（２．１）式（２．１）中，ｓ是任意尺度因子，而和影分别为历和∥的齐次坐标表示：浙江大学硕士学位论文Ｘ而稍访＝】厂（２．２）Ｚ１因此，摄像机模型可采用透视投影矩阵声（ｐｅｒｓｐｅｃｔｉｖｅｐｒｏｊｅｃｔｉｏｎｍａｔｒｉｘ，简称ＰＰＭ）表示，且可以分解为：Ｐ＝ＡｉＲｆ】（２．３）矩阵Ａ包含了摄像机的内参数信息，可表示为：彳－－１ｒ口。ｙＵｏ］０口ｖＶｏ１（２．４）１Ｌ００１Ｉ这里Ｏｆ。＝一成，口，＝一弦，分别是图像平面口轴和矿轴的尺度因子，７为图像坐标轴的倾斜因子，（‰，％）为图像中心点（ｐｒｉｎｃｉｐａｌｐｏｉｎｔ）坐标，定义为光轴与图像平面的交点。２）鱼眼摄像机模型针孔摄像机模型适用大部分的长焦镜头甚至一些广角镜头ｎ¨２¨３１，但是对于鱼眼镜头却不适用。鱼眼镜头的视角覆盖整个前面半球形视场，视野的角度达到１８０度，不能简单的用透视投影模型来处理。对于鱼眼镜头的去失真处理，前人提出过一些模型，主要思路是把鱼眼镜头模型通过一定的计算转变成针孔相机模型。针孔相机的模型符合下式ｒ＝ｆｔａｎ９，其中护为镜头中心轴和入射光线的角度，ｒ为图像点与中心点的距离，ｆ为镜头的焦距。一般来说，鱼眼镜头的投射关系式可修改为以下形式Ｈ¨５¨们：，＝２ｆｔａｎ（Ｏ／２）（ｓｔｅｒｅｏｇｒａｐｈｉｃｐｒｏｊｅｃｔｉｏｎ）（２．５），．＝２ｆｓｉｎ（ａ／２）（ｅｑｕｉｓｏｌｉｄａｎｇｌｅｐｒｏｊｅｃｔｉｏｎ）（２．６）９浙江大学硕上学位论文，．＝ｆｓｉｎ（０１（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ），＝ｆｏ（ｅｑｕｉｄｉＳｔａｈｏｅ（２．７）（２．８）ｐｒｏｊｅｃｔｉｏｎ）其中最常用的为ｅｑｕｉｄｉｓｔａｎｃｅｐｒｏｊｅｃｔｉｏｎ模型。将上述模型泰勒展开，可以得到下式：ｒ（Ｏ）＝ｋ１０＋后２０３＋ｋ３０５＋ｋ４臼７＋ｋｓＯ９＋…（２．９）２．２．２摄像机标定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。这些参数可以通过一定的实验与计算得到，而这个过程就被称为摄像机标定。摄像机标定的目的是利用给定物体的参考点坐标（五月ｚ）和它的图像坐标（以矿）来确定摄像机的内部的几何和光学特性（内部参数）以及摄像机在三维世界中的坐标关系（外部参数）。标定过程精确与否，直接影响了立体视觉系统测量的精度。因此，只有做好了摄像机标定工作，后续工作才能正常展开。此前，从照相测量法到计算机视觉，已发展出了很多种摄像机标定方法。我们可以将这些方法大体分为三类＂１：１）照相视觉标定法（ＰｈｏｔｏｇｒａｍｍｅｔｒｉｃＣａｌｉｂｒａｔｉｏｎ聃１）。这是一种高效的标定方法，需要预先知道标定物体在３Ｄ空间的几何特性。标定物体一般由二到三个平面相互正交组成。有些情况下，这种标定方法也采用一个平面来进行，这时我们需要精确的知道平面的平移方式。而这需要昂贵的标定仪器和事先的精细设计作为保障。２）自标定方法（Ｓｅｌｆ－Ｃａｌｉｂｒａｔｉｏｎ一１）。自标定方法不需要使用任何标定物，只要在一个固定的场景中移动摄像机即可。仅通过图象信息，场景的刚性由一个摄像机的位移为摄像机的内部参数提供两个约束条件。因此，如果所有的图象都是由一个摄像机拍摄的，即使用相同的内参数，三幅图片所提供的对应性已经足够我们得到重ｌＯ浙江大学硕士学位论文建３Ｄ结构所需要的内外参数。因为需要估计的参数数量很多，所以，不是每次都可以得到精确可靠的结果。自标定方法还可细分为以下四类方法１１０１．（１）基于主动视觉的白标定法所谓主动视觉系统，是指摄像机被固定在一个可以精确控制的平台上，且平台的参数可以从计算机精确读出，只需控制摄像机作特殊的运动来获得多幅图像，然后利用图像和已知的摄像机运动参数来确定摄像机的内外参数。其代表性的方法是马颂德提出的基于两组三正交运动的线性方法，后来杨长江，李华等人提出了改进的方案，即分别是基于４组平面正交以及５组平面正交运动并利用图像中的极点信息来线性标定摄像机参数。此种自标定方法算法简单，可以获得线性解，不足之处在于必须有可以精确控制的摄像机运动平台。（２）基于Ｋｒｕｐｐａ方程的自标定方法Ｆａｕｇｅｒａｓ，Ｌｕｏｎｇ，Ｍａｙｂａｎｋ等提出的自标定方法是直接基于求解Ｋｒｕｐｐａ方程的一种方法，该方法利用绝对二次曲线像和极线变换的概念推导出Ｋｒｕｐｐａ方程。基于Ｋｘｕｐｐａ方程的自标定方法不需要对图像序列做射影重建，而是对两图像之间建立方程，这个方法在某些很难将所有图像统一到一致的射影框架场合会比分层逐步标定法更具优势，但代价是无法保证无穷远平面在所有图像对确定的射影空间里的一致性，当图像序列较长时，基于Ｋｒｕｐｐａ方程的自标定方法可能不稳定。且其鲁棒性依赖于给定的初值。（３）分层逐步标定法近年来，分层逐步标定法已成为自标定研究中的热点，并在实际应用中逐渐取代了直接求解Ｋｒｕｐｐａ方程的方法。分层逐步标定法首先要求对图像序列做射影重建，再通过绝对二次曲线（面）施加约束，最后定出仿射参数（即无穷远平面方程）和摄像机内参数。分层逐步标定法的特点是在射影标定的基础上，以某一幅图像为基准做射影对齐，从而将未知数数量缩减，再通过非线性优化算法同时解出所有未知数。不足之处在于非线性优化算法的初值只能通过预估得到，而不能保证其收敛性。由于射影重建时，都是以某参考图像为基准，所以，参考图像浙江大学硕士学位论文的选取不同，标定的结果也不同相。（４）基于二次曲面的自标定方法Ｔｒｉｇｇｓ是最早将绝对二次曲面的概念引入自标定的研究中来的，这种自标定方法与基于Ｋｒｕｐｐａ方程的方法在本质上是相同的，它们都利用绝对二次曲线在欧氏变换下的不变性。但在输入多幅图像并能得到一致射影重建的情况下，基于二次曲面的自标定方法会更好一些，其根源在于二次曲面包含了无穷远平面和绝对二次曲线的所有信息，且基于二次曲面的自标定方法又是在对所有图像做射影重建的基础上计算二次曲面的，因此，该方法保证了无穷远平面对所有图像的一致性。３）其他标定方法。不标定正交方向上的点，仅标定旋转方向上的点。２．２．３张正友标定法简述张正友方法ｎ¨介于照相视觉标定法（ＰｈｏｔｏｇｒａｍｍｅｔｉｃＣａｌｉｂｒａｔｉｏｎ）和自标定法（Ｓｅｌｆ－Ｃａｌｉｂｒａｔｉｏｎ）之间。这是一种适合应用的新型灵活方法。该方法要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和２Ｄ平面靶标都可以自由移动，且内部参数始终不变，假定２Ｄ平面靶标在世界坐标系中的Ｚ＝Ｏ，那么，通过线性模型分析就可计算出摄像机参数的优化解，然后用基于最大似然法进行非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可以求出所需的摄像机内、外部参数。张正友方法提高了标定的精确性；与自标定方法相比，得到了更高阶数的鲁棒性，是３Ｄ计算机视觉走出实验室，应用于真实世界的重要进展。张正友标定法基本步骤包括：１）模型平面和图象间的单应性假设模型平面是在ｚ＝ｏ的世界坐标系上，且用ｔ表示ｉ列旋转矩阵见由式２．４可得：ｘ廿叱…，】厂０１＝么【‘％，护ｌ【．１Ｊ『－ｘ］（２．１０）浙江大学硕士学位论文空间中任一点Ｍ＝ｉｘ，明７１，ｚ恒等于０。由此可得庸＝ｉｘ，Ｙ，１ｒ。所以，空间中任一点Ｍ和他在图象上的投影点ｍ由Ｈ联系起来：ｓ历：ｎ／ｔ（２．１１）其中，Ｈ＝４‘吃ｆ】。至此，我们可以用透视投影矩阵Ｈ（ＰＰＭ）来表示摄像机模型。２）内参的约束条件给定实物平面的一幅图象，可以计算出一个透视投影矩阵Ｈ，表示成日＝［７ｊｌ坞缟ｒ的形式。由式２．１１，我们可以得到：［７ｊｌ吃缟】＝Ⅲ‘ｒ２ｔ】五为任意标量。已知‘．吃是正交的，我们得到：２（２．１２）ｈｌｒ，Ａ－ｒ，Ａ－１．ｈ２矸彳一７’Ａ一啊＝酵彳一ｒＡ。１红即对于内参数，给定一个Ｈ，存在两个基本约束条件。３）畸变模型针孔成像模型是对常规摄像机几何成像的描述，在高精度三维测量中，需要准确地描述成像几何关系。由于摄像机光学系统设计和加工存在误差，获取的图像包含了各种几何失真。针对鱼眼镜头，采用等距离投影模型，．考虑失真为：０，，．（２．１３）ｆ瓯＝ｘ０（１＋ｋ１０２＋七２０４＋屯口６＋岛口８）卜却＋ｋ１８２＋ｋ２０４＋ｋ３８６＋ｋ３０ｓ）其中，．＝√ｘ２＋ｙ２，０＝ａｒｃｔａｎ（ｒ）。４）标定先初步求解摄像机的内外参数，然后考虑镜头的径向畸变和离心畸变，将求得的内外参数作为迭代的初始值，采用最大似然估计进一步求解摄像机内外参数和畸变系数。优化代价函数为：浙江大学硕士学位论文∑ｒｌ∑ｉｖｔｌｌ聊驴－ｋ（Ａ，毛，ｋ：，屯，ｋ。，Ｒ，，ｆ，，Ｍ刊１２ｉ＊ｌＪ＝１（２．１５）其中刀是模板的图像数，腰是每幅图像中的定标点数。而（彳，ｋ。，ｋ２，ｋ３，‘，Ｒ㈣ｔ，Ｍ，）表示膨点在第州岳图像上的投影。对式（２．１５）以前面求得的尼ｔ为初始值，非线性畸变参数初始值为０，采用Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ算法，可以求解出尼ｔ和ｋ１ｋ２，ｋ，，ｋ４。２．２．４Ｌｅｖｅｎｂｅｒｇ—Ｍａｒｑｕａｒｄｔ算法Ｌｅｖｅｎｂｅｒｇ—Ｍａｒｑｕａｒｄｔｎ２１算法（简称ＬＭ）广泛应用于非线性最小化问题，它是高斯一牛顿算法的变形。它介于牛顿法与梯度下降法之间，对于参数化的问题不敏感，能够有效的处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小，这些特性使得ＬＭ算法在计算机视觉等领域得到广泛应用。Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ算法（ＬＭ）与最小二乘法（ＬＳ）关系密切，ＬＭ算法的本质是在迭代过程中，把原问题化为多个Ｌｓ问题来求解。在高斯一牛顿算法ｎ加中，基本等式Ｊ７１，△＝一Ｊｒ占，在Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ算法中被替换为增广等式（Ｊ７１Ｊ＋ＡＩ）Ａ＝一Ｊｒｇ，其中，式中Ｊ为雅克比矩阵，旯为引入的变量，随着迭代的进行而不断变化；Ｉ为单位距阵。２．２．５标定鱼眼摄像机的相关参数由于本项目中采用鱼眼摄相机，所以，需要首先标定鱼眼相机相关参数。鱼眼镜头摄像机拍摄的图像具有非常严重的变形，如果我们想利用这些具有严重变形图像的投影信息，那么就需要将这些变形图像校正为人们习惯的透视投影图像。所以在本项目中鱼眼相机模型近似用针孔相机模型表示，（２．１６）其中置＝［ｚ０羔‰Ｖ０１］为相机内部参数，其中置＝Ｉ工０Ｉ为相机内部参数，Ｉ‘和ｆ为用图像行和列像素表示的ｌ浙江大学硕士学位论文相机焦距，编，％为投影中心，０【为倾斜度；Ｊ为世界坐标系中的三维点；１１和，为世界坐标系到相机坐标系的旋转和平移；口矿为Ｊ对应的图像点坐标。就大多数摄像机而言，像素的形状接近完美的长方形，所以倾斜因子ｏ【一般可以近似为０。像素的大小和偏歪角度对于每个摄像机都是固定的，在制造过程中可以测量得到。鱼眼镜头的径向和切向失真则用高阶径向模型近似，可表示为：Ｕｄｉ醴＝“＋（“．Ｕｏ）医１，．２＋ｋ２ｒ４＋ｋ３，．６＋ｋ４（，．２／ｕ＋２“）】１，妇＝ｖ＋（ｖ．Ｖｊ）陬１，．２＋ｋ２，４＋ｋ３，．６＋ｋ５（，２／ｖ＋２ｖ）］，：而（２．１７）其中盔，血，岛为径向失真系数，厶，鼻为切向失真系数。然后分别拍摄标定模板不同姿态的一系列图像（本实验中采集了１０帧图像，每帧图像上取ｌＯｘｌＯ＝１００个点），标记世界坐标系中模板三维点４：以及在每个图像上的对应点ａ：，（此处，与／表示图像序列数目索引与每个标定模板上点的个数索引）。采用与张正友相似的方法，计算相机内部参数局和鱼眼镜头的失真系数丘＝［盔，血，岛，厶，血】；根据标定模板在图像上的投影点与实际图像中的对应点之间的欧式距离最短原则，用非线性寻优技术Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ计算最优解。如下式所示：［Ｋ蒯…ｇ爱粤荟１０孙２５；一甲（彳揖酬其中、王，为三维到二维的投影函数。（２．…由此得到摄像机的内部参数Ｋ和失真参数岛＝［孟，血，岛，厶，岛】。然后，对所拍摄的汽车四周的图像厶（ｉ＝ｌ，…４）进行去除失真处理，得到失真校正后图像Ｆ耐ｈ‘。浙Ⅱ＾学硕±学位论文圉２．３标定赦果对比圈２．３图像单应性变换２３１单应性矩阵及ＤＬＴ算法平面单应矩阵在摄像机标定和三维重建方面有重要作用，世界坐标系的ｘ—ｙ坐标平面与图像平面之问的单应矩阵可以提供关于摄像机内参数的２个现行约束。单应矩阵在视频图像分析、视觉测量等领域中得到了广泛应用。一般来说，单应矩阵包含２方面意义，第一，空间上的点产【Ｘ，Ｙ，ｚ］１到图像平面上的点ｍ（齐次坐标）之间的映射关系，第二，２幅图像中对应于同一空问平面的图像对应点之间的映射关系。在实际环境中选择一小基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系统称为世界坐标系。它由Ｘ，ｙ，ｚ轴组成。设定摄像机坐标系ｑ一鼍圪ｚ（，设定图像直角坐标系（“ｒ），每一像素的坐标“ｒ分别是该像素在图像中所处的行数与列数。图像坐标系与摄像机坐标系的关系可以表示为：料置目摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵月与平移向量ｔ来描述。空间中的某一点Ｐ在世界坐标系与摄像机坐标系下的齐次坐标分别为（Ｘ，ｒ，ｚ，１）和（五，ｙｆ，五，１），它们之问的关系可以表示为：浙江大学硕士学位论文Ｘ『墨］ｋＩ＝【尺，】ｌ忍ｊ】，（２．２０）Ｚ１将式（２。２０）改写成图像坐标与世界坐标系的关系式。得到下式，ｘ料中１】，Ｚ１即得到图像坐标系与世界坐标系的关系。令刀为空间中某一平面的场景环境，使相机分别从两个不同的角度拍摄图像得到厶，乞，令Ｕ＝（“，１，，１）ｒ∈‘，Ｕｆ－（“’，１，’，１）７’∈厶是任意一对对应点对应于同一－Ｔ－Ｎ场景点Ｘ＝（Ｘ，Ｙ，Ｚ）ｒ，如果矩阵Ｈ使得下式成立：Ｕ’＝ｗ删（２．２２）则称Ｈ为图像对（五厶）关于平面场景万的单应矩阵。其中，Ｗ为非零常数因子。单应性矩阵可由下列计算推导求出ｎ卅：设刀的平面方程为：元７’Ｘ＝ｄ（２．２３）Ｘ＝（Ｘ，Ｙ，Ｚ）７’为万上的任意一点，元ｒ为万的单位法向量，ｄ为世界坐标系原点到万的距离。设ｘ在各摄像机坐标系下的坐标为（疋，Ｙｃｉ，乙）７１（ｉ＝１，２）。设两个摄像机坐标系相对于标准世界坐标系的旋转矩阵为３×３的足＝（ｉ＝１，２），三维平移向量为ｔ，（ｉ＝１，２）。设平面场景点ｚ＝（Ｘ，Ｙ，ｚ）７’对应的摄像机坐标系下的坐标为（ｔ，艺，乙）ｒ，由（２．２１）可知，平面场景点ｘ＝（Ｘ，】，，Ｚ）ｒ投影到图像上一点Ｕ＝（“，ｖ，１）７’，则有：浙江大学硕士学位论文Ｘ料郴ｔ，婀得：ｕ＝（州，１）ｒｙ巨ｎＰＺ●ｕ却儿矿＝去础ｔ］（础，Ｚ，１）ｒ１乙Ｋ（触＋ｆ）考虑平面场景点ｘ＝（ｘ，】，，ｚ）ｒ在图像‘和厶上的投影点Ｕ和Ｕ’，则由（２．２４）２瓦１１Ｋ（墨ｘ＋小因为平面场景中的所有点满足平面方程元ｒｘ＝ｄ，所以元７’ｘ×之＝１，则（２．２４）式可写成：口ｕ＝（…，ｌ卜云１Ｋ（墨ｘ＋ｌｔｌ元７’ｘ）２乏１同理可得：Ｋ（墨＋ｌｔｌ厅丁虹ｕ’＝（儿儿１卜１Ｚｃ：Ｋ（Ｒ卅ｌｔ２翻２乏１Ｋ（恐＋ｌｔ２枷ｑｎ钉）。１Ｋ～Ｕ，将其带入（２．２６）式得：由（２．２５）式可得ｘ＝Ｚｃ。（蜀＋－ｓ１“肚乏砒＋≯妣＋ｌｔ，朔卅∥ｕ乏为一个非零常数因子，因此，单应矩阵可表示为：Ｈ＝Ｋ（恐＋吉如元７’）（尾＋ｌｔｌ元ｒ）。１Ｋ。当摄像机仅作平移运动，即马＝足＝Ｊ，可得：日＝州＋吉啊顶，＋吉矿）－１∥当摄像机仅作旋转运动，即ｔ。＝ｔ：＝Ｏ，可得：Ｈ＝Ｋ（Ｒ）（墨）卅Ｋ‘１军此．推导Ｈ｛了单虑锥阵的表示公武。在本实验中，仅仅考虑不同相机的平移运动，而不考虑它们的旋转运动，所１８浙江大学硕士学位论文以参照式（２．２９）计算原始相机位置到虚拟鸟瞰位置的单应性变换矩阵。当摄像机斜向下拍摄水平地面上的物体时，物体在图像中的影像会发生形变，为了得到物体的真实形状，需要对获得的图像进行校正，使其相当与摄影机在物体的正上方俯视拍摄该物体获得的图像。Ａｂｄｅｌ－Ａｚｉｚ和Ｋａｒａｒａ于１９７１年提出的ＤＬＴ（直线线性变换：Ｄｉｒｅｃｔ１ｉｎｅａｒｔｒａｎｆｏｒｍａｔｉｏｎ）法ｎ５１是一种较为常用的方法。ＤＬＴ模型最初是专为解决非量测摄像机的无框标问题而研究的数据简化方法，其基础是建立在图像坐标直接变换至物方空间坐标的概念上。该方程式针对三维定标，它的特点是其基本关系式从透视投影的共线方程变换而来。ＤＬＴ法具有形式简单、方便实用、解算稳定可靠的特点，在解算过程中无需相机的内外方位元素。ＤＬＴ算法的基本公式为：一厶ｘ＋厶】，＋厶Ｚ＋厶岛Ｘ＋厶ｏｙ＋厶ｌＺ＋１Ｕ＝＝。。二二。‘。。。。。。。二；。。。。‘。。。二二’。。。。。。’二（２．３１）ｖ．：—ＬｓＸ＋Ｌ６Ｙ—＋ＬＴＺ＋Ｌ８与彳＋厶ｏｙ＋厶ｌＺ＋１式中，Ｌ，，Ｌ＂．．Ｌ。。为１１个未知参数。当拍摄的区域为水平面时，可以认为在上式中ｚ为常数，为了运算方便假定Ｚ＝Ｏ；则上式简化为一厶Ｘ＋厶ｙ＋厶岛．Ｙ＋厶ｏ】，＋１Ｕ：＝。’。——。——。—。２。—‘—————二－…厶Ｘ＋厶】，＋厶．Ｉ，＝—＝＿————＝——＿厶Ｘ＋厶ｏ】，－Ｉ－１（２．３４）为了能求出Ｌ，，Ｌ：，Ｌ。，Ｌ，，Ｌ。，Ｌ。，Ｌ，，Ｌ。。８个未知参数，需要找出ｎ（ｎ≥４）对世界坐标系和图像坐标系中的对应点。对应点通常选取那些带有明显几何关系（如平行，垂直等）的对应线上的点，并且需要非常精确，同时必须保证这些点在同一３维平面上，因为不同的３维平面对应不同的单应性矩阵Ｈ。通常选取４个构成矩形的点，此时，可以用已知的３维坐标来决定矩形的纵横比，并选取适当的长度作为宽或者高，于是在要校正的平面上相应的点的坐标可取（０，ｏ），１９浙江大学硕士学位论文（ｗｉｄｔｈ，０），（Ｏ，ｈｅｉｇｈｔ），（ｗｉｄｔｈ，ｈｅｉｇｈｔ），从而用ＤＬＴ算法计算Ｈ。当然，可以也选择更多的点以降低Ｈ的计算误差。２．３．２双线性插值在对图像进行空间变换的过程中，典型的情况是在对图像进行放大处理的时候，图像会出现失真的现象。这是由于在变换之后的图像中，存在着一些变换之前的图像中没有的像素位置。例如现有一副大小为６４ｘ６４的灰度图像Ａ，现在将图像放大到２５６ｘ２５６，不妨令其为图像Ｂ，如图２－４所示。图２－４图像缩放示意图显然，根据简单的几何换算关系，可以知道Ｂ图像中（ｘ，ｙ）处的像素值应该对应着Ａ图像中的（ｘ／４，ｙ／４）处的像素值，即Ｂ（ｘ，ｙ）＝ｈ（ｘ／４，ｙ／４）（２．３５）对于Ｂ中的（４，４），（４，８），（４，１６）…（２５６，２５６）这些位置，通过式２．３５就可以计算出其在图ｈ中的位置，从而可以得到它的灰度值。但是，对于Ｂ中的（１，１），（１，２），（１，３）…等等这些其余的坐标点而言，如果按照式２．３５计算的话，那么它们在Ａ中对应的坐标不再是整数。比如，对于Ｂ中的坐标点（１，２），其在Ａ中的对应坐标就变成了（０．２５，Ｏ．５）。对于数字图像而言，坐标只有为整数才具有意义，小数坐标是没有意义的。因此，必须考虑采用某种方法来得到Ｂ中像素点在图ｈ中对应位置上的灰度值。处理这一问题的方法被称为图像灰度级插值。常用的插值方式有三种：最近邻域插值、双线性插值、双三次插值。理论上来讲，最近邻域插值的效果最差，浙江大学硕士学位论文双三次插值的效果最好，双线性插值的效果介于两者之间。对于要求不是非常严格的图像插值而言，通常使用双线性插值作为插值方法。双线性插值的原理如图２－５所示。图像之间坐标映射有两种方式：如果是从原图像的坐标映射到目标图像，称为前向映射，反之则称为后向映射。显然，双线性插值采用的是后向映射方式。ＡｆＬｂ《ａ－ｂ＞驻糍荡纨ｔ鼢ｌ，ｂ）放大嚣的隧缘Ｂ图２－５双线性插值示意图下面对图２－５的具体含义进行说明。首先，根据几何关系，从Ｂ图像中的坐标（ｘ，ｙ）得到Ａ图像中的坐标（ｘ／４，ｙ／４），但是，映射得到的这个坐标（ｘ／４，ｙ／４）并没有刚好位于Ａ图像中的整数坐标上，而是映射到了四个像素坐标（ａ，ｂ）、（ａ＋１，ｂ）、（ａ，ｂ＋１）、（ａ＋１，ｂ＋１）所围成的矩形之中，其中，ａ和ｂ是Ａ图像的整数坐标。下面要根据Ａ（ａ，ｂ）、Ａ（ａ＋ｌ，ｂ）、Ａ（ａ，ｂ＋１）、Ａ（ａ＋１’ｂ＋１）这四个点上的灰度值求出Ａ（ｘ／４，ｙ／４）处的灰度值。双线性插值技术采用的方法是：假设Ａ图像的灰度值变化在纵向方向上是线性变化的，这样根据直线方程或者几何比例关系就能够求得（ａ，ｙ／４）和（ａ＋ｌ，ｙ／４）坐标处的灰度值Ａ（ａ，ｙ／４）和Ａ（ａ＋１，ｙ／４）。然后，再假设在（（ａ，ｙ／４），Ａ（ａ，ｙ／４））和（ａ＋１，ｙ／４），Ａ（ａ＋１，ｙ／４））这两点所确定的直线上，灰度级仍然是线性变化的。所以，求出Ｘ方向和Ｙ方向的直线方程，就可以求得（ｘ／４，ｙ／４）处的灰度值Ａ（ｘ／４，ｙ／４）。其中用到的两个基本假设是：首先灰度级在纵向方向上是线性变化的，然后假定灰度级在横向方向上也是线性变化的，这就是双线性插值的基本原理。２１浙江大学硕士学位论文２．３．３图像投影到虚拟视点在本项目中，４个鱼眼摄像机以一定角度朝向地面拍摄，为了将４幅图像整合成为一副完整的鸟瞰图像，需要将４幅图像投影到同一平面，我们选择水平地面作为参考平面。首先在摄像机所拍区域的非公共地面区域内沿地面平铺标定模板，使得模板上的格子方向与汽车的长和宽方向基本平行；然后指定每块模板坐标系的坐标原点（世界坐标系鳓和五，方向。测量汽车车体区域的长ｚ和宽彬以确定虚拟鸟瞰视点的位置，一般选择车体的几何中心位置Ｆ（Ｌ／２，ｇ／／２，／－１），其中Ｈ为虚拟鸟瞰图距地高度，如图２－６所示，尸点对于地面垂直投影位置为，（ｚ／ｅ，Ｗ／２，功，测量，在四个标定模板的世界坐标系仍下的相对位置（彤，昀，在已经得到的无失真图像Ｆ们ｈ‘上标记夕个不共线的点Ｐｉ，，（以，，几印１），ｓ为所标记的点的数目（ｓ≥４），在本例中，如图２－７所示，取标定模板上的成矩形区域的４个点。然后计算Ａ，，（扎，，几，，１）的对应点在各自世界坐标系仍中的三维位置Ｐｏ０ｘ。。ｙｏｊ仍。１２公共区域非公共区域＋虚拟鸟瞰视点弋ｚ，厶２＼，，强～＞—一‘＿——≮Ｐ，弋ｑ—，夕ｔＬＬ”ｌ／＾、※一／ｌ／》＼《√————＿、ｒ——、≤竺、■。强必。▲．ｎ辽ｙｌａ夕‘４２■强■图２－６安装四个鱼眼摄像机的汽车鸟瞰示意图浙Ⅱ大学硕士学证论立圈２－７标记四个不共线的点然后，计算Ｒ，（五。‘。功在虚拟鸟瞰图像上的投影位置如下吼，＝ｓ－｛牡，１＋【置，¨，Ｈｒ）（２３６）虚拟鸟瞰图距地高度Ｈ为２５米．４个参考点在世界坐标系中位置分别为（一１５０，１４５０），（１５０，１４５０），（一１５０，１１５０），（１５０，１４５０），单位为毫来。梅上步所得的乱。采用ＤＬＴ算法计算单应性变换矩阵Ｅ。将无失真图像Ｆ““的四个边界点Ａ（０，ｏ），Ｂ（ＷＩＤＴＨ，０），ｃ（ＨＩＧＨＴ，０），Ｄ（ＨＩＧＨＴ，ＷＩＤＴＨ），首先乘毗皿，得到虚拟鸟瞰视角图像Ｆ“对应的边界点爿Ｉ＾，咒），占Ｉ屯，儿），Ｃ１（ｘ３，乃），Ｄ。（＿，儿）。然后以＾”４４个边界点的ｘ方向和ｙ方向的最大值减最小值，即ＷＩＤＴＨ＋２Ｍａｘ｛ｘＩ，ｂ，而，ｘ４｝－Ｍｉｎ｛王，是，五，‘ｊ（２．３７）ＨＩＧＨＴ。＝Ｍａｘ｛一，儿，乃，Ｙ４ｊ－Ｍｉｎ｛Ｙｔ，儿，虬，凡ｊ计算得到Ｆ”的长宽数值，对于Ｍｉｎｆｘ【，ｘ２．ｂ，■）至Ｍａｘｉｘ，，ｘ２，ｚ，，‘】，Ｍｉｎ｛Ｍ，Ｙ２，虬，Ｙ；｝至ＭａｘｌＨ”Ｙ虬，３＇４）内的所有整数坐标点，分别乘以Ｈ～，计算淅扛大学碗十学口论Ｚ其在图像Ｆ““‘的对应坐标点尸ａ＋Ａ，＋口），设，（ｆ＋儿，＋ｑ）为该点的灰度值，则对图像Ｆ“进行双线性插值运算，插值公式用如下式：ｆ（ｉ＋ｐ，ｊ＋ｑ）＝（１一ｐ×１一ｑ）ｆ（ｉ，，）＋（１一ｐ）∥（ｆ＋ｌ，Ｊ）＋，（１一ｑ）ｆ（ｉ，Ｊ＋１）＋ｍｒ（ｊ＋１，ｊ＋１）（２３８）其中ｆ（ｉ，ｊ）表示【ｉ，ｊ）处的整数像素值，且口为ｚ方向、，方向小数像素值。由此得到每个单镜头的虚拟乌瞰图像Ｆ“所有像素点的灰度值。黟妒一匍，～‘－。‘Ｅ～５目一圉２－８单应性变换前后对比图２．４汽车全景图像拼接２４１图像拼接综述图像拼接是一个日益流行的研究领域，它已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接是指通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。近年来，有关图像拼接的研究越来越多，国内外研究人员也提出了很多种迥然不同的拼接算法。根据图像匹配方法的不同，一般可以将图像拼接算法分为以下两个类型”“：（１）基于区域的拼接算法这是最为传统和最普遍的算法。基于区域的匹配方法是从待拼接图像的灰度值出发，对待匹配图像中一块区域与参考图像中的相同尺寸的区域使用最小二秉注或者其它数学方法计算其灰度值的差异，然后比较判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也浙江大学硕士学位论文可以通过ＦＦＴ变换将图像由时域变换到频域，然后再进行匹配。对位移量较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。当以两块区域像素点灰度值的差别作为判别标准时，最简单的一种方法是直接把各点灰度的差值累计起来。这种办法效果常常由于亮度、对比度的变化及其它原因而导致拼接失败。另一种方法是计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块图像的匹配程度越高。该方法的拼接效果要好一些，成功率有所提高ｎ７１。（２）基于特征的拼接算法基于特征的匹配方法不是直接利用图像的像素值，而是通过像素而导出图像的特征，然后以此图像特征做为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。基于特征的匹配方法有两个过程：特征抽取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中，利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。在抽取特征区域和边界检测时，一系列的图像分割技术都可以被使用，如ｃａｎｎｙ算子、拉普拉斯高斯算子、区域生长等等。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。对于上述的各种不同类型的拼接方法，其要求所采集的图像必须有一定面积的重叠图像，而且，物体形变不能过大。由于在本实验中，先对图像进行去失真处理，而后又进行单应性变换和插值运算，且各摄像机跨度很大，光照强度也各不相同，导致物体形变和颜色差异较大，无论使用基于区域的拼接算法还是基于特征的拼接算法，都无法取得理想的拼接效果。所以为了找到一条拼接缝隙，我们首先在每两个摄像机之间的公共地面区域内标记两点，用经过两点的直线确定图像之间的初始拼接缝隙，然后再利用非线性寻优技术Ｌｅｖｅｎｂｅｒｇ—Ｍａｒｑｕａｒｄｔ根据不同拼接缝隙的夹角全局优化最小值，来对拼接接缝进行优化。２．４．２标记公共视场初始接缝位置在无失真图像Ｆ叫’８‘的两相邻摄像机之间的公共地面区域内标记同一地点的两点Ｐ（ｘ，，Ｙ１），Ｐ（ｘ：，Ｙ２），由此两点确定一条初始的拼接缝隙，经过单应性变换后，浙口大学硕±学位论史得到在两点在虚拟鸟瞰祝角的图像Ｆ”上的位置Ｐ（王‘，咒。），Ｐ（ｘ２’，ｙ，’），由线性映射不变性可知，初始拼接缝隙上的点在Ｆ”仍然处于同一条直线上，所以用经过这两点的直线确定图像之间的初始拼接缝隙，，。（乩，和／分别为相机和拼接缝隙的索引）。如图２－９所示：田２—９拼接缝隙示意图２４３全局优化虚拟鸟瞰图接缝方向由以上步骤得到初始拼接缝隙ｂ使四幅虚拟鸟瞰视角的图像沿此线初步对齐，利用非线性寻优技术Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ计算最优化的拼接缝隙方向，以补偿由于标定模板之间的未对齐所引起的误差，对四幅图像进行微调，使两两相临图像的初始拼接缝隙达到最佳的平行程度，即在４个重合区域内，所有分属于不同摄像机所采图像的初始拼接缝隙的夹角之和最小。所以，最小化如下函数，补偿图像Ｌ一对应的旋转角度曰＝旧，Ｂ岛】：中（８）：羔０ｍｉ，ｉ（８）一竹。：（目）『＋ｆ‰。（研一码：（ｐ）『不失一般性，初始参数ｐ＝０．Ⅳ表示所用相机的个数。（２３９）浙江大学硕士学位论文氛澳矽４ｍ叨／，，ｚ４ｌ∥‰２．５实验结果ｍ：∥蓬图２－１０：拼接缝隙方向的全局优化示意图在实验室中，以白线作为标记，白线框面积为２．５×２．５ｍ２。镜头被固定在三角架上，放置在白线中心位置距地高度８０ｃｍ处。设定虚拟鸟瞰点距地高度２．５ｍ。４个镜头所拍区域如图２－１１，生成的虚拟鸟瞰图如图２－１２。浙江大学硬ｔ学位论文圉２—１ｌ镜头原始拍摄囝浙口大学碗±学位论文田２－１２虚拟鸟瞰圉２．６生成鸟瞰图像查找表记录上述标定过程中得到的每个鱼眼相机内部参数矩阵￡和镜头失真系数岛，每个视角的单应性矩阵研，补偿标定模板未对齐的旋转只和平移五。由于４个摄像机固定在汽车的四周，它们之间的相对位置固定，且不随摄像内容的改变而改变。以上处理过程中，虚拟全景图像的像素点，均是由鱼眼摄像机所采集的原始图像，，中的某个像素点经过一系列空间变换得到的，而与该像素的内容印其亮度或色彩信息无关，并且对于位置固定的镜头，其内部参数和失真系数阻及对于某一位置的单应性矩阵是恒量．所以我们记录这种原始图像到虚拟全景图像的点对应关系，保存为列表格式，当摄像机所采集的场景发生变化时，仍以上述得浙江大学硕士学位论文到的原始图像与虚拟全景图像的点对应关系进行处理，来生成虚拟全景图像。所以，当标记一幅图像后，将鸟瞰图所有所需的像素点对应其在原图中的位置记录在查找表中，以供硬件系统查找。将该列表存放在硬件装置的闪存中。该列表格式每个像素点参数可以表示为（ｎ，ｘ，Ｙ），其中ｎ＝ｌ，２，３，４，５；１代表厶２代表厶３代表厶，４代表厶，５代表虚拟的汽车本体俯视图像，ｚ和，代表该点在各所在对应原始图像的横坐标与纵坐标。例如第一个像素点参数为（１，４，５），即表示虚拟全景图像第一行第一列的像素点对应于原始图像厶的横坐标为４纵坐标为５的像素点。虚拟全景图像查找列以虚拟全景图像的左上角为起始像素点（存放在列表第一个位置），进行由左到右、由上到下进行排放。例如虚拟全景图像第３行第４列像素点的参数，记录在列表的（２Ｘ总列数＋４）的位置上。２．７全景图像算法流程总结上文详细介绍了虚拟全景视觉泊车系统的图像生成方法，主要包括为如下步骤：１）获取每个摄像机所用的广角镜头的内部参数Ｋ和失真系数乞＝【矗，血，岛，血，蠡】，其中血，血，血为径向失真系数，丘，岛为切向失真系数；２）标定板放于平坦地面上，在各相邻的视频采集器视角的四个重叠区域内分别标记２点；由各视频采集器对平坦地面进行拍摄，得到一组原始图像五（ｉ－－１，２，３，４）；３）将步骤２）得到的原始图像Ｌ，根据高阶径向模型２．１７式得到原始图像厶去失真后的每个像素坐标点的位置参数，从而得到矫正后的图像Ｆ以ｈ‘，矫正效果如图２－１３所示，３０浙江大学硕士学位论文ｌ攀Ｉ砂图２－１３原始图像，去鱼眼失真图像，单应性变换后图像示意图４）设定汽车车顶上方的虚拟视点，将矫正后的各图像Ｆｎ“‘分别乘以该虚拟视点相对于各视频采集器位置的单应性矩阵只（ｉ＝１，２，３，４），相应得到以该虚拟视点为坐标原点的矫正后的各图像Ｆ耐ｈ‘的俯视图Ｆ”，同时得到对应步骤２）中的标记点位置，以标记点的连线作为初始拼接缝隙；５）利用非线性寻优技术Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ计算最优化的拼接缝隙方向，由此得到虚拟全景图像，并根据拼接接缝位置，记录虚拟全景图像中每个像素点所隶属的原始图像序号，；６）对于所述虚拟全景图像的每个像素点，依次按步骤４）、３）进行逆运算，得到虚拟视觉全景图像的各个像素点与视频采集器所采集的原始图像像素点的对应关系。２．８本章小结本章介绍了全景视觉辅助泊车系统的图像生成方法，用安装在汽车四周的四个广角鱼眼摄像机获取图像；首先对所得图像进行去失真处理，并进行对地面的浙江大学硕士学位论文单应性变换，得到以某一虚拟视点为坐标原点的矫正后的俯视图；同时标记所得原图像公共视场中两点，计算其在矫正后的俯视图的位置，以此两点确定某条直线作为拼接缝隙并且进行拼接缝隙的全局优化处理；最后输出虚拟鸟瞰坐标系下各个图像之间位置计算参数，生成全景虚拟鸟瞰图象查找表以供硬件使用，最终生成虚拟全景汽车俯视图像。本方法对设备要求低，过程简单；不依赖于摄像机之间的相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即可提供实时工作的计算参数。３２浙江大学硕士学位论文第三章系统硬件设计３．１系统硬件结构规划该全景汽车辅助装置的图像处理、数据交换和发送功能是由ＤＳＰ图像处理系统完成的。生成虚拟全景图像的过程主要通过ＤＳＰ处理器根据预先存放在闪存中的虚拟全景图像查找列表的参数进行寻址得到。图３－１ＤＳＰ系统硬件结构原理框图图３－Ｉ为本装置的结构示意框图。如图３－１所示，它包括视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器。视频采集器分别固定安装在车身的前、后、左、右外表面上；视频采集器的镜头采用广角镜头，分别采集车身前、后、左、右四个区域内的实时画面，并且能够使两两相邻的视频采集器的视角存在一定的重叠区域。视频采集器可以安装在前散热格栅上部、后车盖上端和左右侧外后视镜下端，如图３－２所示，浙江大学硕士学位论文图３－２视频采集器的安装位置及拍摄区域示意图其中Ｃ１～Ｃ４为视频采集器，Ｐ点为虚拟视点，以及相邻的视频采集器视角的四个重叠区域１。视频采集器采集到的图像信号可以是模拟视频信号，也可以是数字图像信号，视频采集器将采集到的图像信号传送到图像同步处理器中。当采集的信号为模拟视频信号时，视频采集器所连接的图像同步处理器包含视频解码器和帧缓冲存储器（ＦＩＦＯ），连接如图３—３所示；’人Ｉ模拟视频信兮视频解码器数字信号＞帧缓冲存储器卜∥∥图３－３图像同步处理器内部关系图此时视频解码器将模拟视频信号转变为ＤＳＰ处理器可以处理的数字信号，存放在帧缓冲存储器（ＦＩＦＯ）中。当采集的信号为数字信号时，则视频采集器直接与帧缓冲存储器（ＦＩＦＯ）连接。图像同步处理器与ＤＳＰ处理器连接，ＤＳＰ处理器在逻辑控制器ＣＰＬＤ的控制下从图像同步处理器的帧缓冲存储器读入图像，并将获得的图像存放在存储模块中。ＤＳＰ处理器所连接的存储模块包括闪存、ＳＤＲＡＭ，浙江大学硕士学位论文其中闪存用来存放ＤＳＰ处理器的程序代码，以供上电时载入片内的程序空间；另外在闪存中还存放有虚拟全景图像查找列表和汽车本体俯视图像，以供生成虚拟全景图像使用；ＳＤＲＡＭ主要用来存放从图像同步处理器接收到的数字信号。ＤＳＰ处理器还与输出帧缓存连接。输出帧缓存的主要功能是接收并暂存由ＤＳＰ处理器传输来的虚拟全景图像。输出帧缓存与视频编码器连接，它们在逻辑控制器ＣＰＬＤ的控制下，将数字图像信号转变模拟视频信号，由图像显示器显示虚拟全景图像。本装置的工作流程图如图３－４所示，生成虚拟全景图像的方法包括以下步骤：（１）视频采集器采集一帧图像，（当视频采集器采集的图像为模拟视频信号图像时，还需经图像同步处理器中的视频解码器进行Ａ／Ｄ转换，转换成数字图像信号）存入到帧缓冲存储器，当各帧缓冲存储器存满一帧图像后，由逻辑控制器开启帧缓冲存储器输出使能端，由ＤＳＰ处理器同步的读入数字图像信号，然后ＤＳＰ处理器将图像储存到ＳＤＲＡＭ中；（２）ＤＳＰ处理器将预存在ＦＬＡＳＨ中的虚拟全景图像查找列表读入到ＤＳＰ处理器内；（３）ＤＳＰ处理器根据查找列表中的参数，依次从ＳＤＲＡＭ中取出对应的像素点后，将所述像素点发送到输出帧缓存；（４）当步骤（３）中ＤＳＰ处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤（１）开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。浙江大学硕士学位论文图３－４本装置生成全景视觉图像流程图３．２主要芯片介绍３．２．１Ｃ６０００系列ＤＳＰＤＳＰ是实现全景视觉算法处理的主要功能器件，ＤＳＰ的选型决定了整个全景浙江大学硕士学位论文视觉泊车辅助系统电路的结构。ＤＳＰ的选型主要考虑以下几点：ＤＳＰ的运算能力ＤＳＰ的运算能力取决于器件内部的ＣＰＵ功能单元和访问存储空间的总线宽度及速度。ＣＰＵ功能单元实现基本的运算步骤，包括加减法、乘法、逻辑、比较、移位等，ＣＰＵ中的功能单元越多，器件就能够在单个机器周期内完成越多的运算。另外功能单元的处理宽度也是决定运算速度的主要因素，例如１６位宽度加法器一个机器周期能完成一个１６位加１６位的运算，而要完成３２位加法时，１６位加法器要分两次进行。ＣＰＵ访问存储空间的总线宽度及速度也是决定ＤＳＰ运算速度的重要因素，ＣＰＵ总是从外部的存储器中读取程序代码、数据，不论被访问的存储器是芯片内部还是芯片外部的，理想情况下，芯片的ＣＰＵ需要访问存储器的总线吞吐量足够，使得ＣＰＵ的所有功能单元一直都处于工作状态，没有无用的等待周期，对于绝大多数运算和处理，存储器访问的总线宽度越宽、速度越快，这种ＣＰＵ保持忙碌的情况越容易实现。对数据空间而言，存储器访问的总线宽度与ＣＰＵ内的寄存器数量有关，寄存器数越多就可以存储越多的待处理数据，一次总线访问就可以读写更多的数据。对程序空间而言，存储器访问的总线宽度与ＣＰＵ指令预取宽度直接相关。ＤＳＰ的接口ＤＳＰ内部的存储器空间有限，对于图像处理相关的运算而言，ＤＳＰ需要外部连接更多的存储器，此外，系统需要与其他设备进行通讯，ＤＳＰ需要连接一些通讯接口芯片。ＤＳＰ芯片的接１：２是否便于与这些外部芯片进行连接也是需要考虑的。典型的ＤＳＰ都有可与外部ＳＲＡＭ等各种类型存储器直接相连的接口，非常易于扩展外部存储空间，如ＴＩＤＳＰ的ＥＭＩＦ接口和ＡＤＩＤＳＰ的ＥｘｔｅｒｎａｌＰｏｒｔ等。同时许多的外围接口芯片都可以作为一段异步存储器空间进行访问。因此只要ＤＳＰ外部存储的访问空间足够大，就可以在外部存储访问接口上连接多个外围芯片。在本系统的设计中，主要需考虑的是图像采集功能的接口方式。基于以上的几点，ＤＳＰ选择ＴＩ的ＴＭＳ３２０ＤＭ６４３作为主处理器。ＴＭＳ３２０ＤＭ６４３被ＴＩ公司称为“视频／图像定点数字信号处理器”，它是一款在达芬奇技术框架下的面向数字视频设计应用的高性能定点数字媒体处理器，增加了适合流媒体处浙江大学硕士学位论文理的指令，提升了ＤＳＰ在流媒体方面的处理能力，另一方面提升对操作系统的支持的鲁棒性。由于其高速的实时运算能力和专门的视频口以及丰富的扩展接口在多媒体领域获得了广泛的应用。它的主要特性包括ｎ８¨１叼雎０１：·最高工作频率可达５００或６００ＭＨｚ，单周期可最多并行完成８条指令；·ＶＬＩＷ（甚长指令字）结构，６４个３２位通用寄存器；·Ｌ１／Ｌ２存储器结构，１６Ｋ程序存储Ｌ１Ｃａｃｈｅ（直接映射）和１６Ｋ数据存储Ｌ１Ｃａｃｈｅ（２路组相联），２５６ＫＲＡＭ或Ｌ２Ｃａｃｈｅ；·６４位ＥＭＩＦ接口，对异步（ＳＲＡＭ，ＥＰＲＯＭ）和同步（ＳＤＲＡＭ，ＳＢＳＲＡＭ，ＦＩＦＯ）存储器的无缝连接，共１０２４Ｍ字节的外部可寻址空间；·ＥＤＭＡ控制器，支持６４通道；·２个可配置视频接口（ＶｉｄｅｏＰｏｒｔ）；·１６个通用目的ｉ／ｏ脚等。ＣＭＯＳ图像传感器３．２．２图像采集端采用彩色ｃｍｄ芯片０Ｖ７９５０，０Ｖ７９５０是ＯｍｎｉＶｉｓｉｏｎ公司为闭路电视和监控设备市场专门开发的图像传感器，０Ｖ７９５０直接输出ＮＴＳＣ制式复合视频信号（复合视频信号包含色度和亮度信息，并与声画同步信息、消隐信号脉冲一起组成单信号），可以直接与ＴＶ监视设备、车载ＬＣＤ显示器接口连接。０Ｖ７９５０芯片最小照度可达到０．０１ＬＵＸ，适合在夜间行驶。０Ｖ７９５０可以在很大温度范围内正常工作（－４０。Ｃ－１０５。Ｃ），１／４ｉｎｃｈ芯片需要３．３Ｖ直流电源为其提供能量，０Ｖ７９５０内部结构图如下乜¨ｎ如：浙江大学硕士学位论文囊茎嚣耋雾蓦聃器ｍ图３－５０Ｖ７９５０内部模块方框图０Ｖ７９５０的主要特性如下：·信号系统：ＮＴＳＣ··有效像素：６５６×４９２·感光面积：４．０８０ｒｍ×３．１０２ｒａｍ像素面积：６．０∥ｍ×６．Ｏ∥ｍ扫描系统：２：１隔行扫描ｉｎｅ··同步系统：内同步·水平同步频率：１５．７３４ＫＨｚ·视频输出：１．０ｖｐ－ｐ，７５０ｈｍ·清晰度：４２０ＴＶｌ·垂直同步频率：６０Ｈｚ·Ｇａｍｍａ系数：０．４５··ＡＧＣ：自动·动态范围：４９ｄＢ·曝光时间：１／６０ｓ·背光补偿：自动电流消耗：５Ｏｍｈ●信噪比：４８ｄＢ·白平衡：自动３．２．３视频编解码器目前市场上的视频解码器种类很多，如Ｐｈｉｌｉｐｓ公司的ＳＡＡ７１１０／７１１１Ａ／７１１２／７１１５、Ｓａｍｓｕｎｇ公司的ＫＳ０１２７（Ｓ５Ｄ０１２７Ｘ０１）和ＩＴＴ公司的ＶＰＣ３２１１Ｂ及Ｍｉｃｒｏｎａｓ公司的ＶＰＸ３２２６Ｅ或ＴｅｃｈＷｅｌｌ的ＴＷ９９０３等等。它们均可通过１２Ｃ总线３９浙江大学硕士学位论文接口控制，自动识别输入模拟视频信号格式，然后解码输出２４位ＲＧＢ或１６位ＹＵＶ数字信号和Ｈｓｙｎｃ、Ｖｓｙｎｃ、ＨＡＶ（ＨＲＥＦ）控制信号及采样时钟。三星的ＫＳ０１２７乜钉包含有六个符合视频接口，或者３个ｓ端子或１个３线ＹＵＶ分量视频。从ＡＹ【２：０】和Ａｃ［２：０】，Ｙ【７：０】和Ｃ【７：０】为数字信号输出，共１６位，可输出４：２：２、４：１：１、４：４：４ＹＵＶ分量视频和ＲＧＢ５６５、ＲＧＢ８８８视频格式。所有８位输出格式用ＣＫ２像素时钟。当要输出２４位ＲＧＢ格式时，ＥＸＶ【７：０］可作为附加输出。ＫＳ０１２７在将输入视频信号解码出数字信号同时，还解码出行场同步信号（ＨＳｌ，ＶＳ），行激活标志位（ＨＡＶ），场激活标志位（Ｖ（ＣＡＶ），像素时钟Ｋ），２倍时钟（ＣＫ２，与ＨＡＶ信号上升沿一致）。图３－６ＫＳ０１２７内部模块方框图ＫＳ０１２７通过逻辑控制器（ＣＰＬＤ）对其１２Ｃ总线进行编程。由于本装置对实时性要求较高，因此ＫＳ０１２７配置为：采用４：２：２ＹＵＶ信号机制，只取Ｙ（亮度）信号。３．２．４视频编码芯片’对于输出部分，编码器选用的是ＮｘＰ公司０目ＳＡＡ７１０５。ＳＡＡ７１０５乜４１是一款低功耗、高性能的高清晰视频编码器。其可将数字亮色信号（ＹｕＶ）或数字ＲＧＢ信号等视浙江大学硕士学位论文频数据转换为ＣＶＢＳ，Ｓ—ＶＩＤＥＯ，ＲＧＢ等模拟信号输出，支持ＰＡＬ／ＮＴＳＣ制式，并且支持ＶＧＡ及高清晰ＨＤＴＶ输出。图３－７ＳＡＡ７１０５内部模块方框图３．２．５外围储存器本系统主要用于视频图像的处理，因此在处理过程中会产生大量数据；而ＤＭ６４３内部最多仅有２５６ｋＢ的ＲＡＭ，所以需要扩展大容量的外部存储器才能满足数据处理的需要。系统通过ＤＭ６４３的ＥＭＩＦ接口外部扩展存储器，ＤＳＰ扩展２片ＳＤＲＡＭ用于存储程序、数据和缓存数字视频信息，扩展２片Ｆｌａｓｈ存储器用于固化程序和一些掉电后仍需保存的数据。存储器的选型主要考虑的是存储器的最高访问速度及容量。选择ＳＤＲＡＭ作为主存储器，ＳＤＲＡＭ的优点是容量很大，速度与ＳＲＡＭ相当，可以使用较少的芯片获得大的存储空间。因此存储器种类包括ＳＤＲＡＭ（ＭＴ４８ＬＣ２Ｍ３２８２）、ＮＯＲＦＬＡＳＨ（Ｍ２９Ｗ８００Ｄ）和ＮＡＮＤＦＬＡＳＨ（Ｋ９Ｆ２Ｇ０８ＵＯＡ）。ＤＭ６４３的ＥＭＩＦ６４位数据总线与两片ＭＴ４８ＬＣ２Ｍ３２８２相连，每片ＭＴ４８ＬＣ２Ｍ３２８２占据数据总线的３２位，并被配置在ＤＳＰ的ＥＭＩＦＣＥＯ空间中，用来存储接收到的图像；Ｋ９Ｆ２Ｇ０８ＵＯＡ的数据线通过ＣＰＬＤ也连接到ＤＭ６４３的ＥＭＩＦ总线，占据数据４１浙江大学硕士学位论文总线的低８位，并被配置在ＤＳＰ的ＥＭＩＦＣＥ２空间中，主要功能是用来存放虚拟鸟瞰图像查找表。Ｍ２９Ｗ８００Ｄ用来存储系统固件代码，Ｂｏｏｔ时ＤＳＰ从Ｍ２９Ｗ８００Ｄ中载入程序代码，占据数据总线的８位，并被配置在ＤＳＰ的ＥＭＩＦＣＥｌ空间中。Ｋ９Ｆ２Ｇ０８ＵＯＡ与一般存储器访问方式不同，它不是通过地址来访问的，没有地址线，而是通过Ｉ／Ｏ信号线来接收命令和地址，并通过ｉ／ｏ信号线来传递数据，访问周期一般分为命令、地址、数据三步，需要对ＤＳＰ的数据访问周期进行分离。分离由ＦＰＧＡ逻辑实现，方法是当ＤＳＰ的５号地址线为高时，表示当前ＤＳＰ数据线会输出访问命令，当ＤＳＰ的６号地址线为高时，表示当前ＤＳＰ数据线会输出访问地址，当ＤＳＰ的７号地址线为高时，表示ＤＳＰ会读取或写入ＤＳＰ数据线。ＦＩＦＯ帧缓存存储器３．２．６ＦＩＦＯ帧缓存存储器采用ＡＶＥＲＬＯＧＩＣ公司的ＡＬ４Ｖ８Ｍ４４０芯片，储存空间为８Ｍ大小（１０２４ｋｘ８－ｂｉｔ），拥有互相独立的８ｂｉｔ输入输出端口，可以接受不同的Ｉ／０读写速率；最大读写速度达到８０ＭＨｚ。ＡＬ４Ｖ８Ｍ４４０的主要特性如下乜５１：●８Ｍｂｉｔｓ（１．０２４ｋ×８ｂｉｔｓ）ＦＩＦＯ·独立的８ｂｉｔ读／写端口操作（支持不同频率的读写速度）·最大读写频率５０ＭＨｚ，ｓ双倍速率可达８０ＭＨｚ·输入使能和输出使能控制、·可选择控制信号的极性·３．３Ｖ±１０％电源供电４２浙江大学硕士学位论文图３－８ＡＬ４Ｖ８Ｍ４４０内部模块方框图３．２．７ＣＡＮ口芯片ＣＡＮ总线是德［虱Ｂｏｓｃｈ公司为解决现代汽车中众多的控制与测试仪器之间的数据交换而开发的一种串行数据通信协议。随着集成电路和单片机在汽车上的广泛应用，汽车上电子控制单元越来越多，汽车总线已经成为汽车电气的一个必然的趋势。泊车辅助系统做为从控制模块，挂在ＣＡＮ总线上。主控制端主要控制泊车辅助装置开关，车４面景象和虚拟全景镜头切换等，需要制定指令协议。选择较为通用的ＳＪＡｌ接口芯片。ＳＪＡｌ０００芯片的主要特性是瞳６１：·扩展的接收缓冲器（６４字节、先进先出ＦＩＦＯ）；·和ＣＡＮ２．０Ｂ协议兼容，同时支持１１位和２９位识别码；·位速率可达１Ｍｂｉｔｓ／ｓ；·２４ＭＨｚ时钟频率；·对不同微处理器的接口；·可编程的ＣＡＮ输出驱动器配置。４３０００（Ｐｈｉ１ｉｐｓ半导体公司）作为ＣＡＮ控制器，ＰＣＡ８２Ｃ２５ｏｔ乍为物理浙江大学硕士学位论文ＣＡＮ接口芯片ＳＪＡｌ０００是５Ｖ器件，无法与３．３Ｖ的ＤＳＰ直接相连，而且ＳＪＡｌ０００的数据地址线是共用的，访问周期分为地址和数据两步，因此需要对ＤＳＰ的数据访问周期进行分离。地址和数据周期的分离由ＣＰＬＤ逻辑实现，当Ｉ）ＳＰ的。号地址线为高时，表示当前ＤＳＰ数据线会输出访问ＳＪｈｌ０００的地址，此时ＳＪＡｌ０００的ＡＬＥ信号有效，０号地址线为低时，表示当前数据线会被ＤＳＰ读取或写入数据。ＳＪｈ的８为位地址／数据线通过ＣＰＬＤ也挂在ＤＳＰ的外部通用数据总线上。当ＤＳＰ新处理一帧图像时，首先读入ＣＡＮ缓存器中指令，再根据指令所代表含义，识别出是要显示出整幅帧还是前后左右帧，在对应相应地址表取出相应数据。例如，系统有五个功能按键，分别为前方、后方、左方、右方，全景功能按钮，可以根据５个操作按钮来选择目前自己关心的画面。具体如下：Ｉ）当按下“全景功能”按钮时在ＬＣＤ屏幕显示车体全景；２）按下“前方”按钮则在ＬＣＤ显示汽车前方图像；３）按下“后方”按钮则在ＬＣＤ显示汽车后方图像；４）按下“左方”按钮则在ＬＣＤ显示汽车左方图像；５）按下“右方”按钮则在ＬＣＤ显示汽车右方图像。３．３系统数据流及连接关系假设在某一时刻启动视频采集器，４个视频采集器开始采集图像并将采集到的模拟视频信号传送到图像同步处理器。图像同步处理器由ＫＳ０１２７和帧缓存ＡＬ４Ｖ８Ｍ４４０连接组成。ＫＳ０１２７的８位并行输出口Ｙ［９：２］与帧缓存储存器ＡＬ４Ｖ８Ｍ４４０的数据输入端口ＤＩ【７：０］相连。ＫＳ０１２７输出的行场同步信号首先传输到逻辑控制器（ＣＰＬＤ），作为帧同步逻辑控制信号。当图像开始采集时，４个不同步的场同步信号输入到ＣＰＬＤ中，再通过ＣＰＬＤ连接到其对应连接的帧缓冲存储器ＡＬ４Ｖ８Ｍ４４０的ＷＥ口（写使能端口），将一帧信号输入。４个ＡＬ４Ｖ８Ｍ４４０数据输出端口ＤＯ【７：０】分别连接到ＤＳＰ的ＶＰＩ与ＶＰ２的各自的两个Ｃｈａｎｎｅｌ中。当４个ＡＬ４Ｖ８Ｍ４４０均储存完一帧图像后，ＣＰＬＤ同时将４个ＡＬ４Ｖ８Ｍ４４０的读使能信号ＲＥ置为允许读出，允许ＤＳＰ处理器的ＶＰ端口从ＡＬ４Ｖ８Ｍ４４０中读取一帧图像。浙江大学硕士学位论文图像数据首先写入ＤＳＰ内大小为５１２０个字节的先入先出寄存器中，当ＤＳＰ应用在双通道模式下，先入先出寄存器自动分裂成两个大小为２５６０字节的通道，每个通道可各设置一个增强型直接内存存取（即ＥＤＭＡ）进行搬移。ＥＤＭＡ将４个视频采集器采集到的图像存放在ＳＤＲＡＭ中。当４个视频采集器采集的各一帧图像储存到ＳＤＲＡＭ后，ＤＳＰ处理器从闪存Ｆｌａｓｈ中读入虚拟全景图像查找列表，ＤＳＰ处理器根据查找列表中的参数，从ＳＤＲＡＭ中取出对应的像素点，之后将该像素点发送到输出帧缓存；当ＤＳＰ处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，由ＣＰＬＤ产生输出帧缓存的时序信号和视频编码芯片的行场同步信号，将输出帧缓存中所储存的内容传输到视视频编码芯片ＳＡＡ？１０５中，转换成视频信号，由视频线传输到ＬＣＤ屏幕显示出虚拟全景图像，同时视频采集器开始采集新的一帧图像。硬件连接示意图如图３－９所示。ＣＰＬＤＣＡＮｃｌ［】ＫＳ０１２７ｃ２［Ｉ】ＫＳ０１２７ｃ３ｊ二】ＫＳ０１２７ｃ４［］ＫＳ０１２７一们一一一加一一～柏一一～∞ＤＳＰ吲ＡＭ４４Ｌ４Ｖ０８目ＩｓＡＡ７１０５ＳＤＲＡＭｌｌＬＣＤ图３－９装置硬件连接示意图３．４本章小节以上是整个全景视觉泊车辅助装置硬件方案，核心基于ＤＳＰ，全景视觉泊车辅助装置包括视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器；生成虚拟全景图像的过程主要通过４５浙江大学硕士学位论文ＤＳＰ处理器根据预先存放在闪存中的虚拟全景图像查找列表的参数进行寻址得到，然后将结果发送到一片输出帧缓存中，当全部查找列表寻址完毕后，逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。浙江大学硕士学位论文第四章总结与展望至此，本论文的工作告一段落。总结起来，本论文取得了以下的研究成果：本文借助简单的标定模板，对安装在汽车四周多个摄像机采集的图像进行一系列变换，从而得到可以用来实时全景图像拼接的各种参数。首先对所用鱼眼广角相机的模型参数进行建模，计算相机的内部参数和鱼眼镜头的失真系数；然后根据所得参数对图像进行失真去除处理，得到去失真校正后图像；同时在摄像机的非公共区域内沿地面平铺标定模板，指定每块模板坐标系（世界坐标系）的坐标原点和五ｙ方向；计算汽车的长和宽，确定虚拟鸟瞰相机对地面垂直投影的位置，测量该位置在４个摄像机的世界坐标系下的相对位置；然后计算从原始相机位置到虚拟鸟瞰位置的单应性变换矩阵；利用该矩阵，将之前得到的无失真图像变换到虚拟鸟瞰相机视角，得到虚拟鸟瞰视角的图像；之后，利用非线性寻优技术计算最优化的拼接缝隙方向，对虚拟鸟瞰视角图像进行旋转和平移交换，直到得到满意的全景拼接图像记录此时的平移参数。最后输出标定参数：相机内部参数，鱼眼镜头失真系数，单应性矩阵，优化拼接缝隙和平移参数。对于全景视觉泊车辅助系统的硬件装置，做出了整体规划，其中包括视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器等模块；生成虚拟全景图像的过程主要通过ＤＳＰ处理器根据预先存放在闪存中的虚拟全景图像查找列表的参数进行寻址得到，然后发送到一片帧缓存中，当全部查找列表寻址完毕后，逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。本方法对硬件系统的要求低，过程简单；不依赖于摄像机之间的相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即可提供实时工作的计算参数，可以很好的满足实时性要求；能够达到良好的汽车全景鸟瞰效果。同时，受实验条件的制约以及作者的能力所限，作者觉得在如下几个方面还有待加强：４７浙江大学硕士学位论文·受实验条件所限，所用的鱼眼摄像机视直接采用现有厂家生产的倒车后视镜，仅用４个视野并不能完全覆盖实际停车场区域，本文以实验室地面模拟停车场环境，以验证算法的可行性。·由于对各个摄像机所采集图像，均进行对地面的单应性变换，将导致高出地面的物体无法得到良好的拼接效果，还需要进一步研究如何处理此类情况。浙江大学硕士学位论文参考文献【１】Ｄ．Ｃ．Ｂｒｏｗｎ，“Ｃｌｏｓｅ－Ｒａｎｇｅ８５５－８６６，１９７１．ＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ，”ＰｈｏｔｏｇｒａｍｍｅｔｒｉｃＥｎｇ．，ｖ０１．３７，ｎｏ．８，ｐｐ．【２】Ｒ．ＳｗａｍｉｎａｔｈａｎＰｏｌｙｃａｍｅｒａｓ，”ＩＥＥＥ１１７２－１１７８，Ｏｃｔ．２０００．ａｎｄＳ．Ｋ．Ｎａｙａｒ，‘＇ＮｏｎｍｅｔｒｉｃＣａｌｉｂｒａｔｉｏｎｏｆＷｉｄｅ－ＡｎｇｌｅＬｅｎｓｅｓａｎｄＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖ０１．２２，ｎｏ．１０，ＰＰ．【３】Ｊ．Ｈｅｉｋｋｉｌａ＂‘，‘＇ＧｅｏｍｅｔｒｉｃＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＵｓｉｎｇＣｉｒｃｕｌａｒＣｏｎｔｒｏｌＰｏｉｎｔｓ，”ＩＥＥＥＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖ０１．２２，ｎｏ．１０，ＰＰ．１０６６—１０７７，Ｏｃｔ．２０００．［４】Ａ．ＢａｓｕａｎｄＳ．Ｌｉｃａｒｄｉｅ，“ＡｌｔｅｒｎａｔｉｖｅＭｏｄｅｌｓｆｏｒＦｉｓｈ－ＥｙｅＬｅｎｓｅｓ，”ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ，ｖ０１．１６，ＰＰ．４３３—４４１，１９９５．［５】Ｆ．ＤｅｖｅｒｎａｙａｎｄＯ．Ｆａｕｇｅｒａｓ，“ＳｔｒａｉｇｈｔＬｉｎｅｓＨａｖｅｔｏＢｅＳｔｒａｉｇｈｔ，”ＭａｃｈｉｎｅＶｉｓｉｏｎａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，ｖ０１．１３，ｎｏ．１，ｐｐ．１４－２４，２００１．【６】Ｃ．Ｂｒａ＂。ｕｅｒ－ＢｕｒｃｈａｒｄｔａｎｄＫ．Ｖｏｓｓ，‘‘ＡＳｉｎｇｌｅＮｅｗＡｌｇｏｒｉｔｈｍｔｏＣｏｒｒｅｃｔＦｉｓｈ—ＥｙｅａｎｄＳｔｒｏｎｇＷｉｄｅ－Ａｎｇｌｅ。Ｌｅｎｓ－Ｄｉｓｔｏｒｔｉｏｎ２２５－２２８，２００１．ｆｒｏｍＩｍａｇｅｓ，”Ｐｒｏｃ．Ｉｎｔ’ｌＣｏｎＬＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ＰＰ．［７】周薇，基于机器视觉的摄像机标定方法研究．电子元器件应用［８］ＥｌｌｅｎＳｃｈａｗｌｂｅ．ＧｅｏｍｅｔｒｉｃＭｏｄｅｌｉｎｇａｎｄＣａｌｉｂｒａｔｉｏｎｏｆＦｉｓｈｅｙｅＬｅｎｓＣａｍｅｒａＳｙｓｔｅｍｓ．ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｍｉｓｓｉｏｎＶＰｈｏｔｏｇｒａｍｍｅｔｒｙＶ／５．ａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＤｒｅｓｄｅｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ．ＷＧ［９］Ｓｃａｒａｍｕｚｚａ，Ｄ．，Ｍａｒｔｉｎｅｌｌｉ，Ａ．ａｎｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＩｎｔｅｒｎａｔｉｏｎａｌＳｉｅｇｗａｒｔ，Ｒ。ＡＳｔｒｕｃｔｕｒｅｆｒｏｍＦｌｅｘｉｂｌｅＴｅｃｈｎｉｑｕｅｆｏｒＡｃｃｕｒａｔｅＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎａｎｄＭｏｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ５－７，２００６．ｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｆＶｉｓｈｇｎＳｙｓｔｅｍｓ（ＩＣＶＳ。０６），ＮｅｗＹｏｒｋＪａｎｕａｒｙ［１０】李鹏，王军宁．摄像机标定方法综述．山西电子技术．２００７年第４期．【１１】Ｚｈａｎｇ，Ｚ．Ｙ．ＡＡｎａｌｙｓｉｓｆｌｅｘｉｂｌｅｎｅｗｔｅｃｈｎｉｑｕｅｆｏｒｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ２２（１１），１３３０－１３３４（２０００）．ａｌｇｏｒｉｔｈｍ：Ｉｍｐｌｅｍｅｎｔａｔｉｏｎａｎｄｔｈｅｏｒｙ．Ｉｎ：ＣｏｎｆｅｒｅｎｃｅＣｏｎｆｅｒｅｎｃｅｏｎｏｎ【１２］Ｍｏｒｅ，Ｊ．Ｌｅｖｅｎｂｅｒｇ－ｍａｒｑｕａｒｄｔｎｕｍｅｒｉｃａｌａｎａｌｙｓｉｓ，ｖ０１．２８（１９７７）ＩｎＩＨａｒｔｌｙ，Ａｎｄｒｅｗｎｕｍｅｒｉｃａｌａｎａｌｙｓｉｓ，ｖ０１．２８（１９７７）．ＶｉｅｗＧｅｏｍｅｔｒｙｉｎｃｏｍｐｕｔｅｒ【１３］ＲｉｃｈａｒｄＺｉｓｓｅｒｍａｎ．ＭｕｌｔｉｐｌｅＶｉｓｉｏｎ．【Ｍ】．Ｃａｍｂｒｉｄｇｅ【１３】ＨｏｌｌａｎｄＫＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ２０００．ＲｏｂｅｒｔＡ，ＬｉｐｐｍａｒｍＴｈｏｍａｓＣ，ｅｔａ１．ＰｒａｃｔｉｃａｌｆｉｅｌｄｕｓｅＴｏｄｄ，Ｈｏｌｍａｎｏｆｖｉｄｅｏｉｍａｇｅｒｙｉｎｎｅａｒｓｈｏｒｅｏｃｅａｎｏｇｒａｐｈｉｃｓｔｕｄｉｅｓ［Ｊ］．ＯｃｅａｎｉｃＥｎｇｉｎｅｅｒｉｎｇ（Ｓ０３６４－－９０５９），１９９７，２２（１）：８１—９２．【１４】曲天伟，安波．二维投影变换模型的单应矩阵表示．信息技术２００８年第３期４９浙江大学硕士学位论文【１５】Ａｂｄｅｌ－ＡｚｉｚＹｏｂｊｅｃｔ。ｓｐａｃｅＣｌｏｓｅ—ＲａｎｇｅＩ，ＫａｒａｒａＨＭ．Ｄｉｒｅｃｔｌｉｎｅａｒｔｒａｎｓｆｏｒｍａｔｉｏｎｆｒｏｍｃｏｍｐａｒａｔｏｒｃｏｏｒｄｉｎａｔｅｓｉｎｔｏｉｎｃｌｏｓｅ－ｒａｎｇｅｃｏｏｒｄｉｎａｔｅｓｐｈｏｔｏｇｒａｍｒｎｅｔｒｙ【Ｃ】Ｐｒｏｃ．ｔｈｅＳｙｍｐｏｓｉｕｍｏｎＰｈｏｔｏｇｒａｍｍｅｔｒｙ，ＡｍｅｒｉｃａｎＳｏｃｉｅｔｙｏｆＰｈｏｔｏｇｒａｍｍｅｔｒｙ，１９７１．ｒｅｇｉｓｔｒａｔｉｏｎｍｅｔｈｏｄｓ：ａｓｕｒｖｅｙ．ＩｍａｇｅａｎｄＶｉｓｉｏｎ【１６】ＢａｒｂａｒａＺｉｔｏｖａ’，ＪａｎＦｌｕｓｓｅｒ．ＩｍａｇｅＣｏｍｐｕｔｉｎｇ２１（２００３）９７７－１０００．【１７】陈挺，图像拼接算法及实现．论文之家【１８】ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ，ＴＭＳ３２０ＤＭ６４３Ｖｉｄｅｏ／Ｉｍａｇｉｎｇ【１９】ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ，ＴＭＳ３２０Ｃ６０００［２０】ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ，ＴＭＳ３２０Ｃ６４ｘ【２１】ＯｍｎｉＶｉｓｉｏｎ，ｏＭＮＩＶＩＳＩｏＮＣＭＯＳＶＩＤＥＯＣＡＭ｜ＥＲＡＣＨＩＰＦｉｘｅｄ－ＰｏｉｎｔＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒＤＳＰ３２一ＢｉｔＴｉｍｅｒＲｅｆｅｒｅｎｃｅＧｕｉｄｅＴｅｃｈｎｉｃａｌＯｖｅｒｖｉｅｗＳＴＡＲＴＳＶＯＬＵＭＥＰＲＯＤＵＣＴＩＯＮＯＦＯＶ７９５００．０１ＬＵＸ【２２】ｏｍｎｉＶｉｓｉｏＩＩ，ＯＶ７９５０ＰｒｏｄｕｃｔＢｒｉｅｆ－ｕｌｔｒａ－ｃｏｍｐａｃｔ，ｈｉｇｈ—ｐｅｒｆｏｒｍａｎｃｅ［２３］ＳＵＭＳＵＮＧＥ１ＥＣＴＲＯＮＩＣＳ．ＭＵ【ＪＩＳＴＡＮＤＡＲＤＤａｔａＳｈｅｅｔ．ａｕｔｏｍｏｔｉｖｅｃａｍｅｒａｃｈｉｐＶＩＤＥＯＤＥＣＯＤＥＩＶＳＣＡＬＥＲＫＳ０１２７Ｂ【２４］ＰｈｉｌｉｐｓＳｅｍｉｃｏｎｄｕｃｔｏｒｓ．ＳＡＡ７１０４ＥＳＡＡ７１０５ＥＤｉｇｉｔａｌｖｉｄｅｏｅｎｃｏｄｅｒ．ＤａｔａＳｈｅｅｔＶｅｒｓｉｏｎ１．０ＰｒｅｌｉｍｉｎａｒｙＶｅｒｓｉｏｎ．１０００Ｓｔａｎｄ－ａｌｏｎｅＣＡＮｃｏｎｔｒｏｌｌｅｒ．Ｐｒｏｄｕｃｔｓｐｅｃｉｆｉｃａｔｉｏｎ［２５】ＡＶＥＲＬＯＧＩＣ．ＡＬ４ＶＳＭ４４０【２６］ＰｈｉｌｉｐｓＳｅｍｉｃｏｎｄｕｃｔｏｒｓ．ＳＪＡＳｕｐｅｒｓｅｄｅｓｄａｔａｏｆ１９９９Ａｕｇ１７’