基于优化卷积神经网络结构的交通标志识别

Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　ＩＳＳＮ　１００１．９０８１　２０１７．０２．１０　计算机应用，２０１７，３７（２）：５３０—５３４　文章编号：１００１—９０８１（２０１７）０２－０５３０—０５　ＣＯＤＥＮ　ＪＹＩＩＤＵ　ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ｃｎ　ＤＯＩ：１０．１１７７２／ｊ．ｉｓｓｎ．１００１—９０８１．２０１７．０２．０５３０　基于优化卷积神经网络结构的交通标志识别　王晓斌　，黄金杰　，刘文举　（１．哈尔滨理工大学自动化学院，哈尔滨１５００８０；　２．中国科学院自动化研究所，北京１００１９０）　（　通信作者电子邮箱１ｗｊ＠ｎｌｐｒ．ｉａ．ａｃ．ａｎ）　摘要：现有算法对交通标志进行识别时，存在训练时间短但识别率低，或－／ｅ，￣＇ｌ率高但训练时间长的问题。为此，　综合批量归一化（ＢＮ）方法、逐层贪婪预训练（ＧＬＰ）方法，以及把分类器换成支持向量机（ＳＶＭ）这三种方法对卷积神　经网络（ＣＮＮ）结构进行优化，提出基于优化ＣＮＮ结构的交通标志识别算法。其中：ＢＮ方法可以用来改变中间层的数　据分布情况，把卷积层输出数据归一化为均值为０、方差为１，从而提高训练收敛速度，减少训练时间；ＧＬＰ方法则是先　训练第一层卷积网络，训练完把参数保留，继续训练第二层，保留参数，直到把所有卷积层训练完毕，这样可以有效提　高卷积网络识别率；ＳＶＭ分类器只专注于那些分类错误的样本，对已经分类正确的样本不再处理，从而提高了训练速　度。使用德国交通标志识别数据库进行训练和识别，新算法的训练时间相对于传统ＣＮＮ训练时间减少了２０．６７％，　其识别率达到了９８．２４％。所提算法通过对传统ＣＮＮ结构进行优化，极大地缩短了训练时间，并具有较高的识别率。　关键词：卷积神经网络；批量归一化；贪婪预训练；支持向量机　中图分类号：ＴＰ３９１．４１　文献标志码：Ａ　Ｔｒａｆｉｆｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｏｐｔｉｍｉｚｅｄ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｒｃｈｉｔｅｃｔｕｒｅ　ＷＡＮＧ　Ｘｉａｏｂｉｎ　．ＨＵＡＮＧ　Ｊｉｎｊｉｅ　．ＬＩＵ　Ｗｅｎｊｕ　’　（１．Ｓｃｈｏｏｌ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｈａｒｂｉｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＳｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　Ｈｅｉｌｏｎｇｉｉａｎｇ　１５００８０，Ｃｈｉｎａ；　２．Ｉｎｓｔｉｔｕｔｅ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１００１９０，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　ｔｒａｆｉｆｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｓｏｍｅｔｉｍｅｓ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ　ｉｓ　ｓｈｏｒｔ　ｂｕｔ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｉｓ　ｌｏｗ，ａｎｄ　ｏｔｈｅｒ　ｔｉｍｅｓ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｉｓ　ｈｉｇｈ　ｂｕｔ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ　ｉｓ　ｌｏｎｇ．Ｔｏ　ｒｅｓｏｌｖｅ　ｔｈｅｓｅ　ｐｒｏｂｌｅｍｓ，ｔｈｅ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）ａｒｃｈｉｔｅｃｔｕｒｅ　ｗａｓ　ｏｐｔｉｍｉｚｅｄ　ｂｙ　ｕｓｉｎｇ　Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ（ＢＮ）ｍｅｔｈｏｄ，Ｇｒｅｅｄｙ　Ｌ町ｅＩ—　Ｗｉｓｅ　Ｐｒｅｔｒａｉｎｉｎｇ（ＧＬＰ）ｍｅｔｈｏｄ　ａｎｄ　ｒｅｐｌａｃｉｎｇ　ｃｌａｓｓｉｉｆｅｒ　ｗｉｔｈ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ（ＳＶＭ），ａｎｄ　ａ　ｎｅｗ　ｔｒａｆｉｆｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｏｐｔｉｍｉｚｅｄ　ＣＮＮ　ａｒｃｈｉｔｅｃｔｕｒｅ　ｗａｓ　ｐｒｏｐｏｓｅｄ．ＢＮ　ｍｅｔｈｏｄ　ｗａｓ　ｕｓｅｄ　ｔｏ　ｃｈａｎｇｅ　ｔｈｅ　ｄａｔａ　ｄｉｓｔｉｒｂｕｔｉｏｎ　ｏｆ　ｔｈｅ　ｍｉｄｄｌｅ　ｌａｙｅｒ，ａｎｄ　ｔｈｅ　ｏｕｔｐｕｔ　ｄａｔａ　ｏｆ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｌａｙｅｒ　ｗａｓ　ｎｏｒｍａｌｉｚｅｄ　ｔｏ　ｔｈｅ　ｍｅａｎ　ｖａｌｕｅ　ｏｆ　０　ａｎｄ　ｔｈｅ　ｖａｒｉｎａｃｅ　ｖａｌｕｅ　ｏｆ　１，ｔｈｕｓ　ａｃｃｅｌｅｒａｔｉｎｇ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｃｏｎｖｅｒｇｅｎｃｅ　ａｎｄ　ｒｅｄｕｃｉｎｇ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ．Ｂｙ　ｕｓｉｎｇ　ｔｈｅ　ＧＬＰ　ｍｅｔｈｏｄ，ｔｈｅ　ｆｉｒｓｔ　ｌａｙｅｒ　ｏｆ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｔｗｏｒｋ　ｗａｓ　ｔｒａｉｎｅｄ　ｗｉｔｈ　ｉｔｓ　ｐａｒａｍｅｔｅｒｓ　ｐｒｅｓｅｒｖｅｄ　ｗｈｅｎ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｗａｓ　ｏｖｅｒ，ｔｈｅｎ　ｔｈｅ　ｓｅｃｏｎｄ　ｌａｙｅｒ　ｗａｓ　ａｌｓｏ　￣ａｉｎｅｄ　ｗｉｔｈ　ｔｈｅ　ｐａｒａｍｅｔｅｒｓ　ｐｒｅｓｅｒｖｅｄ　ｕｎｔｉｌ　ａｌｌ　ｔｈｅ　ｃｏｎｖｏｌｕｔｉｏｎ　ｌａｙｅｒｓ　ｗｅｒｅ　ｔｒａｉｎｅｄ　ｃｏｍｐｌｅｔｅｌｙ．Ｔｈｅ　ＧＬＰ　ｍｅｔｈｏｄ　ｃａｎ　ｅｆｆｅｃｔｉｖｅｌｙ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｏｆ　ｔｈｅ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｔｗｏｒｋ．Ｔｈｅ　ＳＶＭ　ｃｌａｓｓｉｉｆｅｒ　ｏｎｌｙ　ｆｏｃｕｓｅｄ　ｏｎ　ｔｈｅ　ｓａｍｐｌｅｓ　ｗｉｔｈ　ｅｒｒｏｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ｎｏ　ｌｏｎｇｅｒ　ｐｒｏｃｅｓｓｅｄ　ｔｈｅ　ｃｏｒｒｅｃｔ　ｓａｍｐｌｅｓ，ｔｈｕｓ　ｓｐｅｅｄｉｎｇ　ｕｐ　ｔｈｅ　ｔｒａｉｎｉｎｇ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｗｅｒｅ　ｃｏｎｄｕｃｔｅｄ　ｏｎ　Ｇｅｒｍａｎｙ　ｔｒａｆｆｉｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂｅｎｃｈｍａｒｋ，ｔｈｅ　ｒｅｓｕｌｔｓ　ｓｈｏｗｅｄ　ｔｈａｔ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ＣＮＮ，ｔｈｅ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ　ｏｆ　ｔｈｅ　ｎｅｗ　ａｌｇｏｒｉｔｈｍ　ｗａｓ　ｒｅｄｕｃｅｄ　ｂｙ　２０．６７％．ａｎｄ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｏｆ　ｔｈｅ　ｎｅｗ　ａｌｇｏｒｉｔｈｍ　ｒｅａｃｈｅｄ　９８．２４％．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｌａ　ｒｅｓｕｌｔｓ　ｐｒｏｖｅ　ｔｈａｔ　ｔｈｅ　ｎｅｗ　ａｌｇｏｒｉｔｈｍ　ｇｒｅａｔｌｙ　ｓｈｏｒｔｅｎｓ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ　ａｎｄ　ｒｅａｃｈｅｄ　ａ　ｈｉＳｈ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｂｙ　ｏｐｔｉｍｉｚｉｎｇ　ｔｈｅ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ＣＮＮ．　Ｋｅｙ　ｗｏｒｄｓ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒｌａ　Ｎｅｔｗｏｒｋ（ＣＮＮ）；ｂａｔｃｈ　ｎｏｒｍａｌｉｚａｔｉｏｎ；Ｇｒｅｅｄｙ　Ｌａｙｅｒ—ｗｉｓｅ　Ｐｒｅｔｒａｉｎｉｎｇ（ＧＬＰ）；Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ（ＳＶＭ）　０　引言　程中，交通标志识别往往是在复杂的室外交通环境下进行的，　比一般静止的事物识别更难，主要体现在：复杂多变的光照条　随着我国经济的发展，交通越来越发达，同时随着私家车　件；背景环境干扰；交通标志遮挡；交通标志位置倾斜…。受　的增多，交通事故频发，安全驾驶问题越来越突出，于是智能　干扰图例如图１所示。为了解决这些问题，大量的复杂算法　交通系统应运而生。交通标志识别是智能交通系统的重要组　被提出，造成识别率高但训练速度过慢，或者训练速度快但识　成部分，在交通安全运行方面具有重大的现实意义，它能够减　别率低的问题，因此交通标志快速训练与准确识别是迫切需　少驾驶员的驾驶疲劳，更好地保证出行安全。在汽车运行过　要解决的问题。　收稿日期：２０１６－０７—２８；修回日期：２０１６・０９—２１。　基金项目：国家自然科学基金资助项目（６１５７３３５７，６１５０３３８２，６１４０３３７０，６１２７３２６７）。　作者简介：王晓斌（１９９０一），男。山东潍坊人，硕士研究生，主要研究方向：图像识别、目标检测；黄金杰（１９６７一），男，山东莱阳人，教授，　博士，主要研究方向：智能建模、优化控制、模式识别；刘文举（１９６ｏ一），男，北京人，教授，博士，主要研究方向：机器学习、语音增强、语音识别、　声源定位、声音事件检测、图像识别。　第２期　王晓斌等：基于优化卷积神经网络结构的交通标志识别　５３ｌ　目前已经有很多传统分类器，包括支持向量机（Ｓｕｐｐｏｒｔ　与每个神经元全连接，就会有ｎ×／７，×ｍ个参数，导致参数灾　难，训练会非常困难，因此必须想办法减少参数。对于ＣＮＮ　来说，一幅１　０００×１　０００像素的图像，如果局部感受野范围是　５０×５０，那么仅仅会有５０×５０个参数，这是一种特征，如果要　识别一种图像，可以设计１００个滤波器，参数也仅仅是５０×　５０×１００，所以参数大幅减少，训练速度也会大大加快。　ＣＮＮ结构由输入层、卷积层和采样层组成。图２所示是　交通标志识别ＣＮＮ结构，在图中，输入的是交通标志的图像，　先经过第一层卷积ｃ１，滤波器个数是８个大小为５×５，形成　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＳＶＭ）　一、贝Ｉ１－ｒ斯分类器　ｊ、随机森林分类器等　被用于交通标志识别。这些方法均先利用典型的特征描述方　法如尺度不变特征变换（Ｓｃａｌｅ—Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ，　ＳＩＦＴ）　、加速鲁棒特征（Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ，　ＳＵＲＦ）［５　７、方向梯度直方图（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔ，　ＨＯＧ）　等对训练样本进行低层次特征提取，包含角点、边缘、　纹理等，然后对这些特征进行训练分类操作。这些特征描述方　法主要是由人工设计的，设计它们需要大量的时间，尽管这些　算法训练时间很短，但是识别率很低，不能实现准确应用。　深度学习是目前在目标识别方面应用最多的方法。深度　８个特征映射图，每个特征映射图大小为４４；然后再经过采样　层ｓ２，使用的采样核大小为２×２，得到８个特征图，特征图大　小是２２；第二卷积层Ｃ３产生ｌ４个特征图，卷积核大小３×３，　产生ｌ４个特征图大小是２０；再经过采样，采样核大小是２×　２，产生１４个特征图，每个特征图大小是ｌＯ，把１４个特征图压　缩成一维连接起来与ｃ５层１２０个神经元全连接；最后一层是　分类器，采用全连接方式进行分类输出。这就是一个完整的　卷积神经网络结构。　学习的实质是通过构建具有很多隐层的机器学习模型和训练　数据，自发地学习更高层次的特征，从而最终提升分类或预测　的准确性。和传统的学习方法相比，深度学习更能够刻画数　据丰富的内在信息。本文主要使用卷积神经网络　（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒｌａ　Ｎｅｔｗｏｒｋ．ＣＮＮ）　方法。　输入　囟　西　苗　诗　囟Ｃ５：１２０输出　卷积　采样　卷积　采样　图２卷积神经网络结构　Ｆｉｇ．２　Ａｒｃｈｉｔｅｃｔｕｒｅ　ｏｆ　ＣＮＮ　图１受干扰图例　Ｆｉｇ．１　Ｅｘａｍｐｌｅｓ　ｏｆ　ｉｎｔｅｒｆｅｒｅｄ　ｓｉｇｎｓ　１．２卷积神经网络的训练　ＣＮＮ是受生物的视觉系统启发而形成的，是一个多层的　神经网络结构，每个卷积层由一个滤波器层、一个非线性层、　一ＣＮＮ的训练过程主要采用的是反向传播算法，首先输入　数据，进行前向计算，然后再反向计算误差，并对误差求各个　权值和偏置的偏导数，依靠这个偏导数调整各个权值和偏差。　在开始训练前，所有的权值都应该用不同的随机数进行初始　化。选取的随机数应较小，以保证网络不会因权值过大而进　入饱和状态，从而导致训练失败；“不同”则用来保证网络可　以正常地学习。下面是用交通标志训练ＣＮＮ的过程：　第一阶段，向前传播阶段：　１）从交通标志样本中选取一部分标志输入网络；ｎ¨¨¨Ｕ　连　　接　２）通过前向算法计算相应的实际输出标志类别。　ｎ¨¨¨¨¨　全　莲　个空间采样层组成。ＣＮＮ的主要优点就是可以将数据直　接输入ＣＮＮ模型而不进行任何处理，它可以自动学习图像特　征，并且具有很强的鲁棒性。Ｃｉｒｅｓａｎ等　提出了多列卷积神　经网络算法，一共有２５个卷积网络结构，每个卷积网络用不　同的方法进行训练，结果取２５个网络的平均值，之后用这个　模型对测试集进行测试；Ｓｅｒｍａｎｅｔ等　提出了多规模卷积网　络，把卷积网络的第二层特征和第三层特征联合送入全连接　层进行分类；Ｋｒｉｚｈｅｖｓｋｙ等　“　提出用深度卷积神经网络对图　片进行分类。在图像数据库比赛中，这些算法都获得了比较　高的识别率；但是这些算法的共同缺点是训练时间过长，需要　第二阶段，向后传播阶段：　１）把前面计算的实际类别与真实交通标志类别进行比　较，求偏差；　２）按极小化误差的方法反向传播调整权矩阵。　下面是具体的公式推导：　１）卷积层。　大量的计算资源，其中Ｃｉｒｅｓａｎ等　提出的方法训练时间达到　３７　ｈ，浪费了大量资源。　针对上述方法的缺点，本文对ＣＮＮ结构进行了优化，包　括加入批量归一化（Ｂａｔｃｈ—Ｎｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）…　层，使用逐层　贪婪预训练（Ｇｒｅｅｄｙ　Ｌａｙｅｒ—ｗｉｓｅ　Ｐｒｅｔｒａｉｎｉｎｇ，ＧＬＰ）方法　进　ａ）卷积计算。假设第ｚ层为卷积层，第ｚ＋１层为下采样　层，则第ｚ层第　个特征图　的计算公式如下：　＝行训练，同时在最后的分类层使用支持向量机（ＳＶＭ）进行分　类。其中ＧＬＰ能够提高识别率，ＢＮ和ＳＶＭ能够加速深度学　习训练过程。　ｆ（∑　：　￡Ｅ　＋　）　其中：　表示在ｚ层（卷积层）中的第　个特征图；肘　表示被选　择的输入图集合；　号实质是让卷积核ｋ在第２—１层所有关　联的特征图上作卷积运算，然后求和，再加上一个偏置参数　６，用激活函数．厂（・）最终得到激励值的过程。　ｂ）残差计算。卷积层的下一层是下采样层，采用的是一　对一非重叠采样，故残差计算更为简单。第ｚ层第　个特征图　的残差计算公式如下：　ｌ　卷积神经网络　１．１卷积神经网络结构　ＣＮＮ的两大优点就是局部感受野和权值共享。在传统　的神经网络结构中，一般都是全连接，导致参数非常巨大，训　练困难，速度很慢。比如一幅ｎ×ｎ像素图像输入全连接网　络，如果第一层神经元个数是ｍ个，因为是全连接，每个像素　；＝　ｆ＋　Ｊｉｆ　（“；）。ｕｐ（　ｆ＋】））　其中：第ｚ层为卷积层，第ｆ＋ｌ层为下采样层，下采样层与卷　５３２　计算机应用　第３７卷　积层是一一对应的；ｕｐ（ｘ）是将第ｌ＋１层的大小扩展为和第２　此ＢＮ算法的关键之处就是引入参数ｙ和　，公式为：　＝　层大小一样；下采样层中的权重全都等于ＪＢ（一个常量）；　ｆ　（・）表示激活函数，（・）的偏导数；“。”表示每个元素相乘。　ｃ）梯度计算。偏置参数ｂ的导数为：　ａＥ　，ｆ、　一ａｂｉ　“　参数ｋ的导数为：　０Ｅ　（　）ｗ（ｐｌ　）　其中：　表示第ｚ层第　个特征图与第ｌ一１层第ｉ个特征图相　连所对应的核，是一个矩阵；（ｐ：　）　表示　：　中的区域块。　２）采样层。　ａ）卷积计算。设第ｆ层为下采样层，第２—１层为卷积层，　由于是一对一采样，假设采样大小为２×２，故计算公式为：　；＝，（卢；ｄｏｗｎ（ｘ￣　）＋西　）　其中：ｄｏｗｎ（ｘ）是将ｘ中２×２的大小中像素值进行求和。计算　过程为对上一层卷积层２×２大小进行求和然后乘以权重　．　再加上一个偏置，再求取激活函数。　ｂ）残差计算。在计算下采样层梯度时，需要找到残差图　中给定像素对应于上一层的残差图中哪个区域块，这样才可　以将残差反向传播回来。另外，需要乘以输入区域块和输出　像素之间连接的权值，这个权值实际上就是卷积核的权值。　上述过程可以使用下面的Ｍａｔｌａｂ函数公式实现：　ｆ＿ｆ　（“；）。ｃｏｎｙ２（　ｌ“，ｒｏｔ１８０（　），　ｆｕｌｌ　）　其中：第ｚ层为下采样层，第Ｚ＋１层为卷积层。　Ｃ）梯度计算。偏置６的导数，其公式的推导过程与卷积层　一样。权重口的导数计算公式如下：　＝ｄｏｗｎ（ｘ￣　）　ａＥ　（　。　）一　２　加速训练模块和识别率模块　２．１　加速训练模块——批量归一化方法　交通标志识别主要使用ＣＮＮ方法，ＣＮＮ学习过程本质就　是为了学习数据分布，深度卷积网络的训练是一个复杂的过　程，只要网络的前面几层发生微小的改变，后面几层就会被累　积放大下去。一旦网络某一层的输人数据的分布发生改变，　那么这一层网络就需要学习这个新的数据分布。训练过程　中，训练数据的每一层分布一直在发生变化，并且每一层所需　要的学习率不一样，通常需要使用最小的那个学习率才能保　证损失函数有效下降，因此将会影响网络的训练速度。而ＢＮ　算法就是要解决在训练过程中，中间层数据分布发生变化的　情况，ＢＮ算法使每一层的数据都归一化为均值为０、标准差　为１，使数据稳定，因此可以使用较大的学习率进行训练，使　网络加快收敛，提高训练速度。ＢＮ算法主要使用如下公式进　行归一化：　）＿　一（１）　、　其中Ｅ［ｘ　］指的是每一批训练数据　’的平均值；分母就是　每一批数据　的一个标准差。后面的处理也将利用式（１）　对某一个层网络的输入数据作归一化处理。需要注意的是，训　练过程中采用批量随机梯度下降方法。　如果是仅仅使用式（１）对网络某一层输出数据作归一　化，然后再送入下一层，会影响到本层网络学习到的特征。因　‘　王‘　＋　。其中：；‘　表示归一化为均值为０、标准差为１　的数据；ｙ和Ｐ的作用是用来保持模型的表达能力，例如，在　ｓｉｇｍｏｉｄ激活函数的中间部分，函数近似于一个线性函数，使　用ＢＮ后会使归一化后的数据仅分布在线性部分，使模型泛　化能力变差，引入　和卢使数据不仅分布在线性部分，也可以　分布在非线性部分，增加模型的泛化能力。当　似　：　￣／Ｖａｒ［　‘　］，卢　＝ＥＥｘ‘　］时，完全可以恢复出原始的某　一层数据。　和Ｐ需要利用反向传播算法进行训练求出。下面　公式是ＢＮ层的数据归一化过程：　１　ｍ　一　，　１　１　ｍ，　、，　一　（　—　）‘　Ｘｉ一　Ｘｉ＋一—　＝；＝＝＝　ｏＢ　８　Ｙ　＋＿　ｆ＋Ｐ　ＢＮｒ．日（　）　其中：输入值是　。，　：，…，　，ｍ是批量化的数目；　口是均值，　是方差；．），　＝ＢＮｒ．８（　）是输出。　２．２识别率模块——逐层贪婪训练　逐层贪婪预训练是一个层网络预训练结构，逐层贪婪算　法的主要思路是每次只训练网络中的一层，即首先训练一个　只含一个卷积层的网络，仅当这层网络训练结束之后才开始　训练一个有两个卷积层的网络，以此类推。在每一步中，把已　经训练好的前ｋ一１层固定，然后增加第ｋ层（也就是将已经　训练好的前ｋ一１的输出作为输入）。每一层的训练是有监督　的（例如，将每一步的分类误差作为目标函数），这些各层单　独训练所得到的权重被用来初始化最终的深度网络的权重，　然后对整个网络进行“微调”（即把所有层放在一起来优化有　标签训练集上的训练误差），这就是一个完整的逐层贪婪预　训练（ＧＬＰ）过程。　３　实验与分析　本次实验所用的计算机配置是ＣＰＵ　Ｘｅｏｎ　２．６０　ＧＨｚ，　ｃｅｎｔｏｓ　６．５操作系统，同时还使用了Ｋ４０ｃ显卡内存１２　ＧＢ来　加速训练。　３．１数据准备　本次实验使用德国交通标志数据集（Ｇｅｒｍａｎ　Ｔｒａｆｉｆｃ　Ｓｉｇｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｂｅｎｃｈｍａｒｋ，ＧＴＳＲＢ）　，该数据集包含４３类从德　国真实交通环境中采集的交通标志，整个数据集共５１　８３９幅　交通标志图像，其中训练集３９２０９幅，测试集１２６３０幅，每幅　图像只包含一个交通标志；且数据集中包括大量低分辨率、不　同光照强度、局部遮挡、视角倾斜、运动模糊等各种不利条件　下的图像，能够较全面地反映现实情况，以及算法的应用能　力。ＧＴＳＲＢ数据集包括六个大类：限速标志、其他禁令标志、　解除禁令标志、指示标志、警告标志、其他标志。　由于数据集中的原始图像每幅图像只包含一个交通标　志，而且有１０％的冗余边，每个图像大小尺寸并不一样，为了　提高识别率，需对其进行预处理。即先参考交通标志说明文　件把图片中１０％的冗余边剪除，使交通标志充满整个图像；　然后将图像进行旋转、平移和绽放，旋转角度为一５。和５。，　左、右各平移４个像素，缩放因子为０．９和１．１，扩展成　１５５５１７张图片。这样更有利于训练过程，同时对测试集进行　更好的预测。接着将ＲＧＢ图像转化成灰度图像。笔者进行　第２期　王晓斌等：基于优化卷积神经网络结构的交通标志识别　５３３　了相关实验，发现ＲＧＢ图像识别率和灰度图像识别率大体一　致，因此为了提高计算速度，使用灰度图像进行实验。由于本　他参数两个网络结构完全相同。结果显示：使用ＢＮ算法前　的训练时间为７１６．７４　ｍｉｎ，而使用ＢＮ算法后的训练时间为　文使用的是卷积神经网络方法，所有的图像都必须大小一致，　所以按照以往的经验把所有的图像都转化成４８×４８大小。　卷积神经网络方法具有很强的鲁棒性，因此并没有使用具体　的去噪方法进行去噪。　３．２网络结构选择　５６８．６　ａｒｉｎ。可以看出，在网络结构中加入ＢＮ层后，训练时间　变短，原因在于：１）ＢＮ算法对卷积后的输出数据进行了归一　化操作，使它们的均值为０、方差为１，因此不必像以前那样迁　就维度规模，可以使用大的学习率对网络结构进行训练，收敛　加快，达到最优的训练时间也就变短；２）归一化后使得更多　一在进行实验之前需要了解多少层卷积结构才能使识别率　最高，因为对于深度学习而言，随着层数增加，结构能力越强，　将会导致数据过拟合；但如果层数太少，结构能力太弱，又会　导致数据欠拟合。这两者都会导致训练错误率和测试错误率　的权重分界面落在了数据中，降低了过度拟合的可能性，因此　些防止过拟合但会降低速度的方法，例如ｄｒｏｐｏｕｔ和权重衰　减就可以不使用或者降低其权重，从而提高训练速度。　３．４识别率对比　升高。为了选择卷积层数，使用逐层增加的方法，直到随着层　数增加，识别率不再明显变化，就可以确定最优层数。这里使　用的数据还是德国交通标志数据库，分为训练集和测试集。　在选择之前，每一层滤波器都是使用１０８个，滤波器随机初始　化，实验结果如图３所示。从图３中可以看出，随着层数增加　识别率逐渐增加，随后不变或者下降。因此关于卷积神经网　络结构选择三层最为合适，识别率也最高。　而关于滤波器个数选择，同样也是先参考文献［９—１０］，　选择默认卷积层数为３层，然后在这个基础上再进行实验，结　果如表１所示。从表１可以看出，尽管滤波器越多正确率越　高，但是如果选择９０．１０８—１０８结构，会因为滤波器过多而使　得计算复杂，训练时间过长。综合考虑，选择９０－１０８—１０８，其　中９０代表第一层滤波器个数，以此类推。　蒋　罱　网络层数　图３识别率随层数变化曲线　Ｆｉｇ．３　Ｃｕｒｖｅ　ｏｆ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ　ｖａｒｉｅｄ　ｗｉｔｈ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｌａｙｅｒｓ　表ｌ滤波器个数与正确率的关系　Ｔａｂ．１　Ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｆｉｌｔｅｒｓ　ａｎｄ　ｃｏｒｒｅｃｔ　ｒａｔｅ　尺寸　正确率／％　尺寸　正确率／％　５Ｏ．９Ｏ　１３０　９５．８３　１０８—１３０．１５０　９６．４１　９０　１０８—１０８　９６．２２　１３０．１６０—１９０　９６．５７　在选择好层数和滤波器个数后，在本次实验中使用隐层层　数为１；参考文献［１４］，本次实验使用隐层神经元个数为５００。　３．３训练速度对比　本次实验设计的网络结构是三层卷积神经网络、一个隐　层和一个分类层，分类层分别使用ｓｏｆｔｍａｘ和ＳＶＭ分类器，网　络训练时间分别是８３０．３８　ｍｉｎ和６６４．９１　ｒａｉｎ。可以看出，使　用ＳＶＭ训练时间明显比ｓｏｆｔｍａｘ训练时间短，因为对于　ｓｏｆｔｍａｘ来说，当某类的概率已经大于０．９时，这就意味着分　类正确，然而损失函数会继续计算，直到概率接近１，这样会　造成计算资源的浪费；而ＳＶＭ分类器只专注于那些分类错误　的样本，对已经分类正确的样本不再处理，从而能大幅提高训　练速度，同时还能提高模型的泛化能力，提高识别率。因此后　续实验中的分类层采用ＳＶＭ分类器。　接下来实验使用的网络结构包括三个卷积层、两个隐层　和一个分类层；而对比结构也是三层卷积网络结构，只是每一　层卷积后都使用ＢＮ算法，然后是两个隐层和一个分类层，其　为了验证加入逐层贪婪预训练（ＧＬＰ）方法后比优化前　的三层卷积网络更优，设计两个结构完全一致的网络，均包括　三层卷积、一个隐层和一个分类层，只是在训练方法上不同。　结果显示：优化前的识别率为９７．３６％，优化后的识别率为　９８．０３％。可以看出，使用ＧＬＰ方法的识别率比优化前的三　层卷积识别率要高。在训练深层网络时，经常会遇到局部极　值问题或者梯度弥散问题，当使用反向传播方法计算导数时，　随着网络深度的增加，反向传播的梯度（从输出层到网络的　最初几层）的幅度值会急剧地减小，结果就造成了整体的损　失函数相对于最初几层的权重的导数非常小。这样，当使用　梯度下降法时，最初几层的权重变化非常缓慢，以至于它们不　能够从样本中进行有效的学习。因此，当使用贪婪预训练方　法时。相比随机初始化而言，各层初始权重会位于参数空间中　较好的位置上，然后可以从这些位置出发进一步微调权重。　从经验上来说，以这些位置为起点开始梯度下降更有可能收　敛到比较好的局部极值点，从而使用逐层贪婪训练方法能够　更好地训练网络，使网络达到最优。　尽管本文算法还没有达到官网公布的最优识别率，但是　该算法对原始卷积神经网络进行了优化，用逐层贪婪方法预　训练网络，使网络跳出局部极值；而且在卷积网络中加入ＢＮ　层，把原来的ｓｏｆｔｍａｘ分类器换成了ＳＶＭ分类器，极大地缩减　了训练时间，能快速收敛到最优值。　图４是本次实验训练测试曲线，可以看出，网络在测试之　前参数已经训练到稳定状态，证明结论是可信的。虽然　Ｃｉｒｅｓａｎ等　提出的Ｃｏｍｍｉｔｔｅｅ　ｏｆ　ＣＮＮｓ算法有很高的识别率，　然而该网络需要用４块ＧＰＵ训练３７　ｈ，训练前需进行大量的　预处理，操作复杂；而Ｒａｎｄｏｍ　Ｆｏｒｅｓｔｓ算法、ＡＮＮ算法、ＳＶＭ　算法尽管训练时间短，但识别率并不是很高（各算法的识别　率对比如表２所示）。因此本文算法解决了识别率低、训练时　间长的问题。交通标志识别错误部分，主要是由自然条件比　较差、分辨率太低造成的，今后应该加强数据预处理，使数据　更加清晰，易于识别。　暴　ｅｐｏｃｈ次数　图４训练测试曲线　Ｆｉｇ．４　Ｃｕｒｖｅ　ｏｆ　ｔｒａｉｎｉｎｇ　ａｎｄ　ｔｅｓｔｉｎｇ　５３４　表２各算法识别率对比　Ｔａｂ．２　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅｓ　ｏｆ　ｄｉｆｅｒｅｎｔ　ａｌｇｏｒｉｔｈｍｓ计算机应用　％　％　第３７卷　ｉｓｓｕｅ：Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　Ｒｅｓｅａｒｃｈ——ＩＪＣＮＮ＇０３，２００３，　１６（５／６）：５５５—５５９．　［８］　ＣＩＲＥ￣ＡＮ　Ｄ，ＭＥＩＥＲ　Ｕ，ＭＡＳＣＩ　Ｊ，ｅｔ　ａ１．Ｍｕｌｔｉ－ｃｏｌｕｍｎ　ｄｅｅｐ　ｎｅｕ—　ｒａｌ　ｎｅｔｗｏｒｋ　ｆｏｒ　ｔｒａｆｆｍ　ｓｉｇｎ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ【ｊ］．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，　２０１２，３２：３３３—３３８．　算法　ＳＶＭ　ＡＮＮ　Ｒａｎｄｏｍ　Ｆｏｒｅｓｔｓ　识别率　８１．４７　８９．６３　９６．１４　算法　Ｃｏｎｙ＋ＧＬＰ＋ＢＮ＋ＳＶＭ　Ｃｏｍｍｉｔｔｅｅ　ｏｆ　ＣＮＮｓ　识别率　９８．２４　９９．４６　［９】　ＳＥＲＭＡＮＥＴ　Ｐ，ＬｅＣＵＮ　Ｙ．Ｔｒａｆｆｉｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ｍｕｌｔｉ—ｓｃａｌｅ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｔｗｏｒｋｓ【Ｃ】／／ＵＣＮＮ　２０１　１：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１　１　４　结语　本文提出了基于优化卷积神经网络结构的交通标志识别　算法，并在德国交通标志识别数据库上进行实验，实验结果表　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：　ＩＥＥＥ．２０１１：２８０９—２８１３．　【１０】　ＫｍＺＨＥＶＳＫＹ　Ａ，ＳＵ咧　ｖＦＲ　Ｉ，ＨＩＮＴＯＮ　Ｇ　Ｅ．ＩｍａｇｅＮｅｔ　ｃｌａｓｓｉ—　ｉｆｃａｔｉｏｎ　ｗｉｔｈ　ｄｅｅｐ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒｌａ　ｎｅｔｗｏｒｋｓ【Ｊ］．Ａｄｖａｎｃｅｓ　ｉｎ　明该算法可以提高交通标志的训练速度，同时提高识别率。　本文算法主要对卷积神经网络结构进行了三部分的优化：第　在每一层卷积后面加入了批量归一化层；第二使用逐层贪　一Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ，２０１２，２５（２）：１０９７—１１０５．　【１１】　ＩＯＦＦＥ　Ｓ，ＳＺＥＧＥＤＹ　Ｃ．Ｂａｔｃｈ　ｎｏｒｍａｌｉｚａｔｉｏｎ：ａｃｃｅｌｅｒａｔｉｎｇ　ｄｅｅｐ　ｎｅｔｗｏｒｋ　ｔｒａｉｎｉｎｇ　ｂｙ　ｒｅｄｕｃｉｎｇ　ｉｎｔｅｒｎａｌ　ｃｏｖａｒｉａｔｅ　ｓｈｉｔ【Ｃ】／／ＩＣＭＬ　ｆ２０１５：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｔｈｅ　３２ｎｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａ—　ｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ．Ｎｅｗ　Ｙｏｒｋ：ＡＣＭ，２０１５：４４８—４５６．　。婪预训练方法对网络结构进行训练；第三使用支持向量机进　行分类。下一步工作的目标是在更复杂的背景中，首先准确　地检测出交通标志，然后再识别出交通标志，真正实现交通标　志的实时检测与识别。　【１２】　ＢＥＮＧＩＯ　Ｙ，ＬＡＭＢＬＩＮ　Ｐ，ＰＯＰＯＶＩＣＩ　Ｄ，ｅｔ　ａ１．Ｇｒｅｅｄｙ　ｌａｙｅｒ－ｗｉｓｅ　ｔｒａｉｎｉｎｇ　ｏｆ　ｄｅｅｐ　ｎｅｔｗｏｒｋｓ［Ｃ】／／ＮＩＰＳ　６：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒｌ　Ｉａｆｏｒｎｍａｔｉｏｎ　Ｐｒｏ．　ｅｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ．Ｃａｍｂｒｉｄｇｅ．ＭＡ：Ｍｒｒ　Ｐｒｅｓｓ．２００７：１５３—１６０．　参考文献（Ｒｅｆｅｒｅｎｃｅｓ）　【１１　杨心．基于卷积神经网络的交通标识识别研究与应用【Ｄ】．大　连：大连理工大学，２０１４：３—４．（ＹＡＮＧ　Ｘ．Ｒｅｓｅａｒｃｈ　ａｎｄ　ａｐｐｌｉ－　ｃａｔｉｏｎ　ｏｆ　ｔｒａｆｆｉｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔ－　【１３】ＨＯＵＢＥＮ　Ｓ，ＳＴＡＬＬＫＡＭＰ　Ｊ，ＳＡＬＭＥＮ　Ｊ，ｅｔ　ａ１．Ｄｅｔｅｃｔｉｏｎ　ｏｆ　ｒｔａｆ－　ｉｔｃ　ｓｉｇｎｓ　ｉｎ　ｒｅａｌ—ｗｏｒｌｄ　ｉｍａｇｅｓ：ｔｈｅ　Ｇｅｒｍａｎ　ｔｒａｆｆｉｃ　ｓｉｇｎ　ｄｅｔｅｃｔｉｏｎ　ｗｏｒｋ【Ｄ】．Ｄａｌｉｎ：Ｄａａｌｉａｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，２０１４：３—４．）　ｆ　２１　ＧＲＥＥＮＨＡＬＧＨ　Ｊ，ＭＩＲＭＥＨＤＩ　Ｍ．Ｒｅａｌ—ｔｉｍｅ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒｅｃｏｇ－　ｎｉｔｉｏｎ　ｏｆ　ｒｏａｄ　ｔｒａｆｆｉｃ　ｓｉｎｓ【Ｊ］．ＩＥＥＥ　Ｔｒａｇｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　ｂｅｎｃｈｍａｒｋ［Ｃ］／／ＩＪＣＮＮ　２０１３：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｈｅ　ｔ２０１３　Ｉｎｔｅｒｏａ—　ｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ．Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ，２０１３：７１５—７２２．　Ｔｒａｎｓｐｏｒｔａｔｉｏｎ　Ｓｙｓｔｅｍｓ，２０１２，１３（４）：１４９８—１５０６．　ｆ３１　ＭＥＵＴＥＲ　Ｍ，ＮＵＮＮＹ　Ｃ，ＧＯＲＭＥＲ　Ｓ　Ｍ，ｅｔ　ａ１．Ａ　ｄｅｃｉｓｉｏｎ　ｆｕｓｉｏｎ　【１４】ＱＩＡＮ　Ｒ，ＺＨＡＮＧ　Ｂ，ＹＵＥ　Ｙ，ｅｔ　ａ１．Ｒｏｂｕｓｔ　ｃｈｉｎｅｓｅ　ｔｒａｆｆｉｃ　ｓｉｇｎ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ｄｅｅｐ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｃｕｒａｌ　ｎｅｔｗｏｒｋ　ａｎｄ　ｒｅａｓｏｎｉｎｇ　ｍｏｄｕｌｅ　ｆｏｒ　ａ　ｔｒａｆｆｉｃ　ｓｉｇｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ【Ｊ】．ＩＥＥＥ　Ｔｒｎｓａｃｔｉａｏｎｓ　ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｒｎｓｐｏｒｔａａｔｉｏｎ　Ｓｙｓｔｅｍｓ，２０１　１，１２（４）：　１１２６—１１３４　［Ｃ］／／ＩＣＮＣ　２０１５：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１５　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎ￣ｒ－　ｅｎｃｅ　ｏｎ　Ｎａｔｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ．Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ，２０１５：７９１—７９６．　【４】ＬＯＷＥ　Ｄ　Ｇ．Ｄｉｓｔｉｎｃｔｉｖｅ　ｉｍａｇｅ　ｆｅａｔｕｒｅｓ　ｆｒｏｍ　ｓｃａｌｅ—ｉｎｖａｒｉａｎｔ　ｋｅｙ—　ｐｏｉｎｔｓ『Ｊ】．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，２００４，６０　（２）：９１—１１０．　『５　１　ＢＡＹ　Ｈ，ＴＵＹＴＥＬＡＡＲＳ　Ｔ，ＶＡＮ　ＧＯＯＬ　Ｌ．ＳＵＲＦ：Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ『Ｃ１／／ＥＣＣＶ　２００６：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｈｅ　ｔ９ｔｈ　Ｅｕｍ－　ｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，ＬＮＣＳ　３９５１．Ｂｅｒｌｉｎ：　Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ，２００６：４０４－４１７．　Ｔｈｉｓ　ｗｏｒｋ　ｉｓ　ｐａｒｔｉａｌｌｙ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎ—　ｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ（６１５７３３５７，６１５０３３８２，６１４０３３７０，６１２７３２６７）．　ＷＡＮＧ　Ｘｉａｏｂｉｎ，ｂｏｍ　ｉｎ　１９９０，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｍａｇｅ　ｒｅｃｏｇｎｉｔｉｏｎ，ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ．　ＨＵＡＮＧ　Ｊｉｎｊｉｅ，ｂｏｒｎ　ｉｎ　１９６７，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｎｔｅｌｌｉｇｅｎｔ　ｍｏｄｅｌｉｎｇ，ｏｐｔｉｍｉｚａｔｉｏｎ　ｃｏｎｔｒｏｌ，ｐａｔｔｅｒｎ　ｒｅｃｏｇ—　ｎｉｔｉｏｎ．　ｆ　６１　ＤＡＬＡＬ　Ｎ，ＴＲＩＧＧＳ　Ｂ．Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　ｏｒｉｅｎｔｅｄ　ｇｒａｄｉｅｎｔｓ　ｆｏｒ　ｈｕｍａｎ　ｄｅｔｅｃｔｉｏｎ『Ｃ１／／ＣＶＰＲ　Ｄ５：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００５　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．　Ｗａｓｈｉｎｇｔｏｎ．ＤＣ：ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ，２００５，１：８８６—８９３．　【７】　ＭＡＴＳＵＧＵ　Ｍ，ＭＯＲＩ　Ｋ，ＭＩＴＡＲＩ　Ｙ，ｅｔ　ａ１．Ｓｕｂｊｅｃｔ　ｉｎｄｅｐｅｎｄｅｎｔ　ｆａ。　ｃｉｌ　ｅｘｐｒｅｓｓｉａｏｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ｒｏｂｕｓｔ　ｆａｃｅ　ｄｅｔｅｃｔｉｏｎ　ｕｓｉｎｇ　ａ　ｃｏｎｖｏ。　ＬＩＵ　Ｗｅｎｊｕ，ｂｏｒｎ　ｉｎ　１９６０，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒ－　ｅｓｔｓ　ｉｎｃｌｕｄｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｓｐｅｅｃｈ　ｅｎｈａｎｃｅｍｅｎｔ，ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ，　ｓｏｕｎｄ　ｓｏｕｒｃｅ　ｌｏｃａｌｉｚａｔｉｏｎ，ｓｏｕｎｄ　ｅｖｅｎｔ　ｄｅｔｅｃｔｉｏｎ，ｉｍａｇｅ　ｒｅｃｏｇｎｉｔｉｏｎ．　ｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ【Ｊ　１．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ一２００３　Ｓｐｅｃｉａｌ　（上接第５２９页）　［１８】　ＦＡＮＧ　Ｈ—Ｌ，ＲＯＳＳ　Ｐ，ＣＯＲＮＥ　Ｄ．Ａ　ｐｒｏｍｉｓｉｎｇ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ａｐｐｒｏａｃｈ　ｔｏ　ｊ０ｂ・ｓｈｏｐ　ｓｃｈｅｄｕｌｉｎｇ，ｒｅ—ｓｃｈｅｄｕｌｉｎｇ　ａｎｄ　ｏｐｅｎ。ｓｈｏｐ　ｓｃｈｅｄｕｌｉｎｇ　ｐｒｏｂｌｅｍｓ【Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍｓ．Ｓａｎ　Ｍａｔｅｏ，ＣＡ：Ｍｏｒｇａｎ　Ｋａｕｆ－　ｍａｒｉａ　Ｐｕｂｌｉｓｈｅｒｓ，１９９３：３７５—３８２．　Ｔｈｉｓ　ｗｏｒｋ　ｉｓ　ｐａｒｔｉｌｌｙ　ｓｕｐｐｏｓｅｄ　ｂｙ　ｔｈｅ　Ｓｃｉａｅｎｔｉｉｃ　Ｒｅｓｅａｒｆｃｈ　Ｆｕｎｄ　ｂｙ　Ｓｈａａｎｘｉ　Ｐｒｏｖｉｎｃｉａｌ　Ｅｄｕｃａｔｉｏｎ　Ｄｅｐａｒｔｍｅｎｔ（１５ＪＫ１３１　１），Ｒｅｓｅａｒｃｈ　Ｓｔａｒｔ—ｕｐ　Ｆｕｎｄ　ｆｏｒ　Ｄｏｃｔｏｒ　ｏｆ　Ｘｉ’ａｎ　Ｐｏｌｙｔｅｃｈｎｉｃ　Ｕｎｉｖｅｒｓｉｔｙ（ＢＳ１３０１），Ｉｎｎｏｖａｔｉｏｎ　Ｆｕｎｄ　ｆｏｒ　Ｇｒａｄｕａｔｅ　Ｓｔｕｄｅｎｔｓ　ｏｆ　Ｘｉ’ｎ　Ｐｏｌａｙｔｅｃｈｎｉｃ　Ｕｎｉｖｅｒｓｉｔｙ（ＣＸ２０１６２８）．　ＳＯＮＧ　Ｓｈｕａｎｊｕｎ，ｂｏｒｎ　ｉｎ　１９７４，Ｐｈ．Ｄ．　ａｓｓｏｃｉａｔｅ　ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｏｆ　ｐｒｏｄｕｃｔｉｏｎ　ｓｙｓｔｅｍ，ｓｕｐｐｌｙ　ｃｈａｉｎ　ｍａｎａｇｅｍｅｎｔ．　【１９】　ＭＯＲＡＤ　Ｎ，ＺＡＬＺＡＬＡ　Ａ　Ｍ　Ｓ．Ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍｓ　ｉｎ　ｉｎｔｅｇｒａｔｅｄ　ｐｒｏｃｅｓｓ　ｐｌａｎｎｉｎｇ　ａｎｄ　ｓｃｈｅｄｕｌｉｎｇ【Ｊ】．Ｊｏｕｒｎａｌ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｍａｎｕ。　ｆａｃｔｕｒｉｎｇ，１９９９，１０（２）：１６９—１７９．　［２０】　ＦＵＪＩ　Ｎ，ＩＮＯＵＥ　Ｒ，ＵＥＤＡ　Ｋ．Ｉｎｔｅｇｒａｔｉｏｎ　ｏｆ　ｐｒｏｃｅｓｓ　ｐｌａｎｎｉｎｇ　ａｎｄ　ＹＡＮＧ　Ｐｅｉｌｉ．ｂｏｒｎ　ｉｎ　１９９２，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｏｆ　ｐｒｏｄｕｃｔｉｏｎ　ｓｙｓｔｅｍ．　ＳＨＩ　Ｗｅｎｌｉ，ｂｏｒｎ　ｉｎ　１９９１，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｓｕｐｐｌｙ　ｃｈａｉｎ　ｍａｎａｇｅｍｅｎｔ．　ｓｃｈｅｄｕｌｉｎｇ　ｕｓｉｎｇ　ｍｕｈｉ—Ａｇｅｎｔ　ｌｅａｒｎｉｎｇ【Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　４１ｓｔ　ＣＩＲＰ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｎｕｆａｃｔｕｒｉｎｇ　Ｓｙｓｔｅｍｓ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－　Ｖｅｒｌａｇ，２００８：２９７—３００．