(12)发明专利申请
(10)申请公布号 CN 110298227 A(43)申请公布日 2019.10.01
(21)申请号 201910306620.0(22)申请日 2019.04.17
(71)申请人 南京航空航天大学
地址 210016 江苏省南京市秦淮区御道街
29号(72)发明人 孙涵 杨健 沈家全
(74)专利代理机构 南京经纬专利商标代理有限
公司 32200
代理人 施昊(51)Int.Cl.
G06K 9/00(2006.01)G06F 16/50(2019.01)G06N 3/04(2006.01)
权利要求书2页 说明书6页 附图5页
(54)发明名称
一种基于深度学习的无人机航拍图像中的车辆检测方法(57)摘要
本发明公开了一种基于深度学习的无人机航拍图像中的车辆检测方法。首先，采集无人机航拍图像，并对其中的车辆进行标注，获得车辆数据库；然后，将获得的车辆数据库送入深度学习网络进行训练，直至深度学习网络收敛；最后，利用训练好的深度学习网络和权重文件来检测测试图像中的车辆目标，并输出检测结果。本发明精度高、鲁棒性好，克服了传统图像处理算法在车辆检测过程中难以解决的环境干扰、光照等难题。
CN 110298227 ACN 110298227 A
权 利 要 求 书
1/2页
1.一种基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，包括以下步骤：
(1)采集无人机航拍图像，并对其中的车辆进行标注，获得车辆数据库；(2)将获得的车辆数据库送入深度学习网络进行训练，直至深度学习网络收敛；(3)利用训练好的深度学习网络和权重文件来检测测试图像中的车辆目标，并输出检测结果。
2.根据权利要求1所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，在步骤(1)中，对采集的无人机航拍图像进行预处理：丢掉不包含车辆目标的图像以及车辆目标显示不到一半的图像，然后对剩余的每张图像进行裁剪、旋转和标记。
3.根据权利要求2所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，在步骤(1)中，将每张航拍图像经过有重叠地裁剪得到若干图片块，将每个图片块进行45°、135°、225°、315°旋转。
4.根据权利要求1所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，所述深度学习网络为改进的Faster R-CNN网络，改进的Faster R-CNN网络结构如下表所示：
训练数据或测试数据从第0层卷积层输入网络，依次经过0,1,2,…,23层处理，最终从第23层全连接层输出。
2
CN 110298227 A
权 利 要 求 书
2/2页
5.根据权利要求4所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，步骤(2)的具体过程如下：
(201)将车辆数据库作为训练数据送入改进的Faster R-CNN网络，选取ImageNet数据库训练好的VGG16模型作为预训练模型，设置网络训练的学习率迭代次数以及batch size值；
(202)训练数据首先经过卷积层，之后分别送入连接层和融合层，然后连接层和融合层输出的特征图在超融合层结合成为高层共享特征图；
(203)将高层共享特征图输入RPN网络，首先经过3*3卷积、1*1卷积，生成anchor，然后通过softmax分类器提取前景anchors，再对前景anchors进行边界框回归，最后在proposal层生成候选框；
(204)将步骤(202)中产生的高层共享特征图与步骤(203)中产生的候选框数据输入RoI池化层，使得高层共享特征图中的候选框区域成为固定长度的输出特征；
(205)将步骤(204)中产生的输出特征通过全连接层与softmax层，计算每个候选框含有车辆的概率，同时利用边界框回归获得每个候选框的位置偏移量，用于回归更加精确的目标检测框；
(206)当达到最大迭代次数时或损失图像中损失达到了收敛状态时，结束训练，获得用于车辆检测的改进的Faster R-CNN网络和权重文件。
6.根据权利要求5所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，在步骤(202)中，将conv3、conv4和conv5提取的特征送入连接层，在连接层中进行Concat操作，在不同维度的特征映射上执行特征融合；将conv3、conv4和conv5提取的特征送入融合层，在融合层中进行Eltwise操作，融合多级特征；将连接层和融合层输出的特征图在超融合层通过Eltwise操作合并。
7.根据权利要求5所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，在步骤(203)中，使用的anchor尺寸包括64*32、128*64、192*96、32*32、64*64、96*96、32*64、64*128和96*192。
8.根据权利要求5所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，步骤(3)的具体过程如下：
(301)将测试图像送入改进的Faster R-CNN网络，按照步骤(203)得到高层共享特征图；
(302)将高层共享特征图送入RPN网络，得到的输出再与高层共享特征图一起送入全连接层做预测，最终输出预测边界框，得到每个边界框的回归位置和置信度；
(303)设置一个阈值，过滤低分边界框，使用非极大值抑制法处理剩余边界框，之后通过分类器得到最终的检测结果。
9.根据权利要求1-8任意一项所述基于深度学习的无人机航拍图像中的车辆检测方法，其特征在于，测试图像输入深度学习网络之前，先进行有重叠地裁剪，保证每个图片块边沿的车辆总能在其余图片块中有完整的外观。
3
CN 110298227 A
说 明 书
1/6页
一种基于深度学习的无人机航拍图像中的车辆检测方法
技术领域
[0001]本发明属于计算机视觉技术领域，特别涉及了一种无人机航拍图像中的车辆检测方法。
背景技术
[0002]随着社会经济的发展，交通事业在迅速发展，车辆数量庞大，并且仍然在逐年增长，造成交通事故、车辆拥堵、车辆混乱等现象的频率也越来越高。这些交通问题严重影响了居民的日常出行，增加了地面交通疏导工作的负担。虽然目前城市关键节点上都装有摄像头，但是这无法直观显示整条道路的交通状况。由于无人机的便携性和灵活性，利用无人机进行车辆的精确定位和识别，在检测道路交通状况发挥巨大优势。[0003]目前，车辆检测算法主要有基于手工提取特征的车辆检测算法和基于深度学习的车辆检测算法等。其中基于手工提取特征的车辆检测算法更常用于静态图像检测，而基于深度学习的车辆检测算法则适用于运动和静态的车辆检测。[0004]目前，对于基于特征的车辆检测算法通常需要图像预处理、图像特征提取、图像分类等步骤。Liu Kang等人提出采用快速二元检测器，采用软级联结构中的积分通道特征，然后采用多级分类器获得车辆的方向和类型，能够有效地检测出图像中的车辆。但是该方法采用手工提取特征，特征表示能力有限，另外由于使用滑动窗口的方法，计算开销大。Shaoqing Ren等人提出基于深度学习的目标检测算法Faster R-CNN，该方法将Fast R-CNN和RPN网络结合，能有效提取到高层特征信息，然后进行目标检测，有较强的鲁棒性与应用性。不过该方法适用于自然图像，对于尺寸大且含有大量小目标物的航拍图像无法很好捕捉到车辆。Nassim等人提出将航拍图像分割成相似区域，并确定车辆的候选区域，然后根据卷积神经网络和SVM分类器定位和分类目标。该方法可以通过分割候选区域来提高检测速度，但很容易受到阴影区域的影响，并且检测的召回率不高。Gong Cheng等人提出了RICNN算法进行航拍图像中的目标检测，该算法对旋转不变层进行了训练，然后对整个RICNN网络进行了特殊的微调，以进一步提高检测性能。但是，该算法也明显增加了网络开销。Tianyu Tang等人提出了HRPN网络，并且在数据集中添加负样本标记，完成了在航拍图像中进行车辆检测的任务。HRPN将不同网络层的特征融合，提高了检测精度。但是，该算法只结合了部分浅层的特征，而且很容易受到图像分辨率的影响，算法的有效性较差。发明内容
[0005]为了解决上述背景技术提到的技术问题，本发明提出了一种无人机航拍图像中的车辆检测方法，让车辆检测具有更好的适应性和可应用性。[0006]为了实现上述技术目的，本发明的技术方案为：
[0007]一种基于深度学习的无人机航拍图像中的车辆检测方法，包括以下步骤：[0008](1)采集无人机航拍图像，并对其中的车辆进行标注，获得车辆数据库；[0009](2)将获得的车辆数据库送入深度学习网络进行训练，直至深度学习网络收敛；
4
CN 110298227 A[0010]
说 明 书
2/6页
(3)利用训练好的深度学习网络和权重文件来检测测试图像中的车辆目标，并输
出检测结果。
[0011]进一步地，在步骤(1)中，对采集的无人机航拍图像进行预处理：丢掉不包含车辆目标的图像以及车辆目标显示不到一半的图像，然后对剩余的每张图像进行裁剪、旋转和标记。
[0012]进一步地，在步骤(1)中，将每张航拍图像经过有重叠地裁剪得到若干图片块，将每个图片块进行45°、135°、225°、315°旋转。[0013]进一步地，所述深度学习网络为改进的Faster R-CNN网络，改进的Faster R-CNN网络结构如下表所示：
训练数据或测试数据从第0层卷积层输入网络，依次经过0,1,2,…,23层处理，最
终从第23层全连接层输出。[0015]进一步地，步骤(2)的具体过程如下：[0016](201)将车辆数据库作为训练数据送入改进的Faster R-CNN网络，选取ImageNet数据库训练好的VGG16模型作为预训练模型，设置网络训练的学习率迭代次数以及batch size值；[0017](202)训练数据首先经过卷积层，之后分别送入连接层和融合层，然后连接层和融合层输出的特征图在超融合层结合成为高层共享特征图；[0018](203)将高层共享特征图输入RPN网络，首先经过3*3卷积、1*1卷积，生成anchor，
5
[0014]
CN 110298227 A
说 明 书
3/6页
然后通过softmax分类器提取前景anchors，再对前景anchors进行边界框回归，最后在proposal层生成候选框；[0019](204)将步骤(202)中产生的高层共享特征图与步骤(203)中产生的候选框数据输入RoI池化层，使得高层共享特征图中的候选框区域成为固定长度的输出特征；[0020](205)将步骤(204)中产生的输出特征通过全连接层与softmax层，计算每个候选框含有车辆的概率，同时利用边界框回归获得每个候选框的位置偏移量，用于回归更加精确的目标检测框；[0021](206)当达到最大迭代次数时或损失图像中损失达到了收敛状态时，结束训练，获得用于车辆检测的改进的Faster R-CNN网络和权重文件。[0022]进一步地，在步骤(202)中，将conv3、conv4和conv5提取的特征送入连接层，在连接层中进行Concat操作，在不同维度的特征映射上执行特征融合；将conv3、conv4和conv5提取的特征送入融合层，在融合层中进行Eltwise操作，融合多级特征；将连接层和融合层输出的特征图在超融合层通过Eltwise操作合并。[0023]进一步地，在步骤(203)中，使用的anchor尺寸包括64*32、128*64、192*96、32*32、64*64、96*96、32*64、64*128和96*192。[0024]进一步地，步骤(3)的具体过程如下：[0025](301)将测试图像送入改进的Faster R-CNN网络，按照步骤(203)得到高层共享特征图；[0026](302)将高层共享特征图送入RPN网络，得到的输出再与高层共享特征图一起送入全连接层做预测，最终输出预测边界框，得到每个边界框的回归位置和置信度；[0027](303)设置一个阈值，过滤低分边界框，使用非极大值抑制法处理剩余边界框，之后通过分类器得到最终的检测结果。[0028]进一步地，测试图像输入深度学习网络之前，先进行有重叠地裁剪，保证每个图片块边沿的车辆总能在其余图片块中有完整的外观。[0029]采用上述技术方案带来的有益效果：[0030]本发明较之现有技术更易实现，对于无人机航拍图像质量要求不高，对光照等引起图像畸变的外部环境影响有较高的鲁棒性，能够提取航拍图像中小目标的深层特征，最终保证了航拍图像中车辆的检测效率高、精度高，同时兼顾实用性和可靠性。附图说明
[0031]图1是本发明的整体流程图；[0032]图2是本发明步骤1的流程图；[0033]图3是本发明步骤2的流程图；[0034]图4是本发明步骤3的流程图；[0035]图5和图6是实施例中的测试图；[0036]图7和图8是实施例中的检测结果图。
具体实施方式
[0037]以下将结合附图，对本发明的技术方案进行详细说明。
6
CN 110298227 A[0038]
说 明 书
4/6页
本发明设计的基于深度学习的无人机航拍图像中的车辆检测方法，如图1所示，包
括以下步骤：[0039]步骤1：采集无人机航拍图像，并对其中的车辆进行标注，获得车辆数据库；[0040]步骤2：将获得的车辆数据库送入深度学习网络进行训练，直至深度学习网络收敛；
[0041]步骤3：利用训练好的深度学习网络和权重文件来检测测试图像中的车辆目标，并输出检测结果。
[0042]在本实施例中，步骤1采用如下优选方案：[0043]如图2所示，对采集的无人机航拍图像进行预处理：丢掉不包含车辆目标的图像以及车辆目标显示不到一半的图像，然后对剩余的每张图像进行裁剪、旋转和标记。[0044]将每张航拍图像经过有重叠的裁剪得到11*10个的图片块，每块大小为702*624，将每个图片块进行45°、135°、225°、315°旋转，得到最终的训练图像数据集。进行旋转的目的在于扩充训练数据集，同时提高训练数据集中的样本多样性。[0045]在本实施例中，步骤1采用如下优选方案：[0046]首先，深度学习网络采用改进的Faster R-CNN网络，表1为现有的Faster R-CNN网络结构，表2为改进的Faster R-CNN网络结构。[0047]表1
[0048]
[0049]
[0050]
表2
7
CN 110298227 A[0051]
说 明 书
5/6页
SourceTypeFiltersSize/StrideInputData卷积层643*3/10卷积层643*3/11池化层 2*2/22卷积层1283*3/13卷积层1283*3/14池化层 2*2/25卷积层2563*3/16卷积层2563*3/17卷积层2563*3/18池化层 2*2/29卷积层5123*3/110卷积层5123*3/111卷积层5123*3/112池化层 2*2/213卷积层5123*3/114卷积层5123*3/115卷积层5123*3/19,13,15连接层 9,13,15融合层 17,18超融合层 19卷积层5123*3/119,20RoI池化层 21全连接层 22全连接层
[0052]如图3所示，步骤2的具体展开步骤如下：[0053]步骤201：将车辆数据库作为训练数据送入改进的Faster R-CNN网络，选取ImageNet数据库训练好的VGG16模型作为预训练模型，设置网络训练的学习率迭代次数以及batch size值。[0054]步骤202：训练数据首先经过卷积层，之后分别送入连接层和融合层，然后连接层和融合层输出的特征图在超融合层结合成为高层共享特征图。[0055]进一步地，将conv3、conv4和conv5提取的特征送入连接层，连接层中进行Concat操作，在不同维度的特征映射上执行特征融合，此操作通过融合学习权重获得目标架构信息，可以减少背景噪声对检测性能的影响，增加特征图的表示能力。[0056]进一步地，将conv3、conv4和conv5提取的特征送入融合层，融合层中进行Eltwise操作，融合多级特征，此操作能够提高场景信息的利用率。[0057]进一步地，将连接层和融合层输出的特征图在超融合层通过Eltwise操作合并。由于在多次卷积后，容易丢失车辆目标丰富的细节信息，改进的Faster R-CNN网络在超融合
8
Layer01234567891011121314151617181920212223
CN 110298227 A
说 明 书
6/6页
层把这些信息聚合起来，使得浅层更丰富的语义信息向后传递，融合多级特征，获得目标车辆更加深层的语义信息。[0058]步骤203：将高层共享特征图输入RPN网络，首先经过3*3卷积、1*1卷积，生成anchor，然后通过softmax分类器提取前景anchors，再对前景anchors进行边界框回归，最后在proposal层生成候选框。[0059]进一步地，为了获得准确的车辆目标候选边界框，本发明改进的Faster R-CNN使用的anchor尺寸为64*32、128*64、192*96、32*32、64*64、96*96、32*64、64*128、96*192。由于在航拍图像中目标尺寸过小，难以检测到车辆，因此设计更小尺寸的anchor，解决车辆难以检测的问题，最终从RPN网络中输出车辆目标候选边界框数据。[0060]步骤204：将步骤202中产生的高层共享特征图与步骤203中产生的候选框数据输入RoI池化层，使得高层共享特征图中的候选框区域成为固定长度的输出特征。[0061]步骤205：将步骤204中产生的输出特征通过全连接层与softmax层，计算每个候选框含有车辆的概率，同时利用边界框回归获得每个候选框的位置偏移量，用于回归更加精确的目标检测框。[0062]步骤206：当达到最大迭代次数时或损失图像中损失达到了收敛状态时，结束训练，获得用于车辆检测的改进的Faster R-CNN网络和权重文件。[0063]在本实施例中，步骤3采用如下优选方案：[0064]如图4所示：[0065]步骤301：将测试图像送入改进的Faster R-CNN网络，按照步骤203得到高层共享特征图；
[0066]步骤302：将高层共享特征图送入RPN网络，得到的输出再与高层共享特征图一起送入全连接层做预测，最终输出预测边界框，得到每个边界框的回归位置和置信度；[0067]步骤303：设置一个阈值，过滤低分边界框，使用非极大值抑制法处理剩余边界框，之后通过分类器得到最终的检测结果。[0068]进一步地，测试图像在输入深度学习网络之前需要进行预处理：有重叠地裁剪成11*10个图片块，每块大小为702*624，有重叠地裁剪保证了每个图片块边沿的车辆总能在其余图片块中有完整的外观，使网络能检测到相应目标车辆。[0069]图5和图6为两幅无人机航拍的包含车辆目标的图像，将两幅图输入训练好的改进的Faster R-CNN网络中，得到的检测结果分别如图7和图8所示。经检验，本发明对车辆检测的准确率能够达到89.7％，对于不同类型的车辆检测适应性较广，对于由于无人机航拍拍摄原因产生的畸变、光照影响等同样具有较好的效果，适用于多个车辆的检测。[0070]实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
9
CN 110298227 A
说 明 书 附 图
1/5页
图1
图2
10
CN 110298227 A
说 明 书 附 图
2/5页
图3
11
CN 110298227 A
说 明 书 附 图
3/5页
图4
12
CN 110298227 A
说 明 书 附 图
4/5页
图5
图6
图7
13
CN 110298227 A
说 明 书 附 图
5/5页
图8
14
因篇幅问题不能全部显示，请点此查看更多更全内容