基于形状模板匹配的冲压件外形缺陷检测算法研究

第

文章编号：

Journal of Guangzhou University (Natural Science Edition)

广州大学学报（自然科学版）

Vol.16 No. 5

Oct. 2017

1671-4229 (2017) 05-0062-05

基于形状模板匹配的冲压件外形缺陷检测算法研究

李永敬，朱萍玉’，孙孝鹏，谢啸博，王野天

(广州大学机械与电气工程学院，广

东广州

510006)

摘要：针对流水线上冲压件外形缺陷的自动检测，提出一种基于形状模板匹配的检测方法.①以背向照明的

方式离线获取标准冲压件图像，并通过最大类间方差法（Otsu)与形态学等操作建立形状匹配模板，检测R0I和 缺陷检测模板②在线采集待测工件图像，并利用形状模板匹配算法查找待测工件在图像中的位置与旋转角 度③利用仿射变换配准检测鲁棒性

;

;

R0I和缺陷检测模板，并进行外形提取和动态阈值获取缺陷.实验结果表明，该方

法可有效提取待测冲压件的外形特征，进而得到缺失、变形和毛刺等多种外形缺陷，其检测速度快，具有较好的

.

：TH 391.41

文献标志码

关键词：冲压件；外形缺陷检测；形状模板匹配；机器视觉应用 中图分类号

：A

自动检测方法.该方法可准确获取待测工件的形 状特征（缺失、变形和毛刺等多种外形缺陷），检测 速度快，鲁棒性较强.

随着工业智能制造与传感器技术水平的提 高，对生产过程中产品质量检测以及自动化生产 的程度要^^越来越高.但目前冲压生产线上的缺 陷检测主要还停留在人工目测的阶段.该方法不 仅检测速度慢、效率低，而且只能定性判断工件是 否合格，质量难以保证，需要实现高速有效的自动 化检测以替代传统的检测[1 .

机器视觉技术作为一门利用摄像机代替人眼 来做测量和判断的技术，目前被广泛应用于工业 制造、精密测量、车辆航天等领域，具有速度快、精 度高、非接触等优点，可以克服人工检测方式的不 足，提高工件生产的产品质量和自动化程度. 冲压件存在的缺陷主要分为外形缺陷和表面缺 陷，如毛刺、缺失、划痕、压痕和白印等.目前，黄柳 倩[1]运用形态学操作与低通滤波图像求差的方法 得到平面类冲压件的外形缺陷与表面缺陷；陈海 永等W采用HU不变矩轮廓匹配和面积匹配算法 检测得到异形冲压件的外形轮廓缺陷;徐信[3]采 用基于灰度值匹配和局部动态阈值分割的方法得 到半球形冲压件的表面缺陷；胡涛等[4]采用基于 轮廓特征的配准方法得到PCB的轮廓缺陷.上述 方法可获取零件的表面缺陷或轮廓缺陷，而本文 则基于形状模板匹配提出一种冲压件外形缺陷的

1图像采集与算法流程

图像采集装置

照明方式是影响图像质量的关键因素，其设

1.1

计的好坏将直接影响解决方法的成败.因此，为了 凸显零件的形状特征，本检测系统采用背向照明 的图像采集方式.其硬件位置结构见图1，主要包 括支架、工业相机、镜头、工件、玻璃盘、背光光源、

1图像采集装置

Fig. 1 The image acquisition device

图

2017 -05 -31

基金项目I广州市科技计划资助项目（201607010292)作者简介：李永敬（1992—),男，硕士權f究生.E-mail:ajinglee@ 163. com * 通信作者.* E-mail :pyzhu@ gzhu. edu. cn

收稿日期：

修回日期：

2017 -05 -05;

第5期李永敬等:基于形状模板匹配的冲压件外形缺陷检测算法研究

63

计算机以及显示器.其特征在于，检测工件和背光 光源分别置于透明玻璃盘上下方，而工件相机位 于检测工件的正上方，镜头为定焦镜头，可采集图 像到计算机进行处理.采集图2a所示工件的图像 见图2b，可见工件区域与背景对比明显，能有效凸 显工件的形状特征，极大方便后续的图像处理 工作.

a冲压件

b获取图像

图

2背光获取图像

Fig. 2 The acquired image with back lighting

1.2

外形缺陷检测流程

冲压件外形缺陷检测流程见图3，可分为离线

建立标准模板和在线检测缺陷2部分.其缺陷检 测原理是:①通过工业相机离线获取标准工件图 像，并通过交互式ROI、中值滤波、Otsu阈值（文献

[7 和形态学处理等操作，建立标准形状匹配模 板、检测ROI和缺陷检测模板;②在线采集待测工 件图像，并利用形状模板匹配算法查找待测工件 在图像中的位置与旋转角度;③根据得到的位置

冲压件外形缺陷检测流程离线

r

在线

采集标准工件图像采集待测工件图像

交互式

ROlj

感兴趣区域图像

中值滤波图像一

中值滤波图像形状匹配模板

Otsu自

动阈值区域」

形状模板匹配算法

1.2倍最

小外接圆检测

ROI

丁

白色像素填充

配准检测

ROI

缺陷检测模板

配准缺陷检测模板

缺陷检测区域

,灰度动态阈值外形缺陷

图

3冲£^件外形缺陷检测流程图

Fig. 3 The flow chart of detection on shape defects stamping

parts

信息配准检测ROI和缺陷检测模板，结合外形特 征提取与动态阈值处理以实现冲压件外形区域 缺陷检测的功能.

2离线建立标准模板

2. 1

建立形状匹配模板

形状匹配模板的建立可分为3个步骤::①通

过交互式ROI在图2b中选取标准工件所在区域 图像，见图4;②对框选图像进行中值滤波，以降低 背景噪声的影响；③采用最大类间方差法（OtSU ) 阈值分割目标形状，并截取最大连通区域所在图

像作为形状匹配模板.这样处理的好处在于可尽 量缩小匹配模板的范围，以提高模板匹配算法的 速度，并设模板中心的坐标为A) U，Jo).

图

4选取标准工件

Fig. 4 Select standard workpiece

2. 2建立检测ROI与缺陷检测模板

利用形状模板匹配算法检测得到待测工件在

图像的中心位置与旋转角度后，需进一步确定提

取工件形状特征的检测ROI.考虑到不同尺寸形 状工件应具有不同的检测ROI，于是提出一^种基 于区域形态学确定检测ROI的方法，即以标准工 件形状区域的最小外接矩形、最小外接圆和凸集 等为基础建立具有一^定适应性的检测ROI.在本 例中获取工件形状区域的最小外接圆，并以标准 工件的中心为圆心，直径为1.1倍最小外接圆直 径的圆作为检测ROI.缺陷检测模板的建立则需 要将检测ROI内工件区域外的部分用白色像素填 充，见图5.

图

5缺陷检测模板

Fig. 5 Defect detection template

广州大学学报（自然科学版)

第16卷

3在线检测外形缺陷

3.1形状模板匹配

在线采集待测工件的图像，并对中值滤波后

的图像进行模板匹配查找待测工件在图像中的位 置与旋转角度.因匹配算法的模板为形状不规则 的冲压件，故主要考虑基于像素的形状模板匹配 算法[8_9].该算法以模板中所有点的方向向量与 图像中相应点处的方向向量的点积的总和为度量 评估，不受遮挡、混乱和非线性光照等的影响，而 且匹配速度快，位置精度高.其匹配的过程步骤：

(1)将标准工件的模板定义为点集凡=(^， 3〇T和每个点关联的方向向量< == 1，

…，、方向向量可通过Sobel算子得到.

(2)待测工件的图像也用Sobel算子计算得到 图像中的每个点（r，c)的一个方向向量= (2^，C〇r

T

(3)对标准工件模板进行仿射变换，将仿射变 换的平移部分分离出去.线性变换模型可以通过 点以及相应的变换后的方向向量，t =

(A-1) 得到，其中A为二阶标准旋转矩阵•

^

(cos沒 -sin^\\\\ sin^

cosd j(4)对于待测图像中的某个特定点9 = (>，c)T 处，计算变换后模板中所有点的方向向量与图像 中相应点的方向向量的点积的总和，并以此作为 匹配分值，1 等式如下：

71 1 〃

5 = ~^^dJeg+P' = ~^^tfiVr + r',c+c' + U\\^r + r',c+c'

(1)

另外，将方向向量进行归一化，相似度不受任意光

照变化的影响，归一化等式见式(2):

归一化相似度量都将返回一个小于1的潜在 匹配对象的分值.在所有情况下，如果分值为1则 表示模板与图像之间完美一致.如果物体有50% 的轮廓缺陷，分值不会超过〇. 5，可根据实际需求 设置一个需要外形缺陷检测的最低得分.由于在 整个图像中计算相似度是一个非常耗时的工作， 可采用金字塔分层搜索和加速终止策略以加快匹

配的速度[1°].

3.2外形缺陷检测

经过形状模板匹配可得到待测工件中心在图

像中的位置A (A)与相对标准工件的旋转角度

A配准的过程需要对检测ROI和缺陷检测模板进 行式(3)所示仿射变换，其中（A%，Ay)为相对位移.

cos 汐一sin 汐

Axy1 = sin 〇 cos 汐

Ay y0

(3)

1

〇 o

il

经过仿射变换的检测R〇I配准到待测工件图

像见图6.然后对该区域内图像进行Otsu阈值，并选 取其中面积最大的连通区域作为待检工件的外形 特征.提取外形特征后将检测R0I内待测工件外部 分用白色像素填充，得到缺陷检测区域，见图7.

图

6配准检测R0I

Fig. 6 Registration of ROI detection

图

7

缺陷检测区域

Fig. 7 Defect detection area

配准后的缺陷检测模板与缺陷检测区域里的 工件区域具有相同的位姿，通过简单的区域相减 即可得到缺陷区域[1’11].但由于边缘位置的灰度 变化梯度大，采用Otsu阈值得到的形状区域容易 在边缘区域出现误检，见图8.因此，提出采用动态 阈值的方法获取缺陷，即将缺陷检测模板和缺陷 检测区域上的每个点进行灰度比对，并在边缘位

置采用较大的阈值.边缘阈值设置为边缘位置方 向向量的大小，并乘上度量因子.设〗(％，y)为缺陷 检测模板上点的灰度值，〃（％，y)为缺陷检测模板

边缘位置方向向量的大小，&为阈值上限，a,为阈 值下限，k为方向向量上限因子A为方向向量下 限因子人为检测位置允许的灰度上限A为检测 位置允许的灰度上限，则

第5期李永敬等:基于形状模板匹配的冲压件外形缺陷检测算法研究

65

tu(x^y) +max\\au,bllv(x,y)\\ (4)t}(x,y) =i(x,y) - max\\ aj ,bjv(x ,y) \\ (5)

设待测工件的缺陷检测区域上点的灰度值为

以、/)，若满足:c(x,y) >tu(x,y) \\1 c(x,y) (6)

则判断为缺陷点.通过灰度比对的方法能有效减 少边缘灰度剧变带来的影响，检测效果见图9,可 有效减少边缘梯度变化大造成的影响.

图

9动态阈值

Fig. 9 Dynamic threshold

4实验结果分析

采用MVTec公司的HDevelop机器视觉软件

实现上述的功能，其中，以图2工件作为标准工 件，构建搜索金字塔的层数为5，匹配的最低得分 为0. 5,检测ROI为1. 1倍的最小外接圆，灰度比 对阈值上下限为50,方向向量上下限因子为30. 部分检测的效果见图10〜图13.

图

10缺失缺陷

Fig. 10 Deletion defect

图

11变形缺陷

Fig. 11 Deformation defect

图

12毛刺缺陷

Fig. 12 Veining defect

图

13多工件检测

Fig. 13 Multi stamping parts detection

从图10〜图13可见，该算法能有效检测得到 不同姿态位置下冲压件的缺失、变形和毛刺等外 形缺陷，可对其缺陷的数量和面积大小进行进一 步的质量评估，而且不受邻近工件影响.工业检测 中，检测速度是算法所要考虑的重要性能之一

，一

般需要达到毫秒级别.而算法的时间与图像的大 小和计算机处理器等密切相关.测试用计算机处 理器为 Inter corei3-2310M 2. 10 GHz，4 G RAM，模 板图像的面积为636 357个像素，搜索图像的大小 为2 448 pixel x 2 048 pixel.对300张图片进行在 线缺陷检测，得到一个工件的乎均检测总时间为 201.83 ms，其中单张图像的匹配时间为36. 57 ms， 单个工件的平均缺陷检测时间为165.26 ms，达到 工业生产线检测速度的要求.

5结论

基于形状模板匹配算法，实现对流水线上冲

压件外形缺陷的自动检测.该方法采用背光照明

的方式可有效凸显工件的外形特征，极大地方便 了处理的过程，提高了检测的稳定性;采用基于区 域形态学建立适应性检测R0I的方法可有效提取 待测工件的形状特征;采用动态阈值的方式可有 效克服由于边缘灰度变化大造成的影响，进而有 效得到不同位姿冲压件的变形、缺失和毛刺等多 种外形缺陷信息.该检测算法检测速度快，鲁棒性 较强，有利于促进冲压件生产线缺陷检测的自动 化程度.

66

参考文献：

广州大学学报（自然科学版)

第16卷

[1] 黄柳倩.基于机器视觉的冲压件缺陷检测系统研究[D].广州:广东工业大学，2012.

HUANG L Q. Research on stamping parts inspection based on machine vision[ D]. Guangzhou ： Guangdong University of Te- chology,2012.[2]陈 海永，李泽楠，孙鹤旭，等.异形冲压件轮廓视觉检测系统设计[J].光学精密工程，2016, 24(10) :229-236.

CHEN H Y, LI Z N, SUN H X, et al. Visual detection system design for profile of special-shaped stamping parts[ J]. Op­tics Precis Eng, 2016, 24(10) ：229-236.

[3] 徐信.冲压件表面缺陷图像检测系统的研究与开发[D].广州:广东工业大学，2016.

XU X. Study and development of surface defect detection system of stamping parts based on image processing [ D]. Guang­zhou ： Guangdong University of Techology ,2016.[4] 胡涛，郭宝平，郭轩，等.基于轮廓特征的图像配准[J].光电工程，2009, 36(11) :118-122.

HU T,GU0 B P,GU0 X, et al. Contour feature based on image registration[ J]. Opto-Elect Eng,2009, 36(11) ：118-122.[5] TOLBA A S, KHAN H A, RAAFAT H M. Automated visual inspection of flat surface products using feature fusion[ C] //

IEEE International Symposium on Signal Processing and Information Technology. IEEE, 2009 ： 160-165.

[6] JIN S, FAN D, CHEN R, et al. Method and experimental study of machine vision measurement for the roundness of rotary

parts[J]. Mach Des Res, 2016.

[7] OTSU N. A threshold selection method from gray-level histograms[ J]. IEEE Tran Sys Man Cybern, 2007, 9(1) ：62-66.[8] STEGER C. Occlusion, clutter, and illumination invariant object recognition[ J]. B Radig S, 2003, 34：148-154.[9] 张代林，陈文广，谢经明，等.基于形状模板匹配的印刷品缺陷检测[J].机械与电子，2013,12:4043.

ZHANG D L,CHEN W G,XIE J M,et al. Printed matter defects detection based on a shape template matching algorithm [J]. Mach Elect,2013,12：4043.

[10] ULRICH M, STEGER C. Empirical performance evaluation of object recognition methods[ C] //Empirical Evaluation Meth­

ods in Computer Vision. Los Alamitos： IEEE Computer Society Press, 2001 ： 62 -76.[11] 王文成.基于Halcon的齿轮缺陷检测系统设计[J].机械传动，2014,38(9):60^63.

WANG W C. Design of gear defect detection system based on the halcon[ J]. J Mech Trans, 2014 ,38(9) ：60-63.

Shape defect detection algorithm of stamping parts based on

shape template matching

LI Yong-jing, ZHU Ping-yu, SUN Xiao-peng, XIE Xiao-bo, WANG Ye-tian

(School of Mechanical and Electric Engineering, Guangzhou University, Guangzhou 510006 , China)

Abstract ： A detection method based on shape template matching is proposed for the automatic detection of

shape defects of the stamping parts on the assembly line. First of all, an offline camera with back lighting is used to access standard stamping parts image, and the shape matching template, detection ROI and defect de­tection template are created by Otsu method and morphological method. And then an online camera is used to access the measured stamping parts image, and the shape template matching algorithm is used to search the po­sition and rotation angle of them in the image. Finally, the registration of detection ROI and defect detection template are taken by affine transformation, and then shape extraction and dynamic are used to obtain shape de­fects. The experimental results show that the method can effectively extract the shape characteristics of the stam­ping parts, and then detect a variety of shape defects, such as missing, deformation and burr quickly and stead­ily.

Key words ： stamping parts; shape defects detection ； shape template matching ； machine vision

【责任编辑：孙向荣】