基于深度学习的单幅闭合条纹干涉图解相方法及装置[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112556601 A(43)申请公布日 2021.03.26

(21)申请号 202011377723.5(22)申请日 2020.11.30

(71)申请人 北京理工大学

地址 100081 北京市海淀区中关村南大街5

号北京理工大学(72)发明人 郝群　胡摇　袁诗翥　张韶辉　(74)专利代理机构 北京市中闻律师事务所

11388

代理人 冯梦洪(51)Int.Cl.

G01B 11/24(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书2页 说明书5页 附图3页

(54)发明名称

基于深度学习的单幅闭合条纹干涉图解相方法及装置(57)摘要

公开了基于深度学习的单幅闭合条纹干涉图解相方法及装置，具有结构简单、精度高、可动态测量的优点，而且显著降低了干涉图解相所需的时间，并降低了干涉图解相所需的硬件要求和成本，使得本方法可以在便携设备上运行。方法包括：(1)建立神经网络并初始化；(2)干涉图预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；(3)神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；(4)对包裹相位进行相位解包裹，获取干涉图的绝对相位。CN 112556601 ACN 112556601 A

权　利　要　求　书

1/2页

1.基于深度学习的单幅闭合条纹干涉图解相方法，其特征在于：其包括以下步骤：(1)建立神经网络并初始化；(2)干涉图预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；

(3)神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；

(4)对包裹相位进行相位解包裹，获取干涉图的绝对相位；步骤(1)中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，D3L3通过一个密集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。

2.根据权利要求1所述的基于深度学习的单幅闭合条纹干涉图解相方法，其特征在于：所述步骤(1)中，使用人工生成的虚拟干涉图对神经网络进行训练，令神经网络达到可用状态。

3.根据权利要求2所述的基于深度学习的单幅闭合条纹干涉图解相方法，其特征在于：所述步骤(2)中，所述的灰度范围归一化如公式(1)所示：

其中I为输入的干涉图，I′为对I进行5×5中值滤波的结果，max(I′)为干涉图像素灰度

)为干涉图像素灰度的最小值，Inorm为归一化干涉图。的最大值，min(I′

4.根据权利要求3所述的基于深度学习的单幅闭合条纹干涉图解相方法，其特征在于：所述步骤(4)中，使用Miguel Arevallilo Herraez提出的快速二维相位解包裹方法对神经网络输出的包裹相位进行解包裹操作，得到干涉图的绝对相位。

5.基于深度学习的单幅闭合条纹干涉图解相装置，其特征在于：其包括：构建模块，其配置来建立神经网络并初始化；预处理模块，其配置来对干涉图进行预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；

解相模块，其配置来通过神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；

解包裹模块，其配置来对包裹相位进行相位解包裹，获取干涉图的绝对相位；构建模块中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个

2

CN 112556601 A

权　利　要　求　书

2/2页

密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，D3L3通过一个密集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。

6.根据权利要求5所述的基于深度学习的单幅闭合条纹干涉图解相装置，其特征在于：所述构建模块中，使用人工生成的虚拟干涉图对神经网络进行训练，令神经网络达到可用状态。

7.根据权利要求6所述的基于深度学习的单幅闭合条纹干涉图解相装置，其特征在于：所述预处理模块中，所述的灰度范围归一化如公式(1)所示：

其中I为输入的干涉图，I′为对I进行5×5中值滤波的结果，max(I′)为干涉图像素灰度的最大值，min(I′)为干涉图像素灰度的最小值，Inorm为归一化干涉图。

8.根据权利要求7所述的基于深度学习的单幅闭合条纹干涉图解相装置，其特征在于：所述解包裹模块中，使用Miguel Arevallilo Herraez提出的快速二维相位解包裹方法对神经网络输出的包裹相位进行解包裹操作，得到干涉图的绝对相位。

3

CN 112556601 A

说　明　书

1/5页

基于深度学习的单幅闭合条纹干涉图解相方法及装置

技术领域

[0001]本发明涉及光电检测的技术领域，尤其涉及一种基于深度学习的单幅闭合条纹干涉图解相方法，还涉及基于深度学习的单幅闭合条纹干涉图解相装置。背景技术

[0002]光学干涉测量是一类重要的非接触式表面轮廓测量方法。相干光波通过干涉产生明暗相间的干涉图，干涉图中携带了被测物的表面轮廓信息。通过分析干涉图，获取其中的相位分布，继而可以获得被测物的表面轮廓。干涉图解相，即获取干涉图的相位分布，是光学干涉测量中的核心问题，干涉图解相的精度将直接决定最终测量结果的精度。[0003]传统的干涉图解相方法可以大致分为移相方法和傅里叶方法两个大类。移相方法通过获取多幅条纹图来提取相位，具有鲁棒性好、精度高、对背景光照不敏感的优点。但是由于需要获取多幅干涉图，移相方法较难实现动态测量。相对于移相方法，傅里叶方法只需一幅条纹图即可提取相位，但是解相精度一般低于移相方法。而且傅里叶方法不能处理含有闭合条纹的条纹图，条纹图背景光照不均匀也会影响傅里叶系列方法的精度。[0004]由于闭合条纹在干涉图中十分常见，而且干涉仪往往使用光照不均匀的激光光源，这使得干涉图解相主要依赖移相方法。但是，干涉仪一般通过压电陶瓷等机械运动部件实现移相，使得干涉仪的移相需要较长的时间，通常需要数秒。这导致干涉仪在移相过程中容易受到振动、气体湍流的影响。虽然现在已经存在一些方法可以实现单幅闭合条纹干涉图解相。但是这些方法或多或少都存在一些。在一些需要动态测量的场合，通过单幅包含闭合条纹的干涉图实现解相依然是一个极具现实意义的问题。[0005]深度学习技术是一种通用优化方法，其主要优点是不依赖人对问题的认识。传统基于规则的方法需要人首先对问题进行建模，方法的精度往往取决于模型与现实物理现象的符合程度，而一个高精度的模型依赖人对该问题的知识的经验。深度学习技术可以从问题的输入和输出中挖掘出内在的联系，只需要准备一定数量的理想输入和输出，深度学习技术便可以自行推理出问题的最佳模型。近年来，深度学习技术也逐渐应用于干涉仪信息解算方面的问题。[0006]为此，申请人在2020.08.04提出发明专利申请(申请号：2020107824652)，发明名称为：基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置。该发明在测量过程只需一幅干涉图，可以实现动态测量。不过，该发明使用的神经网络是一种U‑Net结构，其通过对输入干涉图进行多次缩放来提取干涉图的特征，从而实现干涉图的解相。因此，干涉图解相所需的时间比较长，干涉图解相所需的硬件要求严格，成本很高。发明内容

[0007]为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学习的单幅闭合条纹干涉图解相方法，其具有结构简单、精度高、可动态测量的优点，而且显著降低了干涉图解相所需的时间，并降低了干涉图解相所需的硬件要求和成本，使得本方法可

4

CN 112556601 A

说　明　书

2/5页

以在便携设备上运行。

[0008]本发明的技术方案是：这种基于深度学习的单幅闭合条纹干涉图解相方法，其包括以下步骤：[0009](1)建立神经网络并初始化；[0010](2)干涉图预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；[0011](3)神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；[0012](4)对包裹相位进行相位解包裹，获取干涉图的绝对相位；[0013]步骤(1)中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，D3L3通过一个密集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。

[0014]本发明通过建立神经网络获取单幅包含闭合条纹的干涉图的包裹相位，并通过相位解包裹获取绝对相位，基于深度学习技术实现单幅闭合条纹干涉图的解相，具有结构简单、精度高、可动态测量的优点；本发明的神经网络结构不包含对输入干涉图的缩放过程，网络中的节点数量较少，因此显著降低了干涉图解相所需的时间，并降低了干涉图解相所需的硬件要求和成本，使得本发明叙述方法可以在便携设备上运行。[0015]还提供了一种基于深度学习的单幅闭合条纹干涉图解相装置，其包括：[0016]构建模块，其配置来建立神经网络并初始化；[0017]预处理模块，对输入的干涉图进行灰度范围归一其配置来对干涉图进行预处理，化，得到灰度范围归一化的干涉图；[0018]解相模块，其配置来通过神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；[0019]解包裹模块，其配置来对包裹相位进行相位解包裹，获取干涉图的绝对相位；[0020]构建模块中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2

D3L3通过一个密逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，

集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。

5

CN 112556601 A

说　明　书

3/5页

附图说明

[0021]图1是根据本发明的基于深度学习的单幅闭合条纹干涉图解相方法的流程图。[0022]图2是神经网络结构图。

[0023]图3是包含闭合条纹的干涉图。[0024]图4是灰度范围归一化的干涉图。[0025]图5是包裹相位。[0026]图6是绝对相位。

具体实施方式

[0027]如图1所示，这种基于深度学习的单幅闭合条纹干涉图解相方法，其包括以下步骤：[0028](1)建立神经网络并初始化；[0029](2)干涉图预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；[0030](3)神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；[0031]获取干涉图的绝对相位；(4)对包裹相位进行相位解包裹，[0032]步骤(1)中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，D3L3通过一个密集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。

[0033]本发明通过建立神经网络获取单幅包含闭合条纹的干涉图的包裹相位，并通过相位解包裹获取绝对相位，基于深度学习技术实现单幅闭合条纹干涉图的解相，具有结构简单、精度高、可动态测量的优点；本发明的神经网络结构不包含对输入干涉图的缩放过程，网络中的节点数量较少，因此显著降低了干涉图解相所需的时间，并降低了干涉图解相所需的硬件要求和成本，使得本发明叙述方法可以在便携设备上运行。[0034]优选地，所述步骤(1)中，使用人工生成的虚拟干涉图对神经网络进行训练，令神经网络达到可用状态。[0035]优选地，所述步骤(2)中，所述的灰度范围归一化如公式(1)所示：

其中I为输入的干涉图，I′为对I进行5×5中值滤波的结果，max(I′)为干涉图像素灰度的最大值，min(I′)为干涉图像素灰度的最小值，Inorm为归一化干涉图。本发明的干涉图灰度范围归一化方法具有中值滤波的步骤，中值滤波步骤提高了干涉图灰度范围归一化

6

[0036]

CN 112556601 A

说　明　书

4/5页

的精度和鲁棒性，从而提高了干涉图解相的精度和鲁棒性。[0037]优选地，所述步骤(4)中，使用Miguel Arevallilo Herraez提出的快速二维相位解包裹方法对神经网络输出的包裹相位进行解包裹操作，得到干涉图的绝对相位。[0038]本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于深度学习的单幅闭合条纹干涉图解相装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：[0039]构建模块，其配置来建立神经网络并初始化；[0040]预处理模块，其配置来对干涉图进行预处理，对输入的干涉图进行灰度范围归一化，得到灰度范围归一化的干涉图；[0041]解相模块，其配置来通过神经网络处理干涉图，将灰度范围归一化的干涉图输入神经网络，神经网络输出包裹相位；[0042]解包裹模块，其配置来对包裹相位进行相位解包裹，获取干涉图的绝对相位；[0043]构建模块中的神经网络结构为：D1L1为灰度范围归一化的干涉图，是神经网络的输入，D1L1通过一个二维卷积层Conv2D得到D1L2，D1L2通过一个密集区块DenseBlock得到D1L3，D1L3通过一个密集区块DenseBlock得到D1L4；D1L2逆时针旋转90°得到D2L2，D2L2通过一个密集区块DenseBlock得到D2L3，D2L3通过一个密集区块DenseBlock得到D2L4；D1L2逆时针旋转180°得到D3L2，D3L2通过一个密集区块DenseBlock得到D3L3，D3L3通过一个密集区块DenseBlock得到D3L4；D1L2逆时针旋转270°得到D4L2，D4L2通过一个密集区块DenseBlock得到D4L3，D4L3通过一个密集区块DenseBlock得到D4L4；D1L4、D2L4、D3L4、D4L4通过一个连接层Concat得到D1L5；D1L5通过一个密集区块DenseBlock得到D1L6；D1L6通过一个二维卷积层Conv2D得到D1L7，D1L7为神经网络输出的包裹相位。[0044]优选地，所述构建模块中，使用人工生成的虚拟干涉图对神经网络进行训练，令神经网络达到可用状态。[0045]优选地，所述的灰度范围归一化如公式(1)所示：所述预处理模块中，

[0046]

其中I为输入的干涉图，I′为对I进行5×5中值滤波的结果，max(I′)为干涉图像素灰度的最大值，min(I′)为干涉图像素灰度的最小值，Inorm为归一化干涉图。[0048]优选地，所述解包裹模块中，使用Miguel Arevallilo Herraez提出的快速二维相位解包裹方法对神经网络输出的包裹相位进行解包裹操作，得到干涉图的绝对相位。[0049]本发明的有益效果如下：[0050]1、本发明公开的基于深度学习的闭合条纹兼容单幅干涉图解相方法，通过建立神经网络，解决单幅闭合条纹干涉图解相的问题，所述测量过程只需一幅干涉图，可以实现动态测量。[0051]2、本发明公开的基于深度学习的闭合条纹兼容单幅干涉图解相方法，相关计算能够通过多线程或GPU计算等方式有效提高计算速度，以实现对目标的实时测量。

7

[0047]

CN 112556601 A[0052]

说　明　书

5/5页

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的，凡是依

据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

8

CN 112556601 A

说　明　书　附　图

1/3页

图1

9

CN 112556601 A

说　明　书　附　图

2/3页

图2

图3

10

CN 112556601 A

说　明　书　附　图

3/3页

图4

图5

图6

11