基于分层学习的三维模型兴趣点提取方法及系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110334704 A(43)申请公布日 2019.10.15

(21)申请号 201910542056.2(22)申请日 2019.06.21

(71)申请人 浙江大学宁波理工学院

地址 315100 浙江省宁波市鄞州区首南街

道高教园区钱湖南路1号(72)发明人 舒振宇　杨思鹏　庞超逸　袁翔　

辛士庆　刘予琪　龚梦航　孔晓昀　胡超　(74)专利代理机构 宁波市鄞州甬致专利代理事

务所(普通合伙) 33228

代理人 刘晓芳(51)Int.Cl.

G06K 9/32(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)

权利要求书2页 说明书10页 附图5页

G06T 19/00(2011.01)

CN 110334704 A(54)发明名称

基于分层学习的三维模型兴趣点提取方法及系统(57)摘要

本发明提供一种基于分层学习的三维模型

包括训练三维模型兴趣兴趣点提取方法及系统，

点的分层器和细节点提取器，以及对待检测三维模型进行兴趣点预测的过程，训练三维模型兴趣点的分层器和细节点提取器的过程包括：对于集合D中的任何一个三维模型，将所有的人工标记好的兴趣点分为普通兴趣点和细节兴趣点；利用多特征描述符提取三维模型表面所有顶点的特征描述符；使用激活函数对兴趣点及兴趣点附近的点的标签进行赋值，以分别训练两个神经网络；通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。该方法提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率低。

CN 110334704 A

权　利　要　求　书

1/2页

1.基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，其特征在于，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：

S1、提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；

S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；

S3、使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以分别训练两个神经网络；

S4、通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。

2.根据权利要求1所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，计算三维模型Sh中的所有兴趣点P之间的测地距离，按照

对所有兴趣点进行分组；其中，d(pi,pj)表示兴趣点pi和pj之间的测地距离，δ是一个自适应的距离阀值。

3.根据权利要求2所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，

4.根据权利要求1所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，将AGD、SDF、GC和SIHKS串接成高维向量li作为普通兴趣点神经网络的输入，将SDF、GC串接成二维向量ki作为密集兴趣点神经网络训练的输入。

5.根据权利要求1所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：

S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

S6、提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。6.根据权利要求5所述的基于分层学习的三维模型兴趣点提取方法，其特征在于，在步骤S6中，利用改进的密度峰值聚类法提取顶点概率的峰值点，改进的密度峰值聚类法的密度峰值决策图的横轴为

其中，GD(pi,pj)表示顶点pi到概率值比它大的顶点pj的测地距离，ζi表示顶点pi的概率值。

7.基于分层学习的三维模型兴趣点提取系统，包括训练模块以及预测模块，其特征在

2

CN 110334704 A

权　利　要　求　书

2/2页

于，训练模块包括：

标注单元，提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点P＝{P1,P2,…Pm}，标注单元用以对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；

训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将其他的多特征描述符组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；

赋值训练单元，与训练输入单元连接，使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；

组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。

8.根据权利要求7所述的基于分层学习的三维模型兴趣点提取系统，其特征在于，预测模块包括：

概率分布预测单元，用以利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。

3

CN 110334704 A

说　明　书

基于分层学习的三维模型兴趣点提取方法及系统

1/10页

技术领域

[0001]本发明涉及数字几何处理领域，尤其涉及一种基于分层学习的三维模型兴趣点提取方法及系统。

背景技术

[0002]三维模型的兴趣点(Points of Interest，POIs)也被称为特征点(Feature Points)，是模仿人类的视觉感知特点在三维模型表面选取出来的一些具有几何和语义特征代表性的点。三维模型兴趣点被广泛用于三维模型分类分割、网格变形编辑、人脸识别、面部表情识别等领域。近年来，随着三维模型的应用范围越来越广，模型也越来越精细，模型细节的提升对三维模型兴趣点提取算法的准确度和精细度提出了更高的要求。[0003]一些兴趣点提取算法通过学习三维模型中人工标记的数据，之后在测试模型上找到与原模型中有相似特征的点作为新模型的兴趣点。例如:Wang等(Wang Chengwei,Kang Dan,Zhao Xiuyang,et al.Extraction of feature points on 3D meshes through data gravitation[C]//International Conference on Intelligent Computing,2016:601-612)提出了基于测地距离的兴趣点提取算法，首先根据曲面的高斯曲率(Gaussian Curvature) 选取出所有可能成为兴趣点的顶点，之后使用测地距离来计算每个点的权重，与人工标记点的权重作对比，删去多余的与人工标记差异大的点，就得到新模型上的兴趣点，该方法的特点是算法简单、易于实现，但准确率不高。Sipiran等(Sipiran Ivan,Bustos Benjamin.Harris 3D:a robust extension of the Harris operator for interest point detection on 3D meshes[J].The Visual Computer.2011,27(11):963)提出一种基于哈里斯 (Harris)算子的三维模型兴趣点检测算法，通过一个自适应的函数确定顶点的邻域以及领域内的哈里斯响应，使得兴趣点提取算法更具有鲁棒性。Hu等(Hu Jiaxi, Hua Jing.Salient spectral geometric features for shape matching and retrieval[J].The Visual Computer.2009,25(5-7):667-675)将三维模型表面顶点的几何特征输入到由Laplace Beltrami谱描述子构成的函数中，之后选择函数响应最大的点作为新模型的兴趣点。该算法没有直接使用从三维模型上提取出的几何特征，而是将三维模型输入到一个屏蔽了尺度变化影响的函数中，所以在他们的算法对不同姿势的同一模型提取兴趣点的效果更好。

[0004]此外，在Lowe(Lowe David G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision.2004,60(2):91-110。)提出尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法之后，有大量二维图像的特征点提取方法都运用了该算法。也有一些学者将SIFT算法引入到解决三维模型的兴趣点提取的问题上，例如，Castellani等(Castellani Umberto,Cristani Marco, Fantoni Simone,et al.Sparse points matching by combining 3D mesh saliency with statistical descriptors[J].Computer Graphics Forum.2008,27(2):3-652.)用高斯差分(Difference of Gaussian，DoG)函数构建了一个响应器，用于测试

4

CN 110334704 A

说　明　书

2/10页

三维模型上顶点的响应，将具有较高的DoG响应的顶点作为兴趣点。Zou(Zou Guangyu,Hua Jing,Dong Ming,et al. Surface matching with salient keypoints in geodesic scale space[J].Computer Animation and Virtual Worlds.2008,19(3-4):399-410)等提出了一个类似的算法，首先构建一个三维模型顶点的测地距离的分布图，之后再将DoG响应器应用到顶点的响应检测中以提取三维模型兴趣点。Tonioni(Tonioni Alessio,Salti Samuele,Tombari Federico,et al.Learning to detectgood 3D keypoints[J].International Journal of Computer Vision.2018, 126(1):1-20.)等将三维模型的兴趣点提取与三维模型网格分割相结合，提出了一种使用随机森林分类器提取三维模型兴趣点的算法。

[0005]基于学习的三维模型兴趣点提取算法不仅可以快速地实现大批量三维模型兴趣点的提取，还可以对输入训练的兴趣点附上语义标签，使得输出预测的兴趣点上也能够带有相同的语义标签。Teran等(Teran Leizer,Mordohai Philippos.3D interest point detection via discriminative learning[C]//European Conference on Computer Vision,2014: 159-173.)认为传统的兴趣点提取算法虽然在一定程度上描述了三维模型上兴趣点的几何特征，但是提取方式的主观性不强，不能处理多变的兴趣点提取任务，所以他们提出基于全监督学习的兴趣点提取算法，给兴趣点附上语义标签进行训练。Creusot等(Creusot Clement,Pears Nick,Austin Jim.A machine-learning approach to keypoint detection and landmarking on 3D meshes[J].International Journal of Computer Vision。 2013,102(1-3):146-179.)提出了一种基于机器学习的三维模型兴趣点提取算法，该算法将三维模型兴趣点的几何特征与周围点的几何特征输入到一个待优化的函数中，通过迭代训练学习区分兴趣点和非兴趣点。Saliti等(Salti Samuele,Tombari Federico,Spezialetti Riccardo,et al.Learning a descriptor-specific 3D keypoint detector[C] //Proceedings of the IEEE International Conference on Computer Vision,2015:2318-2326.)将三维模型兴趣点的提取问题转换成顶点之间的分类问题，并建立了一个基于三维形状特征描述符的兴趣点检测器以实现兴趣点和非兴趣点的分类。

[0006]传统的三维模型兴趣点提取算法已经从多个角度描述了兴趣点的提取方法，有的使用三维模型的二维投影提取特征，如Guy等(Guy Gideon,Medioni Gérard。 Inference of surfaces,3Dcurves,and junctions from sparse,noisy,3Ddata[J].IEEE Transactions on Pattern Analysis and Machine Intelligence。1997,19(11):1265-1277.)、Yee等(Yee Hector, Pattanaik Sumanita,Greenberg Donald P.Spatio-temporal sensitivity and visual attention for efficient rendering of dynamic environments[J].ACM Transactions on Graphics (TOG).2001, 20(1):39-65.)提出的算法，也有的直接使用三维模型的特征描述符提取兴趣点的特征。传统算法往往从三维模型的整体出发学习区分兴趣点和非兴趣点的特性。然而，由于模型细节处的兴趣点的特征差距很小，很难从模型整体学习的角度找出这些细微的特征差距，所以传统算法在模型细节处兴趣点密集的地方表现较差。比如一个人体的三维模型，传统的算法能够很好的提取到手对应的兴趣点，但是很难准确地提取到每一个指尖对应的兴趣点。[0007]随着三维模型扫描技术和建模技术的不断进步，三维模型的网格表达变得越来越

5

CN 110334704 A

说　明　书

3/10页

精细，模型包含的细节也越来越多，传统的算法已经不能胜任越来越精细的兴趣点提取任务。

发明内容

[0008]本发明的技术方案是：基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：[0009]S1、提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点 P＝{P1,P2,…Pm}，对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；[0010]S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入 inputpar＝{l1,l2,…lu}，将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；[0011]S3、使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以分别训练两个神经网络；[0012]S4、通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。[0013]较佳的，计算三维模型Sh中的所有兴趣点P之间的测地距离，按照

[0014][0015]

对所有兴趣点进行分组；其中，d(pi,pj)表示兴趣点pi和pj之间的测地距离，δ是一个自适应的距离阀值。

较佳的，

[0016][0017]

较佳的，将AGD、SDF、GC和SIHKS串接成高维向量li作为普通兴趣点神经网络的输

入，将SDF、GC串接成二维向量ki作为密集兴趣点神经网络训练的输入。[0018]较佳的，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：[0019]S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

[0020]S6、提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。[0021]较佳的，在步骤S6中，利用改进的密度峰值聚类法提取顶点概率的峰值点，改进的密度峰值聚类法的密度峰值决策图的横轴为

[0022][0023]

其中，GD(pi,pj)表示顶点pi到概率值比它大的顶点pj的测地距离，ζi表示顶点pi的

概率值。

6

CN 110334704 A[0024]

说　明　书

4/10页

较佳的，训练模块包括：

[0025]标注单元，提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点 P＝{P1,P2,…Pm}，标注单元用以对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点 Pins＝{p1,p2,…pt}；[0026]训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将其他的多特征描述符组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；[0027]赋值训练单元，与训练输入单元连接，使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；[0028]组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。[0029]较佳的，预测模块包括：[0030]概率分布预测单元，用以利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

[0031]兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。[0032]上述技术方案具有如下优点或有益效果：本文提出一种分层学习的三维模型兴趣点提取方法及系统，提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率都很低。附图说明

[0033]参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的。

[0034]图1为本发明基于分层学习的三维模型兴趣点提取方法的流程示意图一；[0035]图2为本发明基于分层学习的三维模型兴趣点提取方法的流程示意图二；[0036]图3为SHREC’数据集中部分三维模型；

[0037]图4为本发明基于分层学习的三维模型兴趣点提取方法兴趣点的提取结果与人工标记的兴趣点的对比；

[0038]图5为本发明基于分层学习的三维模型兴趣点提取方法在细节处的表现；

[0039]图6为本发明基于分层学习的三维模型兴趣点提取方法与传统算法的细节对比；[0040]图7为本发明基于分层学习的三维模型兴趣点提取方法与传统算法的表现对比。具体实施方式

[0041]下面结合附图和具体实施例对本发明一种基于分层学习的三维模型兴趣点提取方法及系统进行详细说明。[0042]实施例一

[0043]一种基于分层学习的三维模型兴趣点提取方法，包括训练三维模型兴趣点的分层器和细节点提取器，以及利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的

7

CN 110334704 A

说　明　书

5/10页

过程。其中，如图1所示，训练三维模型兴趣点的分层器和细节点提取器的过程包括步骤：[0044]S1、提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点 P＝{P1,P2,…Pm}，对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点Pins＝{p1,p2,…pt}；[0045]S2、利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将特征描述符高斯曲率和形状直径函数组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；[0046]S3、使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；[0047]S4、通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。[0048]进一步来讲，本方法采用兴趣点特征分层学习的策略，将三维模型上所有的兴趣点P＝{p1,p2,…pn}分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点 Pins＝{p1,p2,…pt}，分别进行神经网络训练，之后再匹配到一起。普通兴趣点Ppar定义为兴趣点之间相距很远的点，如人体的头、膝盖、手臂处的兴趣点；细节点Pins定义为相距很近的兴趣点，比如手部和脚部的所有兴趣点。应该注意的是，某些兴趣点是相距很近的点群中的一个，比如手部的一个点代表了手部的所有兴趣点，所以他们既属于普通兴趣点集Ppar，又属于细节兴趣点集Pins，具体的分层和神经网络训练策略如下：

[0049]对于输入的人工标记好兴趣点的三维模型，首先计算所有的兴趣点P之间的测地距离，之后将所有兴趣点pi输入到分类器中，pi按照

[0050][0051]

方式分组。其中，d(pi,pj)表示兴趣点pi和pj之间的测地距离，δ是一个自适应的距

即最大测地距离的0.2倍。分类器的作用是将某一区域

离阀值，默认设为

内距离较远的兴趣点聚为一类，距离较近的兴趣点聚为一类，得到了比较稀疏的普通兴趣点集Ppar＝{p1,p2,…ps}，将某一区域内密集的兴趣点分到细节兴趣点集Pins＝{p1,p2,…pt}，之后还要从每一个密集兴趣点区域内随机选择一个点放入普通兴趣点集Ppar内。[0052]普通兴趣点Ppar＝{p1,p2,…ps}均匀地分布在三维模型表面，因此训练的时候要将三维模型上所有顶点输入到神经网络中，训练得到一个用于整体的兴趣点提取的神经网络Npar。但是密集的细节兴趣点Pins＝{p1,p2,…pt}只分布在三维模型的部分位置，所以训练的时候只提取细节兴趣点Pins及其附近的顶点输入到神经网络中，训练得到用于局部网格提取兴趣点的神经网络Nins。[0053]进一步来讲，三维形状特征描述符(3D Shape Descriptor)可以刻画三维模型的形状特征，一般将特征值赋值在模型表面的顶点或者三角面片上。常用的特征描述符有：刻画三维模型上顶点到其它顶点平均测地距离的描述符AGD (Average Geodesic Distance)、刻画模型表面某一点到法相对面表面的欧氏距离的描述符SDF(Shape Diameter Function)、刻画模型表面曲率特征的描述符GC (Gaussian Curvature)、非刚性

8

CN 110334704 A

说　明　书

6/10页

模型的全局特征描述符SIHKS(Scale-invariant Heat Kernel Signatures)等，不同的特征描述符从不同的角度描述三维形状的特征，在应用过程中，一般同时使用多个特征描述符，以达到更好的效果。

[0054]本方法使用多种三维形状特征描述串接成高维特征向量来提取模型表面顶点的特征，但是在分层学习过程中，不同的学习层需要不同的特征向量的组合。普通兴趣点Ppar分布在整个三维模型上，所以在神经网络训练的时候，本方法选择AGD、SDF、GC和SIHKS串接成高维向量li作为普通兴趣点神经网络Npar的输入inputpar＝{l1,l2,…ls}，而密集兴趣点Pins只分布在三维模型的部分区域，将SDF、 GC串接成二维向量ki作为密集兴趣点神经网络Nins训练的输入 inputins＝{k1,k2,…kt}。实验表明，这种组合方法较好的适合了分层训练的特性。

[0055]在得到了可用于整体兴趣点提取的神经网络Npar和局部兴趣点提取预测的神经网络Nins之后，需要进行特征向量的匹配实现两个神经网络网络的拼接，最终得到一个抽象的可以准确提取三维模型细节处兴趣点的分类器，具体结果包括一个兴趣点的分层器和和一个细节点检测器。分层器可以提取出新输入的三维模型中所有可能的兴趣点，并将其分为普通兴趣点P'par和细节兴趣点P'ins，之后细节点检测器再从细节兴趣点P'ins附近找出全部的细节兴趣点P”通过这种方式，克服了传统算法在三维模型上兴趣点密集的难以准确ins。提取兴趣点的困难。理论上，本文所提出的分层学习算法能够继续扩展，将更精细的三维模型上的兴趣点分为三层甚至四层，以实现三维模型局部细节处的兴趣点提取的学习和预测。

[0056]进一步来来讲，如图2所示，利用分层器和细节点提取器对待检测三维模型进行兴趣点预测的过程，包括步骤：[0057]S5、利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

[0058]S6、利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。[0059]具体来说，对于输入待提取兴趣点的三维模型，神经网络的预测结果是模型表面每一个顶点vi是兴趣点的概率Pi。通过神经网络预测之后，三维模型上的每一个顶点都被赋值了一个概率标签，并且越靠近兴趣点的顶点概率值越大。

[0060]为了概率分布中提取出概率值高的区域的概率峰值点作为兴趣点，本方法从 Alex等(Rodriguez Alex，Laio Alessandro.Clustering by fast search and find of density peaks[J].Science.2014，344(6191):1492-1496)和Shu等(Shu Zhenyu，Xin Shiqing，Xu Xin，et al.Detecting 3D Points of Interest Using Multiple Features and Stacked Auto-encoder[J].IEEE Transactions on Visualization and Computer Graphics.2018.)提出的算法中获得了启发。Alex等提出的密度峰值聚类(Density Peaks Clustering，DPC) 算法通过计算数据点在高维空间中的欧氏距离以及每个数据点在空间中的密度，得到一个横轴是数据点到密度大于自己的最近的一个数据点之间的距离δ，纵轴是每个数据点的密度ρ的决策图。决策图靠近右上角的数据点不仅密度大，而且距离密度比它大的数据点距离很远，这些点就可以作为聚类的中心，之后再将其它数据点按照聚类中

9

CN 110334704 A

说　明　书

7/10页

心来分类。Shu等为了从概率图上提取峰值点，对密度峰值聚类算法改进，将数据点的密度ρ改为三维模型上顶点的概率标签ζ将数据点之间的距离δ改为三维模型顶点之间的测地i，距离d，使之可以在三维模型表面提取到局部范围内的概率峰值点。

[0061]本文采用了类似密度峰值聚类的方法提取三维模型表面概率峰值中心作为兴趣点，但是在模型细节处，兴趣点之间的测地距离d非常小，导致在决策图上难以找到这些点。为了能够在分层学习后从模型细节处准确提取到密集的兴趣点，本文重新定义密度峰值决策图的横轴为

[0062]

其中，GD(pi,pj)表示顶点pi到概率值比它大的顶点pj的测地距离，ζi表示顶点pi的

概率值，以此方式得到的概率峰值决策图如图7所示，局部区域内的概率峰值点可以轻松地从决策图中找出来，概率峰值点也就是算法最终要提取的兴趣点。[00]本方法选择SHREC’11(Lian Z.，Godil A.，Bustos B.，et al.Shape retrieval on non-rigid 3D watertight meshes[C]//Eurographics Workshop on 3D Object Retrieval(3DOR)，2011.)三维模型数据集进行实验，SHREC’11中包含30类三维模型，每一类有20个，共计600个三维模型。部分三维模型如图3所示。[0065]本文随机选择每一类中的10个模型作为训练样本。另外的10个作为测试样本进行实验。图4展示了本文算法兴趣点的提取结果与人工标记的兴趣点的对比，可以明显地看出，本文算法提取到的兴趣点与人工标记的兴趣点基本一致，很少出现遗漏标记的和错标记的兴趣点，整体表现较好。

[0066]表1展示了本文算法在SHREC’11数据集上具体的准确率。其中，检测范围表示此统计是在人工标记的兴趣点周围一定范围内做的统计。一般情况下，由于在新模型上预测出的兴趣点几乎不可能与人工标记的点在同一位置，大多数时候只能提取到人工标记的兴趣点附近的一个点。因此本文对不同范围内的点做了统计，比如0.02表示在人工标记的兴趣点0.02倍最大测地距离范围内，算法提取到的点都被认为是正确的兴趣点。阳性点准确率表示算法提取到的点是人工标记的兴趣点的比例，阳性点重复率表示算法提取到的兴趣点中出现多个点对应一个人工标记的点的比例，兴趣点遗漏率表示人工标注的兴趣点完全没有被算法提取到的比例。表1中，在0.02倍最大测地距离的时候，本文算法的阳性点准确率已经到了80％以上，同时阳性点重复率和兴趣点遗漏率都很低，随着检测范围的扩大，各项指标都有小幅提升，本文算法提取三维模型表面兴趣点的结果整体表现较好。[0067]表1本文算法在选定数据集上的表现

[0063]

[0068]

本文算法提出的分层学习提取兴趣点的最大优势在于提升了对三维模型细节处

密集兴趣点的提取能力。通过将模型上的某些部位单独提取出来训练，实现了算法在特征差异较小的数据点中也能准确提取到兴趣点。图5展示了本文算法在细节处的表现，图5a是分层学习的神经网络预测的结果，图5b是从概率值分布提取出来的兴趣点。从图5中可以看

10

[0069]

CN 110334704 A

说　明　书

8/10页

出，分层学习训练可以使得兴趣点的概率值分布在密集的细节处依然保持较高区分度，之后提取出的兴趣点准确高，并且可以明显减少重复和遗漏的兴趣点数量，达到更好的兴趣点提取效果。

[0070]本文与其他的3种传统的三维模型兴趣点提取算法进行了比较，包括 3D-SIFT(Godil Afzal，Wagan Asim Imdad.Salient local 3D features for 3D shape retrieval[C] //Three-Dimensional Imaging，Interaction，and Measurement，2011:780S.)，3D-Harris (PratikakisI.，Spagnuolo M.，Theoharis T.，et al.A robust 3D in-terest points detector based on Harris operator[C]//Eurographics Workshop on 3D Object Retrieval，2010.)和基于HKS的兴趣点提取算法(Dutagaci Helin，Cheung Chun Pan，Godil Afzal.Evaluation of 3D interest point detection techniques via human-generated ground truth[J].The Visual Computer.2012，28(9): 901-917.)。算法间比较的评价指标使用假阴性误差(False Negative Error，FNE)、假阳性误差(False Positive Error，FPE)和加权后的遗漏误差(Weighted Miss Error， WME)[32]，这三个指标被定义为：

[0071][0072]

[0073]

其中，Nc表示在一定范围内判定为正确提取到的兴趣点数，G表示人工标记的兴趣

点数，P表示由算法自动查找到的兴趣点数，pi表示多个人标记时顶点vi的被标记为兴趣点次数；当算法提取到的顶点vi是兴趣点时，η否则η按照上述公式的计算方式，FNEi＝1，i＝0。代表了兴趣点没有被算法提取到的比例，FNE 越小表示提取算法准确率越高，FPE代表了算法提取到的点中不是兴趣点的比例，越小表示算法提取到的点错误越少，而WME则是在统计中加入了人的主观评价，被越多人判定为是兴趣点的地方权重越大，本文测试时只使用了一个人标记的点，所以WME统计没有意义，只统计了FNE和FPE。[0075]本方法与其他三种算法的对比结果如图6所示。因为算法提取到的点很难与人标记点重合，一般是出现在人工标记点的附近，所以随着判定范围的增大，各算法的误差值都有减小的趋势，之后又趋于稳定。可以明显的看出，本文算法的兴趣点提取结果的误差评价指标都低于传统算法。图7所展示两个误差曲线，其中3D-Harris算法的FNE很低但是FPE很高，说明该算法提取到的兴趣点太多了，虽然覆盖了较多的人工标记的点，但是其中的错误点也很多。类似地，HKS 算法FPE值很低，FNE值很高，说明该算法虽然提取到的点是人工标记兴趣点的比例很高，但是提取不够充分，很多人工标记的兴趣点没有提取到。这与图 7展示的各算法的对比结果相符，所以，要同时获得较低FNE和FPE是不容易的，也进一步证明了本文算法提取兴趣点的高准确率。[0076]值得指出的是，本文算法结果的两个误差曲线在r∈(0,0.03)的范围内下降非常明显，说明本文算法提取到的兴趣点与人标记的兴趣点之间的距离非常近，本文算法提取

11

[0074]

CN 110334704 A

说　明　书

9/10页

到的兴趣点位置更加精准。

[0077]本文提出一种分层学习的三维模型兴趣点提取算法。该算法首先将模型细节处密集的兴趣点提取出来，得到普通兴趣点集和细节兴趣点集，分别输入到神经网络中训练，之后对两个训练好的神经网络进行特征匹配，得到一个可以先提取三维模型上稀疏的兴趣点，再提取三维模型部分区域内密集的兴趣点的分类器。对于输入待提取兴趣点的三维模型，提取模型表面所有顶点的特征之后输入到分类器中进行预测，最后使用改进过的密度峰值聚类算法提取预测概率分布的峰值点，得到输入模型的兴趣点。本文算法的提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率都很低。[0078]此外，分层学习方法在模型处理细节问题上有很大的优势，可以找出相近的特征向量之间细微的差别，在实际的运用过程中，可以考虑使用增强学习的训练方式，理论上能够进一步发挥分层学习的优势。[0079]实施例二

[0080]根据上述实施例提出的一种基于分层学习的三维模型兴趣点提取方法，本实施例提出了一种基于分层学习的三维模型兴趣点提取系统。[0081]一种基于分层学习的三维模型兴趣点提取系统，包括训练模块以及预测模块。其中，训练模块包括：[0082]标注单元，提供m个三维模型D＝{S1,S2,…Sm}及其对应的人工标注的兴趣点 P＝{P1,P2,…Pm}，标注单元用以对于集合D中的任何一个三维模型Sh，将所有的人工标记好的兴趣点分为普通兴趣点Ppar＝{p1,p2,…ps}和细节兴趣点 Pins＝{p1,p2,…pt}；[0083]训练输入单元，与标注单元连接，用以利用多特征描述符提取三维模型表面所有顶点的特征描述符，并将多特征描述符组合成高维向量作为普通兴趣点Ppar神经网络训练的输入inputpar＝{l1,l2,…lu}，将其他的多特征描述符组合成二维向量作为细节兴趣点Pins神经网络训练的输入inputins＝{k1,k2,…kv}；[0084]赋值训练单元，与训练输入单元连接，使用激活函数F对兴趣点及兴趣点附近的点的标签进行赋值，将所有顶点的标签作为神经网络的输出，以此训练两个神经网络；[0085]组合单元，与赋值训练单元连接，用以通过特征向量匹配将两个训练好的神经网络组合起来，得到可以预测三维模型兴趣点的分层器和细节点提取器。[0086]预测模块包括：

[0087]概率分布预测单元，用以利用多特征描述符提取待检测三维模型所有顶点的特征向量，输入到训练好的兴趣点分层器和细节点提取器中，预测得到三维模型表面所有顶点是兴趣点的概率分布；

[0088]兴趣点预测单元，与概率分布预测单元连接，用以利用改进的密度峰值聚类算法提取出顶点概率的峰值点，将这些峰值点作为新模型的兴趣点。[00]上述系统首先将模型细节处密集的兴趣点提取出来，得到普通兴趣点集和细节兴趣点集，分别输入到神经网络中训练，之后对两个训练好的神经网络进行特征匹配，得到一个可以先提取三维模型上稀疏的兴趣点，再提取三维模型部分区域内密集的兴趣点的分类器。对于输入待提取兴趣点的三维模型，提取模型表面所有顶点的特征之后输入到分类器中进行预测，最后使用改进过的密度峰值聚类算法提取预测概率分布的峰值点，得到输入模型的兴趣点。本文算法的提取兴趣点的结果明显优于传统算法，兴趣点遗漏率和重复率

12

CN 110334704 A

说　明　书

10/10页

都很低。

[0090]对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

13

CN 110334704 A

说　明　书　附　图

1/5页

图1

图2

14

CN 110334704 A

说　明　书　附　图

2/5页

图3

15

CN 110334704 A

说　明　书　附　图

3/5页

图4

16

CN 110334704 A

说　明　书　附　图

4/5页

图5

图6

17

CN 110334704 A

说　明　书　附　图

5/5页

图7

18