第33卷第1期 2016年1月 计算机应用研究 Application Research of Computers Vo1.33 No.1 Jan.2016 融合语义与几何特征的人体模型结构分割 冰 黎大连116024) 琳 ,韩丽 ,徐建国 ,唐棣 (1.辽宁师范大学计算机与信息技术学院,辽宁大连116081;2.大连理工大学计算机科学与技术系,辽宁 摘要:针对现有三维人体模型形状分析方法存在人工干预及对姿势依赖的问题,提出一种融合语义与几何特 征的三维人体形状分析方法。基于模型表面测地线距离以及内部空间体积特征的度量,提出了基于骨架树的结 构检测方法,基于人体测量学先验语义知识,进一步提炼模型的层次结构。该方法能有效地提取不同姿态人体 模型的结构特征,并实现基于语义的模型分割。一系列实验结果验证了方法的高效性与鲁棒性,对于实现模型 的高层次语义描述以及模型检索具有重要的意义。 关键词:形状分析;人体模型;测地线距离;层次划分;空间体积 中图分类号:TP391.41 文献标志码:A 文章编号:1001—3695(2016)0l—O3l6—05 doi:10.3969/j.issn.1001—3695.2016.01.073 Structural segmentation of human models based on semantic and geometric characteristics Li Lin ,Han Li 一,Xu Jianguo ,Tang Di (1.School of Computer&Information Technology,Liaoning Normal University,Dalian Liaoning 1 1608 1,China;2.Dept.of Computer Science&Technology,Dalian University of Technology,Dalian Liaoning 1 16024,China) Abstract:Aiming at the problems that current methods of shape analysis for 3 D human models need manual intervention and are not pose—independence,this paper proposed an improved algorithm by combining the semantic knowledge with geometric features.Firstly,the authors adopted geodesic distance and space volume as surface metric and volume metric to provide multi— seale structure detection with a skeleton tree descriptor,then further extracted the hierarchy structure of the human models based on the prior knowledge of anthropometry.The method could extract the struetural features of different human posture model effectively.and realized the segmentation model based on semantic.A series of experimental results veriifes the efficiency and robustness of this method,and OUr work has important signiicance forf high level semantic shape descriptor and shape re· trjeva1. Key words:shape analysis;human models;geodesic distance;hierarchical division;space volume 局性拓扑结构提取的特征点只能反映模型子部分的连通关系, 0 引言 随着三维人体扫描技术的日渐成熟,三维人体模型在计算 机辅助设计、虚拟现实、多媒体娱乐等多个领域得到了广泛的 与真实人体骨架节点存在明显差异。 基于投影特征的形状分析方法,通过将三维模型投影于二 维平面,用得到的二维信息进行特征提取。Li等人 从六个 正交方向提取三维模型的二维信息特征,再利用射线积分变换 和球面积分变换来提取小波变换的特征,根据加权的二维视图 和小波变换的相似性来分析模型间的相似度。Hua等人 通 过多视图的尺度特征不变变换(scale invariant feature traus— 运用。三维人体模型的形状分析是研究虚拟人运动、形状匹 配、角色动画的基础。如何实现三维人体模型的结构特征提取 及语义分割,近年来成为计算机图形学、计算机视觉研究领域 中的热点问题。目前已有的形状分析方法大致可分为基于拓 扑图、基于投影特征和基于几何特征方法。Hilaga等人…用多 分辨率Reeb图(muhiresolutional Reeb graphs)得到模型的拓扑 结构,来计算模型问的相似度。韩丽等人 在多分辨率Reeb form),利用三维模型多视点的二维投影,得到深度图像的SIFT 特征提取。通过投影的方式将三维模型进行降维处理后,容易 造成模型信息的特征丢失,因此无法准确地分析内部结构复杂 图原理的基础上,加入高斯曲率约束来优化三维模型的骨架提 取。Barra等人 用拓展Reeb图(extended Reeb graph)的方法 的模型形状,难以实现高效统一的结构描述。 基于几何特征的方法,利用三维模型点、线、面之间的几何 关系得到特征形状描述因子。Shapira等人 基于形状直径函 来描述三维模型,并解决全局性匹配的问题。Tam等人 将拓 扑和几何属性同时分析,提出拓扑节点环(topological point ring)的分析方法,来获得可靠的节点和环的位置。但基于全 收稿日期:2014—12-10;修回日期:2015-02—02 数,从关联性分析模型形状体积。Osada等人 提出将任意模 型转换为形函数的采样概率分布,统计表明采样点的几何性 基金项目:辽宁省高等学校优秀人才支持项目(LJQ20131lO) 作者简介:黎琳(1989一),女(壮族),广西柳州人,硕士研究生,主要研究方向为计算机图形学(higillian@163.corn);韩丽(1973 ),女,教授,博 士,主要研究方向为计算机视觉、计算机图形学;徐建国(1988一),男,硕士研究生,主要研究方向为计算机图形学;唐棣(1960一),女,教授,主要研究 方向为计算机图形学. 第1期 黎琳,等:融合语义与几何特征的人体模型结构分割 ·3l7· 质。Lj等人 提出一种全局和局部射线距离特征相结合的混 测量学理论为科学指导,获得中层关键点的预测位置,形成三 合形状描述子,分别利用了基于直方图和基于视图的方法,该 方法定义模型包围球中心的射线距离面积加权值,将其编码成 维人体模型的结构描述图,实现人体的结构提取与语义分割。 二维直方图作为全局距离的形状描述符,再通过视图的稀疏采 样和局部射线距离特征提取局部射线形状描述符。Guo等 人 构建了一个具有比例、平移、旋转不变性的三维人脸几何 2三维人体模型的结构分割 不变矩,利用不变矩的理论来实现模型对象的识别和分类。在 国内研究方面,舒振宇等人 提出了一种改进的形状直径函 数特征符作为向量,用稀疏表示方法对三维模型进行识别。在 已有形状分析方法的基础上,许多研究者对于三维人体模型进 行了有针对性的形状分析。于勇等人 提出了一种自动提取 人体模型末端点的算法,实现了保留人体拓扑结构的关节中心 提取,但多次迭代计算顶点测地距离的时间代价较高。Wu等 人 在人体测量学理论的基础上,将解剖学比例映射于三维 人体模型,用顶点测地线距离作为Morse函数,确定关节点位 置和范围后进行网格模型的骨架提取。陈启华等人 给出人 体语义特征点的参数化定义后,提出了一种三维人体语义点的 层次分割算法。 综上所述,三维人体模型形状分析方法虽然能全局性描述 模型的连接关系,但提取的特征点局限于特定姿势或不具有真 实关键节点意义。针对目前已有的形状分析方法大多是从模 型的全局特征进行分析,对局部特征不够细化的问题,本文提 出一种多层次的三维人体模型结构提取算法与分割,本方法是 融合几何特征与空间结构的多尺度形状分析方法,并结合语义 知识,提取模型的结构关键点实现语义分割,其对于模型的姿 态与噪声具有极强的鲁棒性,可有效用于模型检索与模型压缩 等领域。 1 人体的语义结构 依据人体模型的骨骼特征,可通过14个关键的语义关键 点¨ 来定义三维人体模型的结构,其具体可分为三个层次,如 图1所示。 外层关键点:位于人体末端的头部、手部、脚部五个关键点。 内层关键点:与人体躯干相连接的颈部、肩部、腿部五个关 键点。 中层关键点:位于外层关键点与内层关键点之间四个肘 部、膝部关键点。 图1人体语义结构模型 本方法首先引入表面测地线距离建立人体模型的骨架树 结构,通过树的遍历与极值点分析,自动提取三维人体模型的 外层关键点;进一步结合空间体积特征,检测模型内部体积的 突变区域确定关键点,有效避免了表面几何特征中易受噪声点 影响的局限性,提高了内层关键点检测的准确性;最终以人体 个 图2外层关键点提取 其具体算法步骤描述如下: a)计算模型顶点的测地线距离 ( ),进行 等分,生成 层次的树结构r,(n,e)。 b)遍历骨架树 (n,e),寻找叶子节点 及所对应的点集 。 c)计算根节点 到叶子节点n 的测地线距离D(nO, n )= (n )一肛(no),由于测地线距离具有姿态稳定性,所以可 通过测地线距离D( 。,n )排序。定义最短距离的叶子节点为 头部;最大距离的两个叶子节点为下肢;次大距离的两个叶子 节点为上肢。 d)依据区分的不同语义的叶子节点及所对应的水平点集 ·318· 计算机应用研究 第33卷 ,线性查找其最大测地线距离 ( )的极值点,作为相应的 的邻接三角形的夹角和。高斯曲率KG( )通过符号可区分 为双曲点( ( )<0)、椭圆点( ( )>0)与抛物点 (k( )=0),针对不同类型的点本文计算其对应的模型内切 头、手及脚部特征点,添加到树结构 (n,e)作为新的叶子节 点,如图2所示。 本算法在执行过程中,只需计算一次顶点问的测地线距 离,并通过骨架树的遍历,寻找模型的末端连通点集,并检测极 圆中心点O,。椭圆点与双曲点所对应的内切圆圆心通过该点 法矢量的负方向移动r( )步长获得,如图3所示。而对于抛 值点作为外部特征点。其中树的遍历算法的复杂度O(n),n 是树中节点数目,一般模型通过层次划分后,可得到10~20的 骨架节点数目(n<<N,N为模型顶点数Et)。而在外层关节点 检测中,本文只在叶子节点对应的子集中进行检测,其时间复 杂度为O(m),m为各水平点集中的平均顶点数目,其远远小 于模型顶点数目的N(m<<N)。本算法总体时间复杂度为测 物点,依据其负法向矢量与模型交点的射线长度d( )获得。 0 =一n r( ),O =一n d( )/2 (3) 图3(b)为人体模型内部映射点的可视化,由于本算法中 曲率的计算仅仅依赖各个顶点1一ring邻域的搜索,所以其时间 复杂度为O( Ⅳ),其中Ⅳ为模型顶点数,而k为落入1一ring邻 域的平均点数( <<N)。相对于文献[14]中每个顶点需要计 地线距离计算O(Ⅳlog N)和骨架树遍历及极值点检测0(n+ m),而O(m+n)近似线性时间,所以整体时间复杂度为测地 线距离的计算时间O(N log N),这样其相对于末端特征点提 取算法 中多次变化源点进行测地线距离检测的方法明显要 高效。 2.2基于空间体积约束的层次结构优化 现有的人体关键点定位方法,大多是通过分析顶点周围邻 近点的不规则变化来找到近似关节位置。文献[2]通过计算 模型表面曲率等信息来判断局部的凹凸特性确定关键点位置, 但该方法容易受到表面局部噪声的影响,对于不同姿态下的同 一模型无法得到统一准确的实验结果。 通过观察,发现模型内层关键点(如四肢与身体的连接 处、颈部与身体的连接处等)所在的区域,其内部空间体积会 呈现出巨大的突变。本文提出了基于内部空间体积检测的层 次结构分析方法,有效地避免了表面噪声的敏感性,实现了多 姿态模型的高效、统一的结构特征提取。 本文首先将模型顶点标准化后映射到模型内部获得其最 大内切圆圆心半径,作为映射点;根据ray—based算法 从映 射点采样发出射线,如图3所示,将所有射线与模型表面交点 的长度进行求和,作为该点的内部体积特征值;最后根据模型 内的空间体积突变区域的检测,获取模型显著内层关键点。 (a)基于曲率的映射点计算 (b)模型的内部映射点 图3模型内部映射点计算 文献[16]通过射线法确定模型内部最大内切圆的圆心, 来作为参考点。本文通过引入曲率凸凹判定以及曲率半径,有 效地提高了参考点计算的效率。 众所周知,高斯曲率是曲面的内蕴几何量,有效地揭示了 模型表面的凸凹特性,其曲率半径为衡量表面弯曲度的标量。 这里,本文引入Meyer等人m 的Voronoi图方法灵活估算任意 离散网格顶点的高斯曲率K。。此方法基本思想是把三角网格 的每ff-N点的度量性质看做此空间网格在此点一个小邻域的 平均度量。如图3(a)所示,给定模型顶点 ,其高斯曲率 K ( )及曲率半径r( )可定义为 2 一 1 … 其中: 为顶点 在邻域三角形中的投影面KG(tli) 一 , )一KJ c ,(vi)S 积,∑ :一。 为顶点 算m条射线与模型的交点以确定内切圆直径(其时间复杂度 ~ 可高达到O(,v2)),本方法不仅提高了算法效率,而且有效避 甑 簿 ㈡ 0 垂 免了方法 只适合管状模型,在平面狭长部位无法计算体积 删一 特征的缺陷。基于映射点,本文依据ray.base方法,计算其内 在体积特征值Vol( )。每个映射点向模型发出一系列均匀的 嘛~~裙‰‰ ~ 采样射线,并利用共面性 计算每条采样射线与模型面片交 点,以该交点距离f 之和作为其部体积特征值Vol、≯一 ( )。为了 获得各个顶点局部收敛性,本文利用高斯分布 ,引入权值II) 对特征值进行去噪处理: Vol( )=): 兰 , ∑ Wi:=e ( 1i-t,(1 ’ (4) l 其中:肛是平均值,or为标准差。如图4(a)所示,为人体模型对 应的体积特征突变点分布。对于人体模型而言,无论其姿势形 态如何改变,所提取的层次结构特征应该是相对稳定的。本文 对于同一人体不同姿势的模型作了分析,如图4所示,依据模 型顶点的内部体积值,可检测其发生巨大突变的局部区域(如 图4(b)中球点所示),其有效识别出模型内部关键区域,如肩、 髋、颈等关节点,并插入到树结构T(n,e)中。 嚣 _ 。 ≤霉 1;一≤ : 鼻 ; _ fb)基于体积检测的内层关键点提取 图4基于空间体积特征值突变点检测的内层关键点提取 2.3结合结构语义的人体层次结构优化 近年来,人体测量学被广泛研究并应用于人体模型的结构 分析与提取,尤其是应用于一些结构较为标准的人体模型。人 类虽然受诸多外在因素的影响,如性别、种族和生长环境等而 存在略微细微的个体差异,但通过大量数据的统计与分析发 现,人体各部分结构的比例存在一定的稳定性,且这种稳定性 ·320· 计算机应用研究 第33卷 结构易受模型姿势的影响。本文提出的算法无须任何人工干 [7]Shapira L,Shamir A,Cohen D.Consistent mesh partitioning and skele— tonisation using the shape diameter function[J].Visual Computer, 2008,24(4):249-259. 预和训练样本学习,可直接应用于三维人体模型的形状分析。 其中,基于骨架树的外层关键点搜索,大大提高了算法的执行 效率;而以内部体积值作为形状描述特征因子,可实现多姿态 的人体形状分析,进一步提高了算法的鲁棒性和准确性。目 前,算法仍存在一些待改进的研究工作:a)基于人体测量学理 论提取中层关键点,针对不同的人体特征会产生细微误差,如 [8]Osada R,Funkhouser T,Chazelle B,et a1.Matching 3 D models with shape distirbutions[J].ACM Trans on Graphics,2002,21(4): 807-832. [9]Li Bo,Johan H.3 D model retireval using global and local radial dis— tnces[Ja/OL].(2013).http://a ̄iv.org/ftp/arxiv/papers/1306/ 1306.2081.pdf. 何进一步精确识别人体关键点还待研究;b)对于拓扑结构发 生改变的人体模型,需要对模型进行预处理,确保层次结构的 有效性。下一阶段将融合人体特性的语义知识进行模型检索、 动作仿真、姿态行为识别等方面的研究工作,并进一步探讨应 用于普通模型的结构提取、语义表示的形状分析方法。 参考文献: [1]Hilaga M,Shinagawa Y,Kohmura T,et a1.Topology matching for fully [10]Guo Zhe,Zhang Yanning,Lin Zenggang,et a1.A method based on ge— ometric invariant feature for 3D face recognition[C]//Proc of the 5th International Conference on hnage and Graphics.2009:902-906. [11]舒振宇,王鹏飞,于欣,等.基于局部稀疏表示的三维模型识别算 法[J].计算机辅助设计与图形学学报,2014,26(11):1938—1947. [12]于勇,王兆其,夏时洪.一种姿态无关的人体模型骨骼提取方法 [J].计算机研究与发展,2008,45(7):1249.1258. [13]Wu Weihe,Hao Aimin,Zhao Yongtao.Geodesic model of human body automatic similarity estimation of 3D shapes[C】//Proc of SIG- GRAPH.2001:203-212. [C]//Pro of International Conference on cYBERw0RLDs.Washing- ton DC:IEEE Computer Society,2010:391—397. [2]韩丽,楚秉智,高小山,等.高斯曲率约束的MRG骨架提取优化算 法[J].计算机辅助设计与图形学学报,2009,21(9):1227-1231. [3]Barra V,Biasotti S.3D shape retireval using kernels on extended Reeb graphs[J].Pattern Recognition,2013,46(11):2985-2999. [14]陈启华,潘翔,张三元.语义知识约束的三维人体特征点检测和分 割[J].计算机辅助设计与图形学学报,201l,23(6):1061—1068. [15]邢玉辉,吕天阳,王钲旋.利用共面性计算射线与三维模型表面交 点的快速算法[c]//第十二届全国图像图形学学术会议.2005: 585—588. [4]Tam G,Lau R.Deformable model retireval based on topological and geometirc signatures[J].IEEE Trans on Visualization and Com- puter Graphics,2007,13(3):470—482. [5]Li Pengjie,Ma Huadong,Ming Anlong.3 D model retireval using 2D view and transform—based features[C]//Advances in Multimedia In— formation.2010:449-460. [16]Liu Rong,Zhang Hao,Shamir A,et a1.A part·aware surface metirc for shape analysis[J].Computer Graphics Forum,2009,28(2):397— 406. [6]Hua Shungang,Jiang Qiuxin,Zhong Qing.3D model retireval based on multi—view sitf feature[C]//Pmc of International Conference on Com- munication Systems and Information Technology.201 1:163—169. [17]Meyer M,Deshrnn M,SchrSder P,et a1.Discrete differentil—ageometry operators for triangulated 2-manifolds[J].Visualization and Mathe— matics I1,2oo3,6(8-9):5—57. (上接第299页) [10]Guo Chenlei,Zhang Liming.A novel multiresolution spatiotemporal saliency detection model and its applications in image and video corn- 参考文献: [1]Avidan S,Shamir A.Seam carving for content-aware image resizing [J].ACM Trans on Graphics,2007,26(3):10. [2]Rubinstein M,Shamir A,Avidan S.Multi—operator media retargeting pression[J].IEEE Trans on Image Processing,2010,19(1): 185—198. [11]李崇飞,高颖慧,卢凯,等.基于相位谱和调谐幅度谱的显著性检 测方法[J],中国图象图形学报,2012,17(7):821.827. [12]Fang Yuming,Chen Zhqnzhong,Lin Weisi,et a1.Saliency detection in [J].ACM Trans on Graphics,2009,28(3):23. [3]Dong Weiming,Zhou Ning,Paul J C,et a1.Optimized image resizing using seam carving and sclaing[J].ACM Trans on Graphics, 2009,28(5):125. the compressed domain for adaptive image retargeting[J].IEEE Trans on Image Processing,2012,21(9):3888—3901. [4]Silveira C L B,Mierlo F D O,Luiz G J,et a1.Faster seam carving with minimum energy windows[C]//Proc of the 29th Annual ACM Sym— posium on Applied Computing.2014. [13]Fang Yuming,Lin Weisi,Chen Zhen'zhong,et a1.A video saliency de- tection model in compressed domain『J].IEEE Trans on Circuits and Systems for Video Technology,2013,24(1):27-38. [5]Wu Lifang,Gong Yu,Yuan Xingdi,et a1.Semantic aware spor【image resizing jointly using seam carving and warping[J].Multimedia Tools and Applications,2014,70(2):721-739. [14]Zhang Jiangyang,Li Shangwen,Kuo C C J.Compressed—domain video retargeting[J].IEEE Trans on Image Processing,2014,23(2): 797—809. [6]Battiato S,Farinella G M,Puglisi G,et a1.Saliency—based selection of rgadient vector lfow paths for content aware image resizing[J].IEEE Trans on Image Processing,2014,23(5):2081-2095. [15]Wallace G K.The JPEG still picture compression standard[J].Com- munications of the ACM,1991,34(4):3O一44. [16]Rubinstein M,Shamir A,Avidan S.Improved seam carving for video [7]Yan Bo,Yuan Binhang,Yang Bo.Effective video retargeting with jit。 tery a8sessment『J].IEEE Trans on Multimedia,2013,16(1): 272.277. retargeting[J].ACM Trans on Graphics,2008,27(3):16. [17]Otsu N.Threshold selection method from gray-level histograms[J].IEEE Trans on Systems.Man and Cybernetics,1979,9(1):62-66. [8]Itti L,Koch C,Niebur E.A model of saliency—based visual attention ofr rapid scene analysis[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1998,20(11):1254—1259. f91 Goferman S,Zelnik.manor L,Tal A.Context-aware saliency detection 『J].IEEE Trans on Panem Analysis and Machine Intelli- [18]http://en.wikipedia.org/wiki/Golden—ratio[EB/OL]. [19]http://ivrg.epf1.ctv'supplementary—material/RK—CVPR09/index. html[EB/OL]. [20]Liu Yongjin,Luo Xi,Xuan Yuming,et a1.Image retargeting quality assessment[J].Computer Graphics Forum,2011,30(2):583— 592. gence,2012,34(10):1915-1926.