Kinect应用概述及发展前景_朱涛

Kinect应用概述及发展前景

朱涛，金国栋，芦利斌（第二炮兵工程大学907教研室，西安710025）

摘

要：随着微软Kinect体感设备的推出，国内外研究机构和科研人纷纷以此为平台进行研究和

开发，应用于机器人、医疗、教育、电子商务和计算机等领域。旨在对Kinect的工作原理和应用现状进行简要的概述，并探讨Kinect未来的发展前景。

关键词：Kinect；体感；人机交互

󰀁

0引言

Kinect是微软公司于2010年6月针对游戏主机

频处理功能。逻辑电路由3块电路板构成，两块装有核心芯片PrimeSensePS1080用于图像处理和语音处理，第三块装有加速度传感器判断设备的倾斜度。基座内装有驱动一组塑料齿轮的马达和空间感知器，具有机械转动功能，可以调整传感器的位置和自动校正摄像头，从而获得最佳的观察位置。

Xbox360推出的一款体感设备，如图1所示。虽然最初只是针对游戏领域进行开发的体感设备，但是推出之后就引起人们的极大关注。随着KinectforWindows的出现和代码的开源，而且功能强大、价格低廉，很多人纷纷在Kinect平台上进行开发和研究，逐渐应用于很多领域。

Kinect核心技术在于能够获取目标的深度数据，具有骨骼跟踪功能。目前，它可以追踪20个骨骼点，最多可以定位6个人的骨骼位置。很多人以此为基础，开展人体识别[3~5]、手势识别[6~11]、人脸识别[12]等方面的研究。

󰀁

图1KinectforXbox360

1Kinect工作原理

Kinect通过彩色摄像头和3D深度感应器获取色

彩信息和空间信息，借助麦克风点阵采集声音数据，提供了更为强大的人机交互方式。之所以具有强大的功能，在于其核心部件PrimeSensor的PS1080系统级芯片（SoC），而PrimeSenser设备采用了LightCoding技术。

目前，深度摄像头（DepthCamera）成像原理一般分为ToF（TimeofFlight）测量方法[13]和结构光扫描法[14]两类。ToF成像原理是让装置发出脉冲光,并在发射处接受目标物的发射光，通过计算往返的时间差测量与目标物的距离。结构光扫描法的原理是首先将结构光投

Kinect由彩色摄像头、红外线装置、麦克风阵列、逻辑电路、马达等部分构成[1]。Kinect有三个摄像头，中间是BGBVGA彩色摄像头，左右两边镜头分别则为红外线发射器和CMOS红外摄像头所构成的3D深度感应器[2]，分辨率均为640×480，最大帧率为30fps，可以同时获取彩色图像和深度图像。麦克风阵列由四个朝下的内置麦克风构成，用于检获声音指令，具有声音定位、背景去噪、回声消除、语音控制、自动增益控制等音

收稿日期：2012-01-28

修稿日期：2012-02-05

作者简介：朱涛（1989-），男，硕士研究生，研究方向为空天信息系统与信息处理

髽现代计算机2013.02下研究与开发射到物体表面，再用摄像机接受该物体表面反射的结构光图案，通过图案在图像上的位置和形变程度来计算物体表面的空间信息[15]。不同于一般的结构光技术，

营救被困人员。虽然目前还无法代替人力救援工作，但是未来会逐步成为营救行动的主力。

微小型无人机应用前景广泛，特别适合在城市、室内、山区、峡谷、丛林等近地面复杂环境中执行特定任务，但是实时监控是目前最大的难题。实现自主飞行是未来无人机的发展趋势，是解决实时监控的很好选择。然而，目前的传感器很难满足微小型无人机实现自主飞行的需求，Kinect的出现为实现自主飞行提供很好的选择。斯坦福大学[19]、宾夕法尼亚大学[20]、新西兰坎特伯雷大学[21]等对此开展了研究。宾夕法尼亚大学的

LightCoding技术通过投射具有三维空间体编码的LaserSpeckle激光散斑，对测量空间进行编码。而这种散斑具有高度的随机性，对距离变化十分敏感，在空间中任意两区域得到的散斑图案各不相同，因此可以用散斑图案获取物体的空间信息。LightCoding与ToF、传统的结构光技术对比，如表1所示。

表1LightCoding与ToF、传统的结构光技术对比

󰀁󰀂󰀃󰀄󰀅󰀁󰀂󰀃󰀋󰀁󰀌󰀍󰀃󰀗󰀘󰀙󰀚󰀃󰀆󰀇󰀈󰀁󰀂󰀅󰀄󰀅󰀁󰀃󰀎󰀏󰀐󰀃󰀋󰀁󰀌󰀍󰀃󰀛󰀜󰀝󰀃󰀗󰀘󰀃󰀉󰀊󰀋󰀌󰀍󰀎󰀁󰀂󰀅󰀆󰀇󰀁󰀃󰀎󰀏󰀐󰀃󰀋󰀁󰀌󰀍󰀃󰀞󰀟 󰀝󰀗󰀘󰀃󰀏󰀐󰀑󰀒󰀓󰀅󰀔󰀇󰀕󰀐󰀖󰀑󰀁󰀂󰀅󰀈󰀁󰀉󰀊󰀃󰀑󰀒󰀐󰀓󰀔󰀕󰀖󰀌󰀍󰀃!\"󰀜#$%&󰀗󰀘󰀃GRASP实验室，在小型四旋翼飞行器平台上面装配一个Kinect，能对周围的环境进行3D建模从而感知环境，实现了在特定实验室的自主飞行。

随着人们对Kinect进一步开发和研究，将会大大降低机器人的研发和使用成本。相信在不久的将来，机器人将走出实验室，进行大规模的商业化投产，使用于各行各业，进入到千家万户。

2应用概述

近年来，机器人技术得到了快速发展，同时也面临

2.1机器人视觉与控制着一个难题———如何提高机器人对周围环境的理解能力。传感器是提高机器人理解能力的前提。之前市面上的传感器要么笨重昂贵，要么测量不精确，而Kinect具有成本低廉、轻巧简单、精度较高、功能强大等优点，能够拍摄3D图像。把Kinect作为机器人的“头”，对周围的环境进行三维建模并指导相应的行为，将会成为机器人视觉与控制新的研究热点。

前不久，麻省理工学院电脑与人工智能实验室（CSAIL）的MauriceFallon教授，以开源机器人PR2和

2.2医疗领域手术室环境对无菌要求非常高，但目前的人际交互方式还不便于在手术过程中进行操作，在无形中增加了工作量和手术人员，很难保证手术的及时、准确、安全。Kinect体感操作可以克服目前的一些束缚，在手术进行过程中查阅患者的影像资料，无须接触就可以用手势和语音来控制图片缩放、病历查阅等操作。

瑞士伯尔尼大学Virtopsy项目[22]应用Kinect设计了专为浏览医疗图像的OsirixPACS系统，通过语音控制和体感操作代替传统的尸体检查程序，实现尸检过程无菌化，避免接触感染。第四军医大学西京医院将

Kinect为基础，开发出能够自主识路的机器人[16]。当机器人进入未知环境中，用Kinect获取地理信息并实时绘制成三维地图数据库，从而借助地图来自主判断并进行路径规划。日本知名的机器人制造商安川机电（Yaskawa），在服务机器人Smartpal上安装Kinect，成功研制出SmartpalVII机器人[17]。使用者可以用手势远距离控制机器人，让它模拟使用者做出一样的动作，如同再现电影RealSteel中的场景。若干年后，人们可以用手势或语音来让机器人进行打扫卫生、整理房间、移动物品等家务。Warwick移动机器人团队应用Kinect技术开发了一款救援机器人[18]，目的是让救援机器人可以进入灾后坍塌的建筑物、危险地带等恶劣环境中

Kinect影像浏览系统成功应用于脊柱骨瘤外科手术，医生不用配戴任何附加设备，通过体感控制便可查阅患者的影音资料，降低了室内交叉感染的风险，保证了外科手术的高效性和安全性。

Kinect与传统的康复医疗训练设备相比，成本低廉具有很大的优势，可利用其运动捕捉、骨骼跟踪功能和景深数据，准确捕捉中风病人的肢体运动信息进行病情诊断，开展骨折后的康复治疗和脑损伤后的认知训练等。目前，加拿大Jintrionix公司通过Kinect开发出远程康复锻炼系统[23]，用于帮助中风、老年病等患者进行康复性训练，其应用前景十分广阔。

可以在房间、走廊、活动室等场所安装Kinect，获

现代计算机2013.02下

髾研究与开发取的运动信息，例如步行速度、步长、走路时间等，侦测病情的诱发、机能的下降和整体活动水平。目前，这已在密苏里州大学辛克莱护理学院和美国家庭护理服务联合建造的老人生活中心———TigerPlace得以实现[24]。在明尼苏达大学儿童发展研究所，研究人员借助

开发团队建立了虚拟网络试衣间[29]，实现用户在视频中体验真实的试穿和换装过程，全方位多视角地感受衣帽的实际穿戴效果。

此外，还有人开发了一套非常高明的Shopper

Tracker系统[30]，用于研究顾客购物行为。当顾客开始进入到店铺，帮助商家记录顾客的一系列行为，例如进店路径、在某一商品前的驻足时间、商品选购行为等，从而为商家提供更为准确的销售信息。

Kinect收集和跟踪儿童的语言和行为特征，开展自闭症谱系障碍（ASD）研究[25]。

2.3教育领域Kinect具有实时动态捕捉、影像辨识、骨骼跟踪、语音控制、社群互动等功能，可以整合到课堂教学中，提供更为自然的人机交互方式。把Kinect应用与投影仪相结合，通过手势和语音等体感操作，实现对投影内容的播放、翻页、划线、标注等进行控制，例如广东省计算机网络重点实验室就开发了一套ViewCool系统[26]，能够提供很好的用户体验。把Kinect应用和电子白板相结合，可以减少的PPT准备时间，提高了教学质量，如王康[27]对基于Kinect的体感交互式电子白板进行研究探讨。把Kinect应用与教学辅助工具结合到一起，可以演示DNA、化学分子结构、宇宙星云等等，激发学习兴趣，如上海交通大学的钱鹤庆[28]在SNC标准自然教室中用Kinect开发出虚拟地球仪的教育辅助系统。

2.5计算机应用目前，人机交互方式主要还是通过键盘、鼠标和触摸屏来实现，但还不是最自然的人机交互方式，在未来会逐步被更为人性化的触觉型和语音控制等人机交互方式所代替。而Kinect的出现，在一定程度上让这种新的交互方式向前推进了一大步。

美国麻省理工学院的研究人员开发了DepthJS系统[31]，只需手势就可以对网页进行浏览、点击、缩放、下拉、关闭等操作，实现了体感浏览器的功能。在华南理工大学的金连文教授开发的“空中手写———基于

Kinect的虚拟手写体识别”项目[32]中，使用者只需用手指在空中自由地移动，系统就可以对手写的英文、汉字等字符进行识别，实现了向电脑等设备手势输入和识别功能。

随着Kinect与计算机技术结合的日渐成熟，将会改变原有的人机交互方式，触摸屏、鼠标、键盘等外部输入设备会逐步淘汰，进入到新的人机交互时代。

Kinect也可以应用到远程教育当中，通过搭建动态虚拟课堂，将主讲人、听众和虚拟场景融为一体，听众可以体验真实的PPT演示过程，在虚拟教室中举手发言，主讲人可以对问题进行讲解，让实现了人物和虚拟场景的交互，为远程视频教学提供更为真实的场景。北京航空航天大学的Openkids团队通过Kinect和

3结语

目前，Kinect应用技术的开发还只是初见端倪，但

XNA开发出V-Show虚拟环境演示系统[29]，具有场景切换、放大缩小元素、拉出介绍文字等功能，可以用于远程视频教学。

已经表现出强大的生命力和多样性发展趋势。随着

Kinect技术的进一步成熟和充分挖掘，相信下一代Kinect将会配备更强大的处理芯片，具有更高的分辨率和传输速率，能够实时捕捉人体细节，为人机交互带来质的突破，必将在更多的领域得到广泛地应用。

参考文献

2.4电子商务领域在互联网技术发展的推动下，电子商务广泛应用在全球商业贸易活动中。随着人们在Kinect应用开发上的进一步深入，将会给电子商务的发展注入新的血液，为用户提供更为全新的体验。

结合Kinect应用和增强现实技术，可以创建虚拟试衣镜，提供最便捷的3D试穿和换装体验。顾客无需试穿，可以看到各种衣帽饰品穿在身上的3D效果，还可以轻松更换服装款式，免去反复脱掉穿上衣服这样费时费力的操作。以网购为背景，中山大学Kinect应用

[1]EricaNaone.MicrosoftKinect:HowtheDeviceCanRespondtoYourVoiceandGestures[Z].PioneeringwithScienceandTechnology,2011;4(04)：82~83

[2]狄海进.基于三维视觉的手势跟踪及人机交互中的应用[D].南京大学,2011

趭趤现代计算机2013.02下研究与开发[3]LuXia,Chia-ChihChen,J.K.Aggarwal.HumanDetectionUsingDepthInformationbyKinect[C].ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPat-ternRecognitionWorkshops(CVPRW),ColoradoSprings,CO,2011:15~22

[4]林鹏.基于深度图像学习的人体部位识别[D].上海交通大

学,2012

cn/games/tv/news/2011030111/967956.html.2011[19]AlbertS.Huang,AbrahamBachrach,PeterHenry,Michael

Krainin,DanielMaturana,DieterFox,NicholasRoy.VisualOdometryandMappingforAutonomousFlightUsinganRGB-DCamera[C].ProceedingsofRoboticsResearch(IS-RR),Flagstaff,USA,2011

[20]ChristopherM.Korpela,ToddW.Danko,PaulY.Oh.MM-UAV:MobileManipulatingUnmannedAerialVehicle[J].JournalofIntelligent&RoboticSystems,2012,65(1-4):93~101

[21]JohnStowers,MichaelHayesandAndrewBainbridge-Smith.

AltitudeControlofaQuadrotorHelicopterUsingDepthMapfromMicrosoftKinectSensor[C].Proceedingsofthe2011IEEEInternationalConferenceonIstanbul,Turkey,2011:358~362

[22]张荻.Kinect应用领域的探讨[J].物流工程与管理,2012，

34(06):39~41

[23]思远.Kinect:微软的梦想与未来.http://www.sootoo.com/

content/353596.shtml.2012

[24]许源.Kinect在医疗界的应用.http://www.geekpark.net/

read/view/160246.2012

[25]RavishankarSivalingam,AnoopCherian,JoshuaFasching,et

al.AMulti-SensorVisualTrackingSystemforBehaviorMonitoringofAt-RiskChildren[C].ProceedingsofIEEEIn-ternationalConferenceonRoboticsandAutomation(ICRA),SaintPaul,MN,2012:1345~1350

[26]黄康泉,陈壁金,郑博,徐芝琦.Kinect在视频会议系统中

的应用[J].广西大学学报(自然科学版),2011,36(01):308~

[5]林填锋,杨洁霞.基于Kinect的人体识别技术的一些改进[J].电脑知识与技术,2012,8(21):5220~5223

[6]ZhouRen,Jing-jingMeng,Jun-songYuan.RobustHandGestureRecognitionwithKinectSensor[C].Proceedingsofthe19thACMInternationalConferenceonMultimedia,NewYork,NY,USA,2011:759~760

[7]K.K.Biswas,SauravKumarBasu,GestureRecognitionusingMicrosoftKinect[C].Proceedingsof5thInternationalConfer-enceonAutomation,RoboticsandApplications(ICARA),Wellington,2011:100~103

[8]MatthewTang.RecognizingHandGestureswithMicrosoft'sKinect.http://www.stanford.edu/-class/ee368/Project_11/Re-ports/Tang_Hand_Gesture_Recognition.2011

[9]ValentinoFrati,DomenicoPrattichizzo.UsingKinectforHandTrackingandRenderinginWearableHaptics[C].ProceedingsofIEEEonWorldHapticsConference(WHC),Istanbul,2011:317~321

[10]王明东.基于Kinect骨骼跟踪功能实现PC的手势控制

[J].漳州职业技术学院学报,2012，2(14):11~16

[11]罗元,谢彧,张毅.基于Kinect传感器的智能轮椅手势控

制系统的设计与实现[J].机器人,2012，34(01):110~113

[12]丁小童.视频监控中的头部检测与跟踪[D].大连理工大

学,2011

313

[27]王康.基于Kinect的体感交互式电子白板初探[J].中国现

代教育装备,2012(06):29~30

[13]AndreasKolb，ErhardtBarth，ReinhardKoch，RasmusLar-sen.Time-of-FlightCamerasinComputerGraphic[J].Com-puterGraphicsForum,2010，29(01):141~159

[14]SalviJ,PagesJ,BatlleJ.PatternCodificationStrategiesin

StructuredLightSystems[J].PatternRecognition,2004,37(04):827~849

[15]余涛.Kinect应用开发实战：用自然的方式与机器对话

[M].北京：机械工业出版社,2012[16]陈一斌.会认路的Kinect机器人.

73831.2012

[17]TerrenceO'Brien.YakawaElectric'sSmartPalVIILetsyou

CleanupGrandma'sHouseUsingKinect.http://www.engad-get.com/2011/11/21/yaskawa-electrics-smartpal-vii-lets-you-clean-up-grandmas-hous/.2011

[18]Walok.Kinect机器人可参与地震搜救.http://www.it.com.

http://www.ifanr.com/

[28]钱鹤庆.应用Kinect与手势识别的增强现实教育辅助系

统[D].上海交通大学，2011

[29]杨东杰.3D脸谱、网上试衣间、穿越中华文明等学生作品

亮相2011微软学生夏令营.http://www.csdn.net/article/

2011-08-26/303625.2011

[30]马超.开发者推出ShopperTracker：基于KinectAPI打造

的实体商店版GoogleAnalytics.http://www.36kr.com/p/

65465.html.2011

[31]DanielJ.Libeling,MeredithRingelMorris.KinectedBrows-er:DepthCameraInteractionfortheWeb[C].Proceedingsofthe2012ACMInternationalConferenceonInteractiveTab-letopsandSurfaces,NewYork,NY,USA,2012:105~108[32]微软推自然人机交互技术深入高校科研.http://tech.hex-un.com/2011-12-02/135934707.html.2011

（下转第33页）

现代计算机2013.02下

趮趤教学园地参考文献[3]丛飚，陈卓然．《软件工程》实验课程改革与实践[J]．现代计

算机，2011，6

[1]马竟锋，李晓旭，孙岐峰，祁鑫．《软件测试》课程教学若干

问题探讨[J].科教导刊，2012，27

[4]赵莹莹，刘欣．软件测试实验在独立学院教学改革的探讨

与实践．大众科技，2012，4

[2]陆红彬．案例教学法在《软件测试》课程教学中的应用.科

技风，2011，6

ReformationandPracticeofSoftwareTestingExperimental

Methods

LIYing-chun

（SchoolofSoftwareUniversityofScienceandTechnologyLiaoning,Anshan114051）

Abstract:Aimingatthestatusofthesoftwaretestingexperimentmethods,discussestheproblem,and

proposessomesolutionstotheproblem,suchastheactualcaseastheexperimentalproject,di-vidingthestudentintogroups,andthegroupinvolveindefence,themethodachievesgood

teachingeffectivenessintheactualpracticeofteaching.

Keywords:SoftwareTesting;Experimental;Case

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!（上接第11页）

ApplicationOverviewandDevelopmentProspectofKinect

ZHUTao

，

JINGuo-dong,LULi-bin

(Unit907,theSecondArtilleryEngineeringUniversity,Xi'an710025)

Abstract:AlongwiththeMicrosoftKinectnaturalinteractiondevicepushouting,thedomesticandforeign

researchinstitutionsandresearchersuseitasplatformforresearchanddevelopment.AndtheRobot,medicaltreatment,education,e-commerceandcomputeretchavebeenapplied.AimingatbrieflysummarizingworkprincipleandapplicationstatusoftheKinect,andexploringthefu-turedevelopmentoftheKinect.

Keywords:Kinect；NaturalInteraction；Human-MachineInteraction

现代计算机2013.02下

趰趦