一种人机交互控制方法、装置及机器人[发明专利]

(12)发明专利申请

(10)申请公布号 CN 108068121 A(43)申请公布日 2018.05.25

(21)申请号 201711408772.9(22)申请日 2017.12.22

(71)申请人 达闼科技（北京）有限公司

地址 100102 北京市朝阳区望京SOHO塔3A

区23层(72)发明人 张含波　

(74)专利代理机构 北京中博世达专利商标代理

有限公司 11274

代理人 申健(51)Int.Cl.

B25J 11/00(2006.01)B25J 9/16(2006.01)

权利要求书2页 说明书5页 附图5页

(54)发明名称

装置及机器人一种人机交互控制方法、

(57)摘要

本申请的实施例公开的一种人机交互控制方法、装置及机器人，涉及机器控制领域，能够优化机器人与用户的交互过程，提高用户体验。该方法，包括：检测目标人物的脸部信息；根据所述目标人物的脸部信息确定所述目标人物是否注视所述机器人；当确定所述目标人物注视所述机器人的时间超过预定时长时，调整所述机器人的朝向至所述目标人物，并检测所述目标人物发出的交互信息。

CN 108068121 ACN 108068121 A

权　利　要　求　书

1/2页

1.一种人机交互控制方法，其特征在于，包括：检测目标人物的脸部信息；

根据所述目标人物的脸部信息确定所述目标人物是否注视所述机器人；当确定所述目标人物注视所述机器人的时间超过预定时长时，调整所述机器人的朝向至所述目标人物，并检测所述目标人物发出的交互信息。

2.根据权利要求1所述的方法，其特征在于，所述检测目标人物的脸部信息之前，还包括：

检测所述目标人物的位置；

当根据所述目标人物的位置确定所述目标人物进入机器人周围的预定空间范围时，检测所述目标人物的脸部信息。

3.根据权利要求1所述的方法，其特征在于，所述在检测目标人物的脸部信息之前，还包括：

获取所述目标人物的声音，并检测所述声音包含的唤醒词；若确定所述唤醒词非预定唤醒词，则检测目标人物的脸部信息。4.根据权利要求3所述的方法，其特征在于，若确定所述唤醒词为预定唤醒词，则根据所述声音定位所述目标人物的位置；根据所述目标人物的位置调整所述机器人的朝向至所述目标人物，并检测所述目标人物发出的交互信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：当确定至少两个所述目标人物注视所述机器人的时间超过预定时长时，获取至少两个所述目标人物发出的语音，记录至少两个所述目标人物发出语音的时间，并根据所述语音定位至少两个所述目标人物的当前位置；

根据至少两个所述目标人物发出所述语音的时间，确定至少所述两个目标人物中的当前交互对象；

所述调整所述机器人的朝向至所述目标人物，并检测所述目标人物发出的交互信息，包括：

根据所述当前交互对象的当前位置，调整所述机器人的朝向至所述当前交互对象，并检测所述当前交互对象发出的交互信息。

6.一种人机交互控制装置，其特征在于，包括：检测模块，用于检测目标人物的脸部信息；处理模块，用于根据所述检测模块获取的所述目标人物的脸部信息确定所述目标人物是否注视所述机器人；

控制模块，用于当所述处理模块确定所述目标人物注视所述机器人的时间超过预定时长时，调整所述机器人的朝向至所述目标人物，并通过所述检测模块检测所述目标人物发出的交互信息。

7.根据权利要求6所述的装置，其特征在于，所述检测模块还用于检测所述目标人物的位置；当根据所述目标人物的位置确定所述目标人物进入机器人周围的预定空间范围时，检测所述目标人物的脸部信息。

8.根据权利要求6所述的装置，其特征在于，所述检测模块还用于获取所述目标人物的

2

CN 108068121 A

权　利　要　求　书

2/2页

声音，并检测所述声音包含的唤醒词；若确定所述唤醒词非预定唤醒词，则检测目标人物的脸部信息。

9.根据权利要求8所述的装置，其特征在于，所述检测模块还用于若确定所述唤醒词为预定唤醒词，则根据所述声音定位所述目标人物的位置；所述控制模块具体用于根据所述目标人物的位置调整所述机器人的朝向至所述目标人物，并通过所述检测模块检测所述目标人物发出的交互信息。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述检测模块还用于当确定至少两个所述目标人物注视所述机器人的时间超过预定时长时，获取至少两个所述目标人物发出的语音，记录至少两个所述目标人物发出语音的时间，并根据所述语音定位至少两个所述目标人物的当前位置；根据至少两个所述目标人物发出所述语音的时间，确定至少所述两个目标人物中的当前交互对象；

所述控制模块具体用于根据所述检测模块获取的所述当前交互对象的当前位置，调整所述机器人的朝向至所述当前交互对象，并检测所述当前交互对象发出的交互信息。

11.一种人机交互控制装置，其特征在于，包括：存储器、通信接口、处理器；存储器以及通信接口耦合至处理器；所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行权利要求1～5任一项所述的人机交互控制方法，所述通信接口用于所述人机交互控制装置与外部设备的数据传输。

12.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如权利要求1～5任一项所述的人机交互控制方法。

13.一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现权利要求1～5任一项所述的人机交互控制方法。

14.一种机器人，其特征在于，包括如权利要求6-11任一项所述的人机交互控制装置。

3

CN 108068121 A

说　明　书

一种人机交互控制方法、装置及机器人

1/5页

技术领域

[0001]本申请的实施例涉及机器控制领域，尤其涉及一种人机交互控制方法、装置及机器人。

背景技术

[0002]目前机器人与人交互时，通常需要用唤醒词对机器人唤醒，或者机器人检测到周边有人出现就主动打招呼。这两种方式或者是他们的结合都有很明显的缺点，基于唤醒词的方式通常需要知道机器人的唤醒词，对于置于公共场合的服务机器人，这显然不合适；如果通过视觉检测到周边有人来就主动问候就显得有些突兀，特别是当人与人交流时，机器人会不合时宜的插话，这种体验并不好。发明内容

[0003]本申请的实施例提供一种人机交互控制方法、装置及机器人，能够优化机器人与用户的交互过程，提高用户体验。[0004]第一方面，提供一种人机交互控制方法，包括：[0005]检测目标人物的脸部信息；

[0006]根据所述目标人物的脸部信息确定所述目标人物是否注视所述机器人；[0007]当确定所述目标人物注视所述机器人的时间超过预定时长时，调整所述机器人的朝向至所述目标人物，并检测所述目标人物发出的交互信息。[0008]第二方面，提供一种人机交互控制装置，包括：[0009]检测模块，用于检测目标人物的脸部信息；[0010]处理模块，用于根据所述检测模块获取的所述目标人物的脸部信息确定所述目标人物是否注视所述机器人；[0011]控制模块，用于当所述处理模块确定所述目标人物注视所述机器人的时间超过预定时长时，调整所述机器人的朝向至所述目标人物，并通过所述检测模块检测所述目标人物发出的交互信息。[0012]第三方面，提供一种人机交互控制装置，包括：存储器、接口、处理器；存储器以及通信接口耦合至处理器；所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行上述的人机交互控制方法，所述接口用于所述人机交互控制装置与外部设备的数据传输。[0013]第四方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如上述的人机交互控制方法。

[0014]第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现上述的人机交互控制方法。

4

CN 108068121 A[0015]

说　明　书

2/5页

第六方面，提供一种机器人，包括如上述的人机交互控制装置。

[0016]在上述方案中，人机交互控制装置首先检测目标人物的脸部信息；然后，根据目标人物的脸部信息确定目标人物是否注视机器人；当确定目标人物注视所述机器人的时间超过预定时长时，调整机器人的朝向至目标人物，并检测目标人物发出的交互信息；本申请提供的方案中将人机交互的过程优化为通过检测目标人物是否注视机器人然后开始主动检测目标人物发出的交互信息，相比于现有技术基于唤醒词的方式以及主动问候的方式，本方案提供的人机交互控制方式使得人机交互的过程更加符合人与人之间的交互过程，提高用户体验。

附图说明

[0017]为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0018]图1为本申请实施例提供的一种人机交互控制方法的流程图；

[0019]图2为本申请的另一实施例提供的一种人机交互控制方法的流程图；[0020]图3为本申请的再一实施例提供的一种人机交互控制方法的流程图；[0021]图4为本申请的实施例提供的一种人机交互控制装置的结构图；

[0022]图5A为本申请的另一实施例提供的一种人机交互控制装置的结构图；[0023]图5B为本申请的又一实施例提供的一种人机交互控制装置的结构。

具体实施方式

[0024]需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。[0025]需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。本申请的实施例提供的“A和/或B”应理解为单独包含“A”、单独包含“B”以及同时包含“A和B”三种情况。

[0026]本申请的实施例提供的人机交互控制装置为安装有可执行本申请实施例提供的方法的软件客户端或软件系统或软件应用的PC等，具体的硬件实现环境可以为通用计算机形式，或者是ASIC的方式，也可以是FPGA，或者是一些可编程的扩展平台例如Tensilica的Xtensa平台等等。基本构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，本申请的实施例提供的人机交互控制装置可以为机器人本身或安装于机器人中的功能实体，当人机交互控制装置为安装于机器人中的功能实体，本申请的实施例同时保护一种安装有该人机交互装置的机器人。[0027]参照图1所示，本申请的实施例提供一种人机交互控制方法，包括：[0028]101、人机交互装置检测目标人物的脸部信息。

5

CN 108068121 A[0029]

说　明　书

3/5页

102、人机交互装置根据目标人物的脸部信息确定所述目标人物是否注视所述机

器人。

103、人机交互装置当确定目标人物注视机器人的时间超过预定时长时，调整机器

人的朝向至所述目标人物，并检测目标人物发出的交互信息。[0031]为方便下述实施例的描述，将机器人的工作状态分为两种状态：idle(空闲)状态和交互状态。本申请的实施例提供的方案可以实现机器人在两种状态之间的转换。参照图2所示，具体说明如下：[0032]201、在机器人处于idle状态时，人机交互装置检测目标人物的位置。

[0033]当人机交互装置当根据所述目标人物的位置确定所述目标人物进入机器人周围的预定空间范围时，执行步骤202。具体的步骤201中装置可以通过摄像头、声波传感器、红外传感器等等设备检测目标人物的位置。[0034]202、检测目标人物的脸部信息。[0035]203、人机交互装置根据目标人物的脸部信息确定目标人物是否注视机器人。[0036]204、人机交互装置当确定目标人物注视机器人的时间超过预定时长时，调整机器人的朝向至所述目标人物，并检测目标人物发出的交互信息。[0037]人机交互装置执行步骤204使得机器人进入交互状态。[0038]在另外一种实现方式中，还包括如下步骤：[0039]205、在机器人处于idle状态时，人机交互装置获取目标人物的声音，并检测所述声音包含的唤醒词。[0040]206、若确定所述唤醒词非预定唤醒词，则跳转至步骤202检测目标人物的脸部信息。

[0041]207、若确定所述唤醒词为预定唤醒词，则根据所述声音定位目标人物的位置，并根据目标人物的位置执行步骤204调整机器人的朝向至目标人物，并检测目标人物发出的交互信息。

[0042]在机器人进入交互状态后，装置还可以循环执行上述步骤201-207，例如在检测到目标人物仍然注视机器人时，继续检测目标人物发出的交互信息；当检测到目标人物不再注视机器人时，检测目标人物是否离开，具体可以通过检测目标人物与机器人的距离超过预定范围，则控制机器人进入idle状态。[0043]在该方案中，同时注视机器人的对象可能为一个目标人物，此时按照上所述步骤201-207即可以实现对机器人的控制，而当注视机器人的对象包括两个以上的目标人物，则具体可以采用如下方式实施，参照图3所示：[0044]301、在机器人处于idle状态时，人机交互装置检测至少两个目标人物的位置。[0045]当人机交互装置当根据至少两个目标人物的位置确定至少两个目标人物进入机器人周围的预定空间范围时，执行步骤302。[0046]302、人机交互装置检测至少两个目标人物的脸部信息。[0047]303、人机交互装置根据至少两个目标人物的脸部信息确定至少两个目标人物是否注视机器人。[0048]304、人机交互装置当确定至少两个目标人物注视机器人的时间超过预定时长时，获取至少两个目标人物发出的语音，记录至少两个目标人物发出语音的时间，并根据语音

6

[0030]

CN 108068121 A

说　明　书

4/5页

定位至少两个目标人物的当前位置。[0049]305、人机交互装置根据至少两个目标人物发出语音的时间，确定至少两个目标人物中的当前交互对象。[0050]306、人机交互装置根据当前交互对象的当前位置，调整机器人朝向至当前交互对象，并检测当前交互对象发出的交互信息。[0051]可以理解的是，步骤305中装置可以根据至少两个目标人物发出语音的先后顺序确定各个目标人物交互的优先级，例如先发出语音的目标人物确定为优先级较高的交互对象，后发出语音的目标人物确定为优先级较低的交互对象。这样装置根据目标人物发出语音的时间顺序逐次将各个目标人物确定为机器人的当前交互对象，并通过步骤305、306的方式依次响应当前交互对象发出的交互信息，直至所有目标用户的交互信息响应完毕。当检测到目标人物中没有注视机器人的对象时，检测目标人物是否离开，具体可以通过检测目标人物与机器人的距离超过预定范围，则控制机器人进入idle状态。[0052]在上述方案中，人机交互控制装置首先检测目标人物的脸部信息；然后，根据目标人物的脸部信息确定目标人物是否注视机器人；当确定目标人物注视机器人的时间超过预定时长时，调整机器人的朝向至目标人物，并检测目标人物发出的交互信息；本申请提供的方案中将人机交互的过程优化为通过检测目标人物是否注视机器人然后开始主动检测目标人物发出的交互信息，相比于现有技术基于唤醒词的方式以及主动问候的方式，本方案提供的人机交互控制方式使得人机交互的过程更加符合人与人之间的交互过程，提高用户体验。

[0053]本申请实施例可以根据上述方法示例对人机交互控制装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。[0054]提供一种示例为，图4示出了上述实施例中所涉及的人机交互控制装置的一种可能的结构示意图，人机交互控制装置包括：检测模块41、处理模块42和控制模块43。检测模块41用于支持人机交互控制装置执行图1中的过程101、图2中的过程201、202、205-207、图3中的过程301、302、304、305；处理模块42用于支持人机交互控制装置执行图1中的过程102、图2中的过程203、图3中的过程303；控制模块43用于支持人机交互控制装置执行图1中的过程103、图2中的过程204、图3中的过程306；其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。[0055]提供另一种示例为，图5A示出了上述实施例中所涉及的人机交互控制装置的一种可能的结构示意图。人机交互控制装置包括：通信模块51和处理模块52。处理模块52用于对人机交互控制装置的动作进行控制管理，例如，处理模块52用于支持混合物检测设备执行图1、2、3中的过程。通信模块51用于支持人机交互控制装置与其他外部设备的数据传输，例如与传感器之间的通信，以获取传感器采集的目标人物的相关信息。人机交互控制装置还可以包括存储模块，用于存储混合物检测设备的程序代码和数据。[0056]其中，处理模块52可以是处理器或控制器，例如可以是处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，

7

CN 108068121 A

说　明　书

5/5页

专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块81可以是收发器、收发电路或通信接口等。存储模块可以是存储器。[0057]示例性的，处理模块52可以为处理器，通信模块51可以为通信接口，存储模块可以为存储器，参阅图5B所示，提供一种人机交互控制装置包括：处理器61、通信接口62、存储器63、总线；存储器63、通信接口62通过总线耦合至处理器61；总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5B中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0058]本申请的实施例还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当被计算机执行时使所述计算机执行上述实施例的方法。[0059]本申请的实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现上述实施例提供的方法。

[0060]结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

[0061]本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

[0062]以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

8

CN 108068121 A

说　明　书　附　图

1/5页

图1

9

CN 108068121 A

说　明　书　附　图

2/5页

图2

10

CN 108068121 A

说　明　书　附　图

3/5页

图3

11

CN 108068121 A

说　明　书　附　图

4/5页

图4

图5A

12

CN 108068121 A

说　明　书　附　图

5/5页

图5B

13