(12)发明专利申请
(10)申请公布号 CN 110957021 A(43)申请公布日 2020.04.03
(21)申请号 201910727261.6(22)申请日 2019.08.07
(71)申请人 上海市精神卫生中心（上海市心理
咨询培训中心）
地址 200030 上海市徐汇区宛平南路600号(72)发明人 杜亚松 陈静 翟广涛 赵晓鑫
祖燕飞 (74)专利代理机构 上海容慧专利代理事务所
(普通合伙) 31287
代理人 于晓菁(51)Int.Cl.
G16H 20/70(2018.01)
权利要求书2页 说明书6页 附图1页
CN 110957021 A(54)发明名称
一种针对自闭症患者的逻辑思维能力训练方法及系统(57)摘要
本发明提供的一种针对自闭症患者的逻辑思维能力训练方法及系统，包括图形化编程装置，自然语言处理装置和虚拟现实设备，首先向患者展示一系列多个训练模式的图形化编程场景，以提供患者在所述图形化编程场景中完成逻辑思维能力训练；然后获取患者反馈指令，根据反馈指令评估患者的逻辑思维能力训练完成度，以确定患者所接受的训练模式，使患者在虚拟场景中避免面对陌生人，利用虚拟现实中交互性的手段让自闭症患者无拘束的进行学习，通过从简单到复杂的图形化编程任务，使自闭症患者最终能够拥有较好的逻辑思维的能力。
CN 110957021 A
权 利 要 求 书
1/2页
1.一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，包括以下步骤：向患者展示一系列图形化编程场景，所述图形化编程场景包括多个训练模式，以提供患者在所述图形化编程场景中完成逻辑思维能力训练；
获取患者反馈指令，根据所述反馈指令评估患者的逻辑思维能力训练完成度，以确定患者所接受的所述训练模式。
2.如权利要求1所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括建立第一训练模式：
所述第一训练模式展示一个或多个图形化对象，用以提供患者操作所述图形化对象到达指定位置。
3.如权利要求2所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括：
获取患者的身体姿态和动作轨迹，判断患者是否所述第一训练模式提供的图形化对象是否到达指定位置，并评估患者的逻辑思维能力训练结果。
4.如权利要求1所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括建立第二训练模式：
所述第二训练模式向患者展示一个或多个图形化对象，使患者按照图形化对象的指示完成了模仿动作。
5.如权利要求4中所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括：
获取患者的身体姿态和动作轨迹，判断患者是否完成了图形化对象展示的模仿动作，并评估患者的逻辑思维能力训练结果。
6.如权利要求1所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括建立第三训练模式：
所述第三训练模式向患者展示一个或多个图形化对象，患者通过编制图形化对象的动作脚本，实现一个或多个图形化对象的动作过程。
7.如权利要求6所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括：
获取患者的身体姿态和动作轨迹，完成所述动作脚本的操作；
根据患者动作脚本的编制实现的一个或多个图形化对象动作过程，判断患者的动作脚本的完成度，并评估患者的逻辑思维能力训练结果。
8.如权利要求1到7所述的任一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，还包括建立训练模式难度等级：
设定所述第一训练模式为简单级；设定所述第二训练模式为中等级；设定所述第三训练模式为复杂级。
9.如权利要求8所述的种针对自闭症患者的逻辑思维能力训练方法，其特征在于，根据患者的逻辑思维能力训练结果，设定患者接收相应难度等级的第一训练模式或第二训练模式或第三训练模式的逻辑思维能力训练。
10.如权利要求9所述的一种针对自闭症患者的逻辑思维能力训练方法，其特征在于，
2
CN 110957021 A
权 利 要 求 书
2/2页
所述表情识别对象采用VR图像、视频、音频和图片等媒体中的一种或多种。
11.一种针对自闭症患者的逻辑思维能力训练系统，其特征在于，包括图形化编程装置，自然语言处理装置和虚拟现实设备；
图形化编程装置，用以提供用于自闭症的逻辑思维能力训练的图形化编程场景；自然语言处理装置，用于播放音频文件，进行语音识别和语音合成的自然语言处理；虚拟现实设备，用于展示用于自闭症的逻辑思维能力训练的图形化编程场景。12.如权利要求11所述的一种针对自闭症患者的逻辑思维能力训练系统，其特征在于，所述虚拟现实设备包括可佩带式头盔显示器和手握式控制器，所述可佩带式头盔显示器和手握式控制器通过六轴传感器和光学定位系统获取位置信息和角度信息以获得用户的动作捕捉数据。
13.如权利要求11所述的一种针对自闭症患者的逻辑思维能力训练系统，其特征在于，所述自然语言处理系统包括麦克风和扬声器。
3
CN 110957021 A
说 明 书
1/6页
一种针对自闭症患者的逻辑思维能力训练方法及系统
技术领域
[0001]本发明涉及辅助康复训练领域，具体涉及一种针对自闭症患者的逻辑思维能力训练方法及系统。
背景技术
[0002]自闭症，又称儿童孤独症，是广泛性发育障碍的一种亚型，以男性多见，起病于婴幼儿期，主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。约有3/4的患者伴有明显的精神发育迟滞，部分患儿在一般性智力落后的背景下某方面具有较好的能力。
[0003]逻辑思维训练作为认知训练的一个重要分支，是解决自闭症认知障碍的重要途径之一。自闭症患者的一个重要表现是难以完成复杂的逻辑任务。为了让自闭症患者能够逐步拥有逻辑思维的能力，需要开发一种基于虚拟现实的难度分级的训练自闭症患者逻辑思维能力的图形化编程系统，让他们在与虚拟现实中场景内容的互动过程中，慢慢的摆脱逻辑思维障碍的困扰。
发明内容
[0004]本发明的目的是提供一种针对自闭症患者的逻辑思维能力训练方法及系统，以便于解决现有技术中存在的上述问题。[0005]为了达到上述目的，本发明一方面提供一种针对自闭症患者的逻辑思维能力训练方法，包括以下步骤：
[0006]向患者展示一系列图形化编程场景，所述图形化编程场景包括多个训练模式，以提供患者在所述图形化编程场景中完成逻辑思维能力训练；[0007]获取患者反馈指令，根据所述反馈指令评估患者的逻辑思维能力训练完成度，以确定患者所接受的所述训练模式。[0008]具体的，本方法还包括建立第一训练模式：
[0009]所述第一训练模式展示一个或多个图形化对象，用以提供患者操作所述图形化对象到达指定位置。[0010]具体的，本方法还包括：
[0011]获取患者的身体姿态和动作轨迹，判断患者是否所述第一训练模式提供的图形化对象是否到达指定位置，并评估患者的逻辑思维能力训练结果。[0012]具体的，本方法还包括建立第二训练模式：
[0013]所述第二训练模式向患者展示一个或多个图形化对象，使患者按照图形化对象的指示完成了模仿动作。[0014]具体的，本方法还包括：
[0015]获取患者的身体姿态和动作轨迹，判断患者是否完成了图形化对象展示的模仿动作，并评估患者的逻辑思维能力训练结果。
4
CN 110957021 A[0016]
说 明 书
2/6页
具体的，本方法还包括建立第三训练模式：
[0017]所述第三训练模式向患者展示一个或多个图形化对象，患者通过编制图形化对象的动作脚本，实现一个或多个图形化对象的动作过程。[0018]具体的，本方法还包括：
[0019]获取患者的身体姿态和动作轨迹，完成所述动作脚本的操作；
[0020]根据患者动作脚本的编制实现的一个或多个图形化对象动作过程，判断患者的动作脚本的完成度，并评估患者的逻辑思维能力训练结果。[0021]具体的，本方法还包括建立训练模式难度等级：[0022]设定所述第一训练模式为简单级；[0023]设定所述第二训练模式为中等级；[0024]设定所述第三训练模式为复杂级。[0025]具体的，本方法根据患者的逻辑思维能力训练结果，设定患者接收相应难度等级的第一训练模式或第二训练模式或第三训练模式的逻辑思维能力训练。[0026]具体的，本方法的所述表情识别对象采用VR图像、视频、音频和图片等媒体中的一种或多种。[0027]另一方面，本方法还提供一种针对自闭症患者的逻辑思维能力训练系统，包括图形化编程装置，自然语言处理装置和虚拟现实设备；[0028]图形化编程装置，用以提供用于自闭症的逻辑思维能力训练的图形化编程场景；[0029]自然语言处理装置，用于播放音频文件，进行语音识别和语音合成的自然语言处理；
[0030]虚拟现实设备，用于展示用于自闭症的逻辑思维能力训练的图形化编程场景。[0031]具体的，所述虚拟现实设备包括可佩带式头盔显示器和手握式控制器，所述可佩带式头盔显示器和手握式控制器通过六轴传感器和光学定位系统获取位置信息和角度信息以获得用户的动作捕捉数据。[0032]具体的，所述自然语言处理系统包括麦克风和扬声器。
[0033]本发明提供的一种针对自闭症患者的逻辑思维能力训练方法及系统，包括图形化编程装置，自然语言处理装置和虚拟现实设备，其首先向患者展示一系列图形化编程场景，所述图形化编程场景包括多个训练模式，以提供患者在所述图形化编程场景中完成逻辑思维能力训练；然后获取患者反馈指令，根据所述反馈指令评估患者的逻辑思维能力训练完成度，以确定患者所接受的所述训练模式，使患者在虚拟场景中避免面对不认识的人，通过从简单到复杂的图形化编程任务，利用虚拟现实中交互性的手段让自闭症患者无拘束的进行学习，使自闭症患者最终能够拥有较好的逻辑思维的能力。附图说明
[0034]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本发明一个实施例的自闭症患者的逻辑思维能力训练方法的流程图；
5
CN 110957021 A[0036][0037][0038]
说 明 书
3/6页
图2为本发明一个实施例的自闭症患者的逻辑思维能力训练系统的架构图；图3为本发明一个实施例虚拟现实装置的示意图；图4为本发明一个实施例的图形化编程装置的示意图。
具体实施方式
[0039]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]下面参照附图描述根据本发明实施例提出的针对自闭症患者的逻辑思维能力训练方法及系统，首先将参照附图描述根据本发明实施例针对自闭症患者的逻辑思维能力训练方法。
[0041]图1是本发明一个实施例的自闭症患者的逻辑思维能力训练方法的流程图。[0042]如图1所示，该自闭症患者的逻辑思维能力训练方法包括以下步骤：[0043]在步骤S101中，向患者展示一系列图形化编程场景，所述图形化编程场景包括多个训练模式，以提供患者在所述图形化编程场景中完成逻辑思维能力训练。[0044]进一步的，在本发明的一个实施例中，为了避免自闭症患者在面对陌生环境和治疗者时感到恐慌和手足无措，进而影响对自闭症患者的治疗效果。本发明的实施例为自闭症患者提供一个利用虚沉现实技术搭建的逻辑思维能训练环境。患者在虚拟现实环境中无需面对不认识的人，使患者在与虚拟现实环境中的互动过程中接收逻辑思维能力训练。[0045]具体而言，采用虚拟现实技术搭建的图形化编程场景中包括训练场景、人物和图形化对象。训练场景包括了教室、走廊、体育馆、花园、厕所、食堂等学校常见的场所或遥远的星球，深邃的海底或者是某个历史遗迹等自然景色。训练场景可定时切换以保证患者的好奇感，防止患者出现强烈的不适感。人物包括老师、同学、父母等一个或多个人物形象，人物在训练环境中起到媒介作用，可通过语音向患者发布训练介绍、训练指令，训练提醒，训练成绩等信息，帮助患者在虚拟环境中完成表情识别训练。[0046]进一步的，在本发明的一个实施例中，图形化对象是图形化编程场景的主要内容，表情识别对象可以采用VR图像、视频、音频和图片等媒体中的一种或多种方式。在图形化编程场景中，一个或多个图形化对象被展示于虚拟环境中，患者通过动作或语音完成对图形化对象的操作。
[0047]在本发明的一个实施例中，图形化编程场景包括三个训练模式。[0048]第一训练模式中，图形化编程场景向患者展示一个或多个图形化对象，用以提供患者操作所述图形化对象到达指定位置。其中，图像化场景可以为圆形，正方形等几何图案，也可以是人物，动物，交通工具等视频或图像。图像化编程场景中通过让患者选择上下左右的顺序来操控图形化对象到达指定位置，也可通过指定路径或是走迷宫的方式让患者来操控图形化对象通过特点路径到达指定位置。[0049]第二训练模式中，图形化编程场景向患者展示一个或多个图形化对象，使患者按照图形化对象的指示完成了模仿动作。其中，图形化对象为人物的视频或图像。患者可通过观看人物如舞蹈动作的视频或图像，通过动作捕捉进行舞蹈动作的模仿，也可通过依次选
6
CN 110957021 A
说 明 书
4/6页
择人物的动作完成舞蹈动作来完成模仿。[0050]第三训练模式中，图形化编程场景向患者展示一个或多个图形化对象，患者通过编制图形化对象的动作脚本，实现一个或多个图形化对象的动作过程。其中，图形化对象为人物、动物或交通工具的视频或图像，患者通过输入图形化对象的动作脚本，完成图形化编程场景预定的编排动作。[0051]在步骤S102中，获取患者反馈指令，根据反馈指令评估患者的逻辑思维能力训练完成度，以确定患者所接受的所述训练模式。[0052]进一步的，在本发明的一个实施例中，患者通过动作捕捉技术和语音分析技术，记录患者的姿态行为、运动轨迹和语音信息，根据对患者动作的记录，判断患者对表情图像识别的正确率。
[0053]在本发明的一个实施例中，首先建立训练模式难度等级，其中第一训练模式为简单级，第二训练模式为中等级，第三训练模式为复杂级。[0054]患者首先接收第一训练模式的，当患者在接受第一训练模式的逻辑思维能力训练时，通过获取患者的身体姿态和动作轨迹，判断患者是否所述第一训练模式提供的图形化对象是否到达指定位置，并评估患者的逻辑思维能力训练结果，训练结果以分数显示，当患者操作的图形化对象到达指定位置次数越多，则分数越高。如果患者操作的图形化对象到达指定位置的次数大于系统预设次数，则患者进入第二训练模式接受逻辑思维能力训练。如果患者操作的图形化对象到达指定位置的次数少于系统预设次数，则患者重复接受第一训练模式的逻辑思维能力训练。
[0055]当患者在接受第二训练模式的逻辑思维能力训练时，通过获取患者的身体姿态和动作轨迹，判断患者是否完成了图形化对象展示的模仿动作，并评估患者的逻辑思维能力训练结果。训练结果以分数显示，当患者完成的图形化对象展示的模仿动作越多，则分数也越高。当患者完成的图形化对象展示的模仿动作大于系统预设次数，则患者进入第三训练模式接受逻辑思维能力训练。如果患者完成的图形化对象展示的模仿动作少于系统预设次数，则患者重复接受第二训练模式的逻辑思维能力训练。
[0056]当患者在接受第三训练模式的逻辑思维能力训练时，通过获取患者的身体姿态和动作轨迹，编制图形化对象的动作脚本，实现一个或多个图形化对象的动作过程。根据患者动作脚本的编制实现的一个或多个图形化对象动作过程，判断患者的动作脚本的完成度，并评估患者的逻辑思维能力训练结果。通过图形化对象的动作与系统预设动作的吻合度，来判断患者的动作脚本的完成度。完成度以分数显示，当患者完成的动作脚本的完成度大于系统预设分数，则患者结束逻辑思维能力训练。如果患者完成的动作脚本的完成度少于系统预设分数，则患者重复接受第三训练模式的逻辑思维能力训练。
[0057]图2为本发明一种针对自闭症患者的逻辑思维能力训练系统的架构图。[0058]如图2所示，本实施例提供的一种针对自闭症患者的逻辑思维能力训练系统包括：虚拟现实装置401，自然语言处理装置402和图形化编程装置403。[0059]虚拟现实装置401，用以提供用于自闭症的逻辑思维能力训练的图形化编程场景。自然语言处理装置402，用于播放音频文件，进行语音识别和语音合成的自然语言处理，并将处理结果发送到图形化编程装置403。图形化编程装置403，用以提供用于自闭症的逻辑思维能力训练的图形化编程场景。
7
CN 110957021 A[0060]
说 明 书
5/6页
如图3所示，本实施例提供的虚拟现实装置401，包括可佩带式头盔显示器 501和
手握式控制器502。可佩带式头盔现实器501向患者展现图形化编程场景，用户操作手握式控制器502发送操作指令。[0061]进一步的，在一个实施例中，可佩带式头盔显示器501和手握式控制器502 均通过六轴传感器和光学定位系统获取空间位置和角度信息。可佩带式头盔显示器501记录用户的头部运动信息，用户身上也可绑定若干个传感器，从而记录使用过程中用户的四肢运动信息。这些运动信息可以传送到表情识别训练装置403，在每次训练结束后，可以使用这些运动信息模拟出一个虚拟的人物，从而让用户可以看到自己训练时的肢体动作，更好的促进用户的交互能力。[0062]如图4所示，图形化编程装置403为一种计算机可读存储介质，上存储有计算机程序，该程序被处理器执行时实现完成上述本发明实施例所述对一种针对自闭症患者的逻辑思维能力训练方法。
[0063]本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0064]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0065]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
[0066]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0067]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三
8
CN 110957021 A
说 明 书
6/6页
个等，除非另有明确具体的限定。[0068]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0069]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
9
CN 110957021 A
说 明 书 附 图
1/1页
图1
图2
图3
图4
10
因篇幅问题不能全部显示，请点此查看更多更全内容