直接脑控多机器人协作任务研究

　　【摘要】 脑控是一种新的控制方法。传统脑控机器人主要是控制单个机器人完成特定任务，而脑控多机器人协作(MRC)任务是一个有待研究的新课题。本文介绍了参加世界机器人大赛“脑—机接口(BCI)脑控机器人比赛”获得“创新创意奖”的一个试验研究，试验设置了 2 个脑开关，采用基于稳态视觉诱发电位(SSVEP)的 BCI(SSVEP-BCI)控制人形机器人和机械臂完成协作任务。通过 10 名受试者的控制试验结果表明，通过适当设置脑开关，采用性能优良的 SSVEP-BCI 能够实现 MRC 任务的有效完成。本研究可望为未来实用化的脑控 MRC 任务系统的研究提供启发。

　　【关键词】 脑控;脑—机器人交互;多机器人协作;脑开关;稳态视觉诱发电位

　　引言

　　脑控是一种新的控制方法，而直接脑控机器人是脑控与机器人控制交叉融合的一个重要应用[1-3]。科学家和工程学家已认识到，脑—机器人交互是一种新型的人—机交互技术，可能通过脑—机接口(brain-computer interface，BCI)架起人脑生物智能与机器智能之间的桥梁[4]。这方面的探索研究不仅具有重要的脑科学意义，也具有潜在的应用前景。

　　通常，传统的脑控机器人主要集中于脑控单个机器人来完成特定任务，例如：脑控智能小车、机械臂、轮椅、仿人型机器人等外部设备[5]。这些试验研究可用于帮助运动残障人士控制外部设备或机器人，从而借助于外部设备改善其生活质量，同时相关研究也为正常人开辟了一条人脑与机器人直接关联的道路。然而，在实际应用中，对于较复杂、需要不同操作系统协作的任务，难以借助单一机器人来完成，而且需要采用直接脑控的方法来进行协调控制，这就需要探究直接脑控多机器人协作(multi-robot cooperation，MRC)来完成任务，这是一个尚待探索的新课题[3]。

　　在直接脑控 MRC 任务中，为实现多机器人之间的灵活转换与配合，脑开关的设计是一个需考虑的关键因素之一。所谓的脑开关是指通过检测脑电信号中的特定特征并将其视为控制状态，以确定系统的开启或停止的一种控制模式[6]。不仅系统的起停需要用脑开关来控制，多机器人之间的灵活切换也需要脑开关来实现。同时，脑开关的引入还可以大大减少刺激界面中的目标个数，即相对提高指令识别率，可以更好地实现多机器人之间的灵活控制与相互配合。然而，脑开关存在一个重要问题，即其运算分析过程复杂，尚不够简便快捷。

　　此外，从实用性角度出发，在直接脑控 MRC 任务中，需要一种稳定、准确和快速的 BCI 系统。在已有的 BCI 范式中：基于运动想象的 BCI 可分类的类别数有限，单次识别率不高且不稳定，需要一定量的训练，并存在 BCI 盲的缺陷，其传输的比特率也有限[7-8];基于事件相关电位 P300 的 BCI 虽然可分类目标数多，但往往需要多次叠加来识别，传输的比特率也有待提高[9];相比之下，基于稳态视觉诱发电位(steady-state visual evoked potentials， SSVEP)的 BCI(SSVEP-BCI)不仅可分类目标数多、单次识别率高、传输的比特率较高，而且所需训练次数较少甚至无需训练，整体效率明显高于其他 BCI 范式，因此从实用性考虑，SSVEP-BCI 具备了优于其他 BCI 范式的优良特性，这也表明了其更符合脑控 MRC 任务的需要[10]。

　　为探求有效的脑控 MRC 方法，本文拟采用稳定性、准确性和快速性较好的 SSVEP-BCI 技术，利用性能优良的典型相关分析(canonical correlation analysis，CCA)算法，并创建多个一键式 SSVEP 脑开关，实现实时脑控 MRC 作业。本文致力于解决 BCI 面向实际应用中的复杂难题，并可望为未来实用化的脑控 MRC 任务系统提供启发和思路。

　　1 材料和方法

　　1.1 受试者信息本文试验共选取 10 名受试者，随机编号为 S1～S10，其中 6 名男性、4 名女性，年龄介于 22～27 岁之间，健康状况良好，视力正常(或矫正后正常)。试验开始前，对每名受试者进行训练，使其能熟记各指令内容并可达到灵活运用的程度。此外，还教授受试者 SSVEP 相关的理论知识以及注视屏幕的注意事项。所有受试者对试验研究均知情同意，研究得到昆明理工大学学校道德委员会批准。

　　1.2 试验方法设置

　　1.2.1 试验研究平台　如图 1 所示为脑控 MRC 任务试验研究平台，包括人形机器人、机械臂、SSVEP 刺激呈现界面、计算机、视频反馈装置(Ipad)、脑电信号采集装置。本试验所用脑电信号采集装置为 Neusen.W(32 通道，博睿康科技(常州)股份有限公司，中国)，由脑电帽、脑电信号放大器(无线)及无线路由器三部分构成。脑电帽导联位置符合国际 10-20 标准，记录电极为 Pz、P3、P4、PO3、 PO4、PO7、PO8、O1、Oz 和 O2，参考电极为 CPz，接地电极为 FPz;调整电极阻抗在 5 kΩ 以下，采样频率设置为 250 Hz。本试验所用机器人包括机械臂(LSC-6，深圳市幻尔科技有限公司，中国)以及人形机器人(Super-M，北京智能佳科技有限公司，中国)。

　　1.2.2 试验策略　试验选用 SSVEP 触发脑电信号的刺激范式，利用矩阵实验室软件 Matlab R2015a(MathWorks Inc.，美国)中 Psychtoolbox 工具箱实现。所用液晶显示屏(呈现刺激界面)刷新频率为 60 帧/s，如图 2 所示，界面呈现的刺激目标为 12 个闪烁方块，每个方块有其特定闪烁频率，对应的分别为：8、10、8.5、13、9、11、9.5、14、13.5、 10.5、15、12 Hz。

　　为有效完成脑控 MRC 任务，试验对图 2 中的 12 个刺激目标(闪烁方块)分别设定对应的控制指令，如表 1 所示。人形机器人利用指令(包括 2 个脑开关指令)可以控制运动方向【左转 45°、前进一步(5 cm)、右转 45°、左跨一步(5 cm)、后退一步(5 cm)、右跨一步(5 cm)】以及执行特定动作(下蹲、起立)。其中，2 个脑开关指令为：① 总控制脑开关，用于控制整个试验进程的开启与停止;② 转换脑开关，用于实现多机器人(控制对象)之间相互切换。机械臂利用指令(包括 1 个脑开关指令)可以实现整体左转 45°、整体恢复中立、整体右转 45°、后臂前倾 45°、后臂复位、中臂前倾 45°、中臂复位、前臂前倾 45°、前臂复位、手爪张开和手爪咬合等 11 个动作，其中脑开关指令为转换脑开关，用于转换控制对象。人形机器人和机械臂均采用蓝牙与试验研究平台相连接。

　　在 SSVEP-BCI 的研究中，通常有同步和异步两种控制方式。在同步方式下，受试者不能自己掌控试验时间，必须以计算机/系统的控制节奏为导向，配合其执行操作。然而，人们在实际应用中往往需 要选择自定节奏的控制方式，即异步方式，也就是说，在异步 SSVEP-BCI 系统中，受试者可以按照自己的意愿及控制需求，实现在线实时地对系统进行操作，其时间由自己掌握。本研究实现的是 MRC 任务，利用人形机器人与机械臂协同合作将货物运送至指定地点，即需实现多机器人之间的相互合作，完成单个机器人不能完成的复杂任务。为使脑控 MRC 任务更为人性化并贴近实际应用，因此本研究采用异步 SSVEP-BCI 方式，受试者可自定节奏地对系统进行控制。在该方式中，采用在线异步刺激，即界面不间歇闪烁，无需触发脉冲，时间窗长设定为 2 s，每 0.5 s 对数据进行一次分析得出最大相关系数，当最大相关系数大于(或等于)设定的阈值时，对应的指令被存储为一个待定指令，当最大相关系数不满足阈值条件时，将被存储为一个空指令。这里采用三指令判定原则，即只有当存储的 3 个连续的待定指令相同时，系统才会判定其为一个目标指令并输出。由此可知，系统识别并输出一个目标指令的时间为 1.5 s。

　　一般而言，阈值是在线异步 SSVEP-BCI 系统成熟的标志，是区分受试者处于任务状态与非任务状态的关键。在本研究中，当脑电信号经 CCA 算法处理后得出最大相关系数，首先会将其与阈值进行对比，若值大于(或等于)阈值，则系统认定受试者为任务状态，那么最大相关系数对应的指令将被存储为一个待定指令，若值没有达到阈值标准，则系统认定受试者为非任务状态，此时将存储一个空指令。另外，本研究在既定试验策略下对 SSVEP-BCI 系统调试发现，在阈值的选取范围(0～1)内：当选取阈值为 0.5(或小于 0.5)时，系统会出现指令频发的状况且错误率偏高;当阈值为 0.7(或大于 0.7)时，虽然指令的错误率很低，但识别指令的时间会延长很多;只有当阈值为 0.6 时，能更好地满足系统的要求，因此本文根据试验调试将阈值设定为 0.6。

　　当识别指令后，系统会播报语音(“滴”声后报出具体指令/动作)，受试者在“滴”声后应立即停止注视，观察反馈视频中机器人动作，进而规划下一个指令的实施，此处“滴”声持续时间约 0.2 s。另外，为防止指令连发，以及考虑到机器人执行指令所需时间，系统设定为输出一个目标指令后，停止 1 s 接收指令数据。

　　此外，本研究中引入了实时视频反馈环节，在刺激屏幕下方增加一个显示屏，实时反馈 MRC 任务的执行情况，受试者可根据现场情况自行调整路线及控制策略，该实时视频反馈有助于受试者完成脑控 MRC 任务。

　　1.3 脑开关的设计

　　用脑电信号控制的开关在 BCI 中具有重要的作用及意义[11-12]。本试验旨在探索脑控 MRC 任务，为贴合实际应用，符合未来用户对 MRC 任务的需求，实现多机器人之间控制的相互转换，特设计出两个实用、便捷且易实现的脑开关，即一键式 SSVEP 脑开关切换，包括：总控制脑开关与转换脑开关。两个开关均为基于 SSVEP 设置的，当受试者注视屏幕上对应的脑开关闪烁方块时，其脑电信号中会出现与刺激相应的频率成分或倍频成分，通过计算机对受试者脑电信号分析，可以识别出相对应的脑开关指令，进而有效控制完成 MRC 任务。

　　总控制脑开关控制整个试验的开始和结束，识别成功后，系统语音播报“试验开始/试验结束”，且只有在试验开始后，受试者才可以对任务系统进行试验操作。而在试验开始前及结束后，系统只能识别总开关指令，不接收其余指令。此脑开关的设计不仅可大大减少对系统的误操作，而且使得受试者掌握了试验的主控权，可以自主地控制试验流程。

　　转换脑开关用于转换控制对象，识别成功后自动切换控制对象，系统语音播报“机器人/机械臂”提醒受试者停止注视刺激目标。转换脑开关的设计使得受试者可随意在多机器人之间跳转，实现对每个控制对象的灵活控制，其过程更加人性化，也更贴近于实际应用。

　　综上所述，本研究设计的两个脑开关不仅可以 “随心所欲”地控制试验进程，还可以实现多机器人之间稳定、准确和快速的切换，使得脑控 MRC 任务更为方便、可靠和高效。

　　4 结束

　　语本文针对直接脑控 MRC 任务这一新课题进行试验研究。为实现这一任务，选用稳定性好、准确性高和反应灵敏的多指令 SSVEP-BCI 范式，并采用性能优良的 CCA 算法识别目标刺激;为面向实际应用，采用异步方式的 SSVEP-BCI，以方便受试者自定节奏进行脑控机器人操作;为确保系统的安全、可靠性以及机器人之间的协作性，设置了两个一键式 SSVEP 脑开关：① 是总控制脑开关，以控制系统的启动/停止;② 是转换脑开关(切换控制对象)，以在机器人之间灵活切换。本试验研究表明了直接脑控 MRC 任务的可行性，所提方法可望为未来实用化的脑控 MRC 任务系统提供启示。

　　在本研究的基础上，本课题组计划未来可开展：① 采用混合 BCI 范式设计新的控制策略，如有效结合 SSVEP 与运动想像范式，进一步提高脑控 MRC 任务系统的性能;② 寻找并优化更为高效SVEP 刺激范式，减轻受试者的视觉疲劳，提高其舒适度。

　　注：世界机器人大赛 BCI 脑控机器人大赛获奖情况说明(“创新创意奖”) http://www.worldrobotconference.com/cn/yqs/B CInaokongjiqirendasai/

　　参考文献

　　1、Mcfarland D J, Vaughan T M. BCI in practice. Prog Brain Res, 2016, 228: 389-404.

　　2、 王行愚, 金晶, 张宇, 等. 脑控:基于脑-机接口的人机融合控制. 自动化学报, 2013, 39(3): 208-221.

　　3、 伏云发, 王越超, 李洪谊, 等. 直接脑控机器人接口技术. 自动化学报, 2012, 38(8): 1229-1246.

　　4、 明东, 蒋晟龙, 王忠鹏, 等. 基于人机信息交互的助行外骨骼机器人技术进展. 自动化学报, 2017, 43(7): 1089-1100.

　　5、 李松, 熊馨, 伏云发. 基于脑电信号神经反馈控制智能小车的研究. 生物医学工程学杂志, 2018, 35(1): 15-24.

　　6、 He Shenghong, Zhang Rui, Wang Qihong, et al. A P300-based threshold-free brain switch and its application in wheelchair control. IEEE Trans Neural Syst Rehabil Eng, 2017, 25(6): 715-725.

　　7、 李松, 伏云发, 杨秋红, 等. 基于左右手运动想象单通道脑电信号的预处理研究. 生物医学工程学杂志, 2016, 33(5): 862-866.

　　8、尧德中, 刘铁军, 雷旭, 等. 基于脑电的脑-机接口:关键技术和应用前景. 电子科技大学学报, 2009, 38(5): 550-554.

　　相关论文推荐：浅析中小学智能机器人教育

《直接脑控多机器人协作任务研究》

上一篇：浅析沈阳地铁综合监控系统

下一篇：计算机应用技术创新发展面临的问题及解决措施