资源描述
脑机接口技术在医疗健康领域应用白皮书脑机接口技术在医疗健康领域应用白皮书(2023年)人工智能医疗器械创新合作平台脑机接口研究工作组中国信息通信研究院云计算与大数据研究所2023年 10月I前 言脑机接口(brain-computer interface,BCI)技术是一种变革性的人机交互,其绕过外周神经和肌肉直接在大脑与外部设备之间建立一种全新的通信与控制通道,具有监测、替代、改善/恢复、增强、补充受损或有障碍的自然中枢神经系统输出输入的功效,在医疗健康领域具有重要的潜在应用。随着脑机接口技术的快速发展,其与先进的人工智能相结合,将给医疗健康实践带来深刻的变革。脑机接口作为多学科交叉的前沿技术,已引起全球广泛关注,我国“十四五”规划中也将脑科学与类脑研究列为国家战略科技力量,大力推动脑机接口技术领域攻关。2022 年 10 月,工业和信息化部、国家药品监督管理局公布了人工智能医疗器械创新任务揭榜入围单位,多项脑机接口项目入围,标志着我国脑机接口相关医疗器械产品开始从“实验室”走向“实际应用”。2021 年 7 月,中国人工智能产业发展联盟、中国信息通信研究院作为牵头单位联合国内 14 家脑机接口领域知名研究机构、医疗机构和技术企业共同编写发布了脑机接口技术在医疗健康领域应用白皮书(2021 年),获得了业界的广泛关注。时隔两年,人工智能医疗器械创新合作平台与中国信息通信研究院共同牵头,联合行业代表,再次共同编制发布脑机接口技术在医疗健康领域应用白皮书(2023 年),持续跟踪脑机接口在医疗健康领域应用的技术进步、产业发展和监管动态,希望为高校科研院所、医疗机构、业界厂商、政府机构等相关方提供有益思考,共同推动脑机接口在医II疗健康领域的实际应用。2023 年版的白皮书包括脑机接口的技术现状、医疗应用伦理规范、医疗应用的标准化操作流程与功效评价方法、在医疗健康领域应用和产业的新发展。除此而外,还包括脑机接口政策和在医疗健康领域应用的监管、面临的新挑战和发展建议。最后在附录一介绍了脑机接口在医疗健康领域的典型应用场景和优秀应用案例。与 2021 年版的白皮书相比,本白皮书增加了近两年的脑机接口技术新进展和理念,主要包括脑信号采集技术新突破、变革传统脑机接口范式、脑机接口技术与先进的 AI 技术相结合提升脑信号解码性能、以用户为中心的脑机接口设计和评价方法、植入式和非植入式脑机接口技术医疗应用伦理规范、脑机接口技术医疗应用的标准化操作流程与功效评价方法。由于时间仓促,水平所限,我们的工作还有不足之处。下一步,我们还将广泛采纳各方面的建议,进一步深入相关研究,持续完善白皮书内容,在已有版本的基础上,适时修订发布新版。我们诚邀各界专家学者参与我们的研究工作,积极献言献策,为促进脑机接口 产 业 发 展 做 出 积 极 贡 献。如 您 有 意 愿,请 联 系 我 们:。本白皮书版权属于人工智能医疗器械创新合作平台,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明“来源:人工智能医疗器械创新合作平台”。III编制说明牵头编写单位:牵头编写单位:人工智能医疗器械创新合作平台、中国信息通信研究院参与编写单位:参与编写单位:首都医科大学附属北京天坛医院、首都医科大学宣武医院、四川大学华西医院、天津大学、昆明理工大学、中国医学科学院生物医学工程研究所、重庆大学、博睿康科技(常州)股份有限公司、上海念通智能科技有限公司、山东海天智能工程有限公司、上海数药智能科技有限公司编写组成员:编写组成员:中国信息通信研究院:李静雯、李曼、赵阳光、闵栋天津大学:黄永志、王坤、许敏鹏、明东昆明理工大学:伏云发、陈衍肖、王帆、丁鹏首都医科大学附属北京天坛医院:王伊龙、何江弘、陈奕奕首都医科大学宣武医院:赵国光、魏鹏虎、单永治、王长明、张华强、陈思畅四川大学华西医院:江宁、何家源中国医学科学院生物医学工程研究所:陈小刚、蒲江波、崔红岩重庆大学:张鑫博睿康科技(常州)股份有限公司:胥红来、黄肖山、刘涛、王昱婧上海念通智能科技有限公司:束小康山东海天智能工程有限公司:张海燕、张海峰、郭新峰IV上海数药智能科技有限公司:冯尚V目录前 言.I编制说明.III目录.V图表目录.VI1 脑机接口技术现状.11.1 脑机接口技术简介.11.2 脑机接口技术进展.91.3 以用户为中心的脑机接口设计和评价方法.192 脑机接口技术医疗应用伦理规范.282.1 植入式脑机接口医疗应用伦理规范考量.302.2 非植入式脑机接口医疗应用伦理规范考量.393 脑机接口技术医疗应用的标准化操作流程与功效评价方法.413.1 脑机接口医疗应用标准化操作流程.413.2 脑机接口医疗应用功效评价方法.434 脑机接口技术在医疗健康领域的应用.464.1 脑机接口在监测诊断领域应用.464.2 脑机接口在疾病治疗领域应用.494.3 脑机接口在康复领域应用.524.4 脑机接口在健康管理和疾病预防领域的应用.565 脑机接口在医疗健康领域的产业发展.585.1 产业环境.585.2 脑机接口在医疗领域产业现状.596 脑机接口政策和在医疗健康领域的监管.676.1 政策现状.676.2 脑机接口在医疗器械领域的监管现状.727 脑机接口在医疗健康领域应用的挑战和发展建议.827.1 发展挑战.827.2 技术、产业和监管发展建议.84参考文献.87附录一:脑机接口技术应用案例.93案例一:华西医院面向脑卒中康复的动作观察关联诱发脑机接口技术.93案例二:首都医科大学宣武医院脑机接口技术在难治性癫痫中的应用.95案例三:天津大学神工系列人工神经康复机器人系统.97案例四:博睿康在线时域空域脑功能定位系统.100案例五:海天智能脑机接口康复训练系统.103案例六:中国科学院自动化所基于脑机交互的经颅交流电刺激促进视觉康复技术.104案例七:脑机交互与人机共融海河实验室面向听觉感知及康复领域的应用.106案例八:昆明理工大学基于脑机交互的多模态神经反馈促进 PTSD 康复应用.108案例九:中电云脑脑机接口开源软件平台及脑控打字应用.110VI图表目录图 1 狭义的 BCI 技术系统示意图:从大脑向机器输出为主的 BCI。NF 为神经反馈62图 2 以输入为主的双向闭环 BCI 系统示意图7.2图 3面向康复训练应用的双向闭环 BCI78.3图 4植入式采集 Spikes 和 ECoG 示意图。(a)皮质内采集 Spikes;(b)硬膜上或硬膜下皮层表面采集 ECoG34.5图 5BCI 分类示意图.8图 6(a)8 个 sEEG 电极轴/杆(shaft)的轨道规划。(b)计算机断层扫描显示植入电极轴/杆位置。(c)植入的电极轴/杆。与 ECoG 植入物所需的相对较大的开颅手术相比,sEEG 只需要较小的局部钻孔18。.10图 7 入耳式电子器件设计。(a)SpiralE 耳内脑电记录示意图。(b)SpiralE 顺应适形耳道内壁的照片。右上角的插图是一张由医用内窥镜拍摄的照片。右下插图显示了从耳内取下 SpiralE 后其不规则的三维结构。(c)所设计的 SpiralE 功能层的分解示意图。右侧插图分别是脑电检测层和电热致动层的照片。(d)暂时固定形状的 SpiralE(左侧),并恢复为半径较大的永久形状(右侧)19。.11图 8微创血管支架电极阵列及内部组件连接示意图。(a)微创血管支架电极阵列;(b)内部组件连接示意图。微创血管支架电极阵列被植入上矢状窦内,紧邻中央前回。大脑中突出显示的黄色区域表征了患者尝试肢体运动时初级运动皮层的激活21。.13图 9 微创颅骨局部电改性方法。(a)颅骨重建后的生物电流图;(b)微型镜头捕捉到的颅骨开孔;(c)修改前后所有六只大鼠的平均 SSVEP 宽带信噪比22.14图 10 把 AI 引入 BCI 中,以提高 BCI 的智能,促进 BCI 临床转化应用.19图 11 参考 TALC 的 BCI 转化为应用的过程6.20图 12 以用户为中心设计 BCI 系统的快速原型法11.22图 13 面向医疗应用的 BCI 可用性评估的一般流程。注:ISO:国际标准化组织;IEC62366:2015-1/2:国际电工委员会(IEC)发布的医疗设备可用性标准33.26图 14 使潜在的 BCI 终端用户能够获得 BCI 控制的 AT 的流程24.27图 15 医学目标、医学伦理、医学应用(包括 BCI 医学应用)与特定的人类群体/个体关系示意图836.28图 16 中国脑计划框架图.69图 17 Synchron 脑机接口设备.75图 18 基于动作观察的脑-机接口技术(a)在线系统示意图;(b)运动区 EEG 的时频图;(c)ERD 的增强幅度与注意力集中度提高程度的关系).93图 19 低延迟的异步脑-机接口(a)实现原理;(b)检测 mVEP 与 SSMVEP 下的 TPR和 FPR;(c)辨识时延).94图 20 动作观察下不同年龄人群 EEG 瞬态和稳态响应差异性(a)瞬态响应;(b)稳态响应频谱;(c)使用 CCA、TRCA、eCCA 下的辨识准确率).94图 21 两种动作观察下的不同时长下的辨识准确率.95图 22 左:国内首例 RNS 三期临床实验植入患者术后 X 线平片;中:该例患者 RNS 设备颅内电极和刺激器与植入靶标结构关系的术后重建图;右:基于 AI 算法智能识别颅内发作期脑电并进行闭环刺激,调控异常的癫痫网络。.96图 23 基于本团队自主研发的人工智能化算法识别真性 HFO 与生理性 HFO.97图 24“神工神机”人工神经康复机器人.98VII图 25“神工灵犀指”脑-肌电控外肢体(手部)康复机器人.99图 26“神工神甲”脑机接口神经肌肉电刺激下肢外骨骼康复训练机器人.100图 27 在线时域空域脑功能定位-高性能脑电采集硬件.101图 28 在线时域空域脑功能定位系统-软件原理示意.102图 29 脑机接口康复训练系统产品图.104图 30 基于脑机交互的经颅交流电刺激促进视觉康复系统示例图.105图 31 1 名原发性青光眼患者治疗前后视野图(左:治疗前;右:治疗后).106图 32 人工耳蜗植入后不同阶段的生物标记物变化过程.107图 33 听觉感知能力客观量化评估系统.107图 34 面子中文普通话的听觉注意力解码在准确率和解码时间窗方面处于国际领先水平.108图 35 PTSD 患者在执行 EEG-SMR-NFT 的场景.109图 36 系统部分界面.110图 37 MetaBCI 架构.111图 38 脑眼协同解码过程.112图 39 脊髓损伤患者进行脑眼协同字符拼写任务。(a)实验场景;(b)SSVEP 特征;(c)3 名被试在线字符拼写准确率.112表 1脑机接口可用性所包含的评估指标.23表 2脑机接口医学目标与临床医生的责任.29表 3植入式与非植入式 BCI 医学应用伦理规范考量.29表 4脑机接口技术在医疗健康领域的主要企业和产品(排名不分先后).62脑机接口技术在医疗健康领域应用白皮书(2023 年)11 脑机接口技术现状1.1 脑机接口技术简介脑机接口技术简介1.1.1 脑机接口概念脑机接口概念脑机接口(brain-computer interface,BCI)在大脑与外部设备之间建立直接交互的通信和控制通道1。随着脑机接口、人工智能、生物医学工程、神经工程与康复工程、认知神经科学与心理科学等的发展,BCI 的内涵和外延在不断丰富。狭义的 BCI 是指利用中枢神经系统产生的信号,在不依赖外周神经或肌肉的条件下,把用户的感知觉、表象、认知和思维等直接转化为动作,在大脑(含人与动物脑)与外部设备之间建立直接的交流和控制通道,其目的主要是为疾病患者、残障人士和健康个体提供可选的与外部世界通信和控制的方式,以改善或进一步提高他们的生活质量234。这类脑机接口系统主要由大脑向外部设备输出通信或控制指令(输出式脑机接口),并把结果通过视听觉等反馈形式提供给用户形成闭环以调节其脑活动信号,从而提升脑机交互的性能5。图 1 为狭义的BCI技术系统示意图6。除此而外,还有另一类脑机接口,主要由外部设备或机器绕过外周神经或肌肉系统直接向大脑输入电、磁、声和光等刺激或神经反馈(输入式 BCI),以调控中枢神经活动,如深部脑刺激(deepbrain stimulation,DBS)、经 颅 磁 刺 激(transcranial magneticstimulation,TMS)、经颅电刺激(transcranial electrical stimulation,TES)和经颅超声刺激(transcranial ultrasound stimulation,TUS)等脑机接口技术在医疗健康领域应用白皮书(2023 年)27。图 2 为以输入为主的双向闭环 BCI系统示意图7。图 1 狭义的 BCI 技术系统示意图:从大脑向机器输出为主的 BCI。NF 为神经反馈6图 2 以输入为主的双向闭环 BCI 系统示意图7脑机接口技术在医疗健康领域应用白皮书(2023 年)3广义的脑机接口是指任何大脑与外部设备直接相互作用的系统,包含上述狭义的输出式 BCI 和输入式 BCI。实际上,输出式 BCI 和输入式 BCI 均可由神经反馈构成交互式的闭环系统(即交互式BCI),主要看是以输出式为主还是以输入式为主,取决于所设计BCI 的主要功效。双向闭环 BCI(包括从大脑到外设以及从外设到大脑)属于交互式 BCI。图 3 显示了面向康复训练应用的双向闭环BCI。脑卒中患者可通过双向闭环 BCI 进行康复训练,以促进大脑重塑实现功能代偿78。图 3 面向康复训练应用的双向闭环 BCI78随着脑机接口的深入发展,出现了脑机接口医学,特别是脑机接口的哥白尼革命:从环境控制到监测大脑变化7,这为人脑状态监测(如癫痫发作监测和疲劳监测等)与调控康复等多种功效的脑机接口提供了新途径。1.1.2 脑机接口系统构成脑机接口系统构成脑机接口系统主要由用户(大脑)、脑信号采集、脑信号处理与解码、控制接口、机器人等外设和神经反馈构成9。脑机接口技术在医疗健康领域应用白皮书(2023 年)4(1)用户BCI的操控者就是用户,同时用户本身也是驱动 BCI的信号源,BCI 系统中产生脑信号的大脑或中枢神经系统(CNS),是脑机接口系统必不可少的最复杂、最活跃、高度自适应的子系统。因此,脑机接口系统是最典型的人在环路的系统(人机闭环系统),其设计和评价需要以用户为中心,考虑脑机接口人因工程1011。脑机接口的实验范式设计与用户的感知觉、表象、注意、认知或思维等心理活动或任务(mental activities/tasks)的神经机制紧密相关,其正是采集用户的这些心理任务诱发的神经活动进行解码。脑机接口的性能与用户的心理活动紧密相关,如运动想象 BCI 系统的性能在很大程度上取决于用户执行运动想象的效果或能力12。(2)脑信号采集脑信号采集是脑机接口系统的重要组成部分,是其实用化的瓶颈之一,采集到高质量的脑信号至关重要。采集大脑活动的方法有多种,原则上均可为脑机接口系统提供输入信号,这些方法中包括头皮脑电(EEG)、皮层脑电(ECoG)、单个神经元记录(Spikes)等。此外还有脑磁(magnetoencephalogram,MEG)、正电子发射计算机断层扫描(positron emission tomography,PET)、功能性磁共振成像(functional magnetic resonance imaging,fMRI)和功能性近红外光谱(functional near infrared spectroscopy,fNIRS)成像等。然而,目前 MEG、PET 和 fMRI 这些方法技术要求高、价格昂贵且难以便携,限制了它们在脑机接口研究中的广泛应用。另外,PET、脑机接口技术在医疗健康领域应用白皮书(2023 年)5fMRI和 fNIRS 依赖于检测脑代谢活动,虽然空间分辨率较高但时间分辨率较低,因此现阶段这些方法均不太适合用于构建快速的脑机交互。目前,EEG、ECoG 和 Spikes 因具有较高的时间分辨率,已成为脑机接口的主要输入信号。ECoG 和 Spikes 为侵入式采集电信号的方法,虽然具有较高的空间分辨率、良好的信噪比和更宽的频带,但目前这类 BCI 仍面临着几个难题:有创带来的安全性问题、难以获得长期稳定的记录、需要相关医护人员长时间连续地观察。与ECoG 和 Spikes 相比,EEG 是从头皮无创记录的,具有安全、易于采集和价格低廉的特点。图 4 为植入式采集 Spikes 和 ECoG 示意图34。(a)(b)图 4 植入式采集 Spikes 和 ECoG 示意图。(a)皮质内采集 Spikes;(b)硬膜上或硬膜下皮层表面采集 ECoG34总之,对于实用化的脑机接口系统,除了尽可能采集到高质量(时空分辨率高和信噪比高)的脑信号外,更为重要的是还应确保BCI传感器的安全性、舒适感、美学性和易用性。(3)脑信号处理和解码脑机接口技术在医疗健康领域应用白皮书(2023 年)6脑信号中通常包含有多种噪声,例如与要求的用户心理活动无关的神经信号、工频干扰、眼电和肌电伪迹等,这在一定程度上降低了信号的质量,为此需要对脑信号进行预处理以剔除伪迹并提高信噪比。不同的脑信号有不同的预处理方法,主要有时域滤波和空域滤波,在一定程度上可以去除信号的噪声,从而提高信噪比或改善空间分辨率。对于空间分辨率,也可以采用溯源分析方法来改善。脑信号预处理后,通常根据特定的脑机接口范式所设计的心理活动任务相关的神经信号规律来提取特征。为了更准确的解码用户的心理意图,需要提取心理活动任务之间可分性好的特征,可以采用时域、频域、空域方法或相结合的方法提取特征。不同范式的BCI 系统提取的特征和方法不一样13,如 P300-BCI 主要提取新奇事件相关电位(event-related potential,ERP)的幅度或潜伏期,运动 想 象 BCI 主 要 提 取 事 件 相 关 去 同 步/同 步(event-relatedsynchronization/desyn chronization,ERS/ERD)的功率谱特征或运动相关电位(movement-related potential,MRP),基于 Spikes 的 BCI主要提取神经元发放率等。提取到可分性好的的脑信号特征之后,可以采用先进的模式识别技术或机器学习算法训练分类模型。值得注意的是,由于用户之间的个体差异,实用的脑机接口往往需要针对特定的用户定制特征提取和解码模型。(4)控制接口脑机接口技术在医疗健康领域应用白皮书(2023 年)7根据具体的通信或控制应用要求,控制接口把上述解码的用户意图所表征的逻辑控制信号转换为语义控制信号,并由语义控制信号转化为物理控制信号14。(5)机器人等外设与脑机接口通信或可控制的外部设备可以是多种多样的,视具体的应用而不同,可以是计算机系统(操作其字符输入/光标移动等),也可以是机器系统(如康复机器人、神经假肢和轮椅等)。(6)神经反馈神经反馈是脑机接口的重要组成部分,是实现双向脑机交互的关键技术。基于条件反射和人脑可塑性机理,神经反馈可以把用户的脑活动特征、解码结果以及与外设通信或控制的结果以视觉、听觉或触觉等方式可视化地反馈给用户,以调整用户的心理活动,从而调节用户的脑信号,最终提升脑机交互的性能15。BCI操作中,神经反馈在两个自适应控制器(用户和 BCI 自适应算法)的有效交互间起到关键作用6。运动想象 BCI 系统中,神经反馈还可以用于评估和提高用户的运动想象能力12。1.1.3 脑机接口分类脑机接口分类随着脑机接口技术的发展,其分类方法也在变化,不同的研究组或不同的研究人员以及不同的分类依据会得到不同的分类结果,目前尚未有完全统一的分类标准和结果。一种分类方法可以根据脑信号采集的方式,可分为植入式和非植入式 BCI,也可以根据 BCI范式/感觉刺激/采用的信号进行分类,可分为单一范式/单一感觉刺脑机接口技术在医疗健康领域应用白皮书(2023 年)8激/单一脑信号的 BCI和混合 BCI,如图 5所示。图 5 BCI 分类示意图说明:本部分说明:本部分 1.1 内容内容部分部分来自于脑机接口技术在医疗健康领域应用白来自于脑机接口技术在医疗健康领域应用白皮书(皮书(2021 年)年)16。脑机接口技术在医疗健康领域应用白皮书(2023 年)91.2 脑机接口技术进展脑机接口技术进展脑机接口研究发起的初衷是帮助瘫痪和残疾者重获与外界交流的能力。目前,绝大多数 BCI 创业公司也将医疗健康领域作为切入点。可以说,医疗健康领域是脑机接口的最主要的应用阵地之一。通过梳理脑信号采集、实验范式设计以及解码算法开发方面的进步,以期增进对脑机接口在医疗健康领域进展的理解。1.2.1 脑信号采集技术新突破脑信号采集技术新突破如何获取脑信号对于 BCI 而言至关重要。脑信号采集技术关乎所获取信号的质量和最终的 BCI 控制效果。作为 BCI 的关键采集器件,电极决定着所采集脑信号的空间分辨率和质量,是保障 BCI 性能的前提。随着微纳加工技术和电极材料不断发展,用于植入式BCI 的电极趋向于柔性、小型化、高通量和集成化发展。在非植入式 BCI 中,基于脑电的 BCI 因无创、系统简单易操作、价格相对低廉等优势而得到广泛应用。当下基于水凝胶的脑电电极的研发较为活跃,耳内脑电电极也取得积极进展。与此同时,微创血管支架电极采集技术、微创颅骨局部电改性方法等方案相继被提出,创新脑信号采集方式。(1)水凝胶电极非植入式 BCI 临床转化面临的挑战之一是如何长期获取高质量脑电(EEG),新型水凝胶电极的研发有望解决该挑战。已有研究表明,干电极无法检测到 ERP,而水凝胶电极与湿电极检测的 ERP波形和功率谱相似,而干电极无法检测到 ERP,可以连续获取高达脑机接口技术在医疗健康领域应用白皮书(2023 年)1012 小时的 EEG,降低对运动伪迹的敏感性17。水凝胶电极的皮肤接触阻抗测量值与湿电极(导电膏)相媲美,低于干电极。此外,水凝胶电极具有优异的生物相容性,易于使用,并可回收再利用,有利于非植入式 BCI的临床转化17。(2)立体定向脑电(sEEG)由于立体定向脑电(Stereotactic electroencephalogaphy,sEEG)能够测量 ECoG 无法达到的脑结构,并可提供宽频带的神经活动采样。sEEG 为解码与记忆相关的过程和边缘叶活动提供了不可媲美的机会,可以用来补充或进一步增强对其他认知过程的解码,在 BCI临床转化具有极大潜力18。图 6 显示了典型的 sEEG 电极(8 个)植入例子18。图 6(a)8 个 sEEG 电极轴/杆(shaft)的轨道规划。(b)计算机断层扫描显示植入电极轴/杆位置。(c)植入的电极轴/杆。与 ECoG 植入物所需的相对较大的开颅手术相比,sEEG 只需要较小的局部钻孔18。脑机接口技术在医疗健康领域应用白皮书(2023 年)11(3)入耳式电子器件常规的非侵入 BCI 使用基于头皮电极的采集方式,往往存在佩戴不方便、应用受限等问题,限制了 BCI技术在日常生活中的推广。针对常规脑电采集技术的局限性,清华大学王宙恒等人提出了一种在无毛发的耳道区域采集脑电的装置,命名为 SpiralE。这种器件可以在电热驱动下,自适应地沿着耳道扩张。这种形态可重构,刚度可调节的的方案很好地解决了耳道内信号采集所面临的结构蜿蜒曲折,因人而异的难点。基于 SpiralE,研究团队搭建了解码视觉和听觉响应的 BCI 系统。在视觉 BCI 中,实现了四十目标 SSVEP 系统且获得 36 bits/min 的信息传输速率。在听觉 BCI 中,实现了听觉注意力解码最高 84%的分类正确率19。综合而言,该研究充分说明了在耳道内实现可穿戴、隐蔽通讯的能力。图 7 为入耳式电子器件设计示意图19。图 7入耳式电子器件设计。(a)SpiralE 耳内脑电记录示意图。(b)SpiralE 顺应适形耳道内壁的照片。右上角的插图是一张由医用内窥镜拍摄的照片。右下插图显示了从耳内取下 SpiralE 后其不规则的三维结构。(c)所设计的 SpiralE 功能层的分解示意图。右侧脑机接口技术在医疗健康领域应用白皮书(2023 年)12插图分别是脑电检测层和电热致动层的照片。(d)暂时固定形状的 SpiralE(左侧),并恢复为半径较大的永久形状(右侧)19。(4)微创血管支架电极阵列针对传统电极阵列需要通过开颅手术直接植入脑内,可能导致组织炎症反应的问题,非常有必要研发微创方法来避免对脑部的损伤。Thomas J Oxley等人证明了被动式支架电极记录阵列(stentrode)从静脉内长期记录脑活动的可行性,通过导管血管造影术植入运动皮层上的浅皮层静脉,并在自由运动的羊身上展示了长达 190 天的神经记录20。血管皮层脑电的频谱信息和带宽与硬膜外表面阵列的记录相当,在整个植入期间,静脉内腔通畅。Thomas J Oxley 等人首次在两名患有上肢瘫痪无力的受试者中采用血管支架电极阵列采集来自运动皮质的皮质电信号,实现了微创、完全植入、无线、运动神经假肢的人体试验,可用于数字设备的多命令控制,成功完成了包括短信、在线购物和独立管理财务等日常生活任务21。图 8为微创血管支架电极阵列及内部组件连接示意图21。(a)脑机接口技术在医疗健康领域应用白皮书(2023 年)13(b)图 8微创血管支架电极阵列及内部组件连接示意图。(a)微创血管支架电极阵列;(b)内部组件连接示意图。微创血管支架电极阵列被植入上矢状窦内,紧邻中央前回。大脑中突出显示的黄色区域表征了患者尝试肢体运动时初级运动皮层的激活21。(5)微创颅骨局部电改性方法头皮脑电源自大量神经元放电时的突触后电位,然后经过脑脊液、硬脑膜、颅骨和头皮等多层组织的衰减,最终被头皮上电极所采集。大脑结构会对脑电信号产生显著的“容积导体”效应,导致头皮脑电的信噪比、有效频带带宽和空间分辨率明显低于颅内脑电,极大地增加了后续信号检测和解码的难度。而皮层脑电等传统侵入式解决方案又因为植入电极带来的手术和健康风险而难以推广。因此,在高质量脑电信号获取和采集风险之间寻求平衡是实现 BCI 性脑机接口技术在医疗健康领域应用白皮书(2023 年)14能进一步突破的关键。清华大学及合作研究团队提出了一种微创颅骨局部电改性方法(图 9),以解决上述问题提供了新思路22。利用压电手术钻产生的高频机械共振,短时间内在皮下直接击穿颅骨组织而不伤及硬脑膜等软组织,从而降低颅骨局部的电阻抗,提升(a)(b)(c)图 9微创颅骨局部电改性方法。(a)颅骨重建后的生物电流图;(b)微型镜头捕捉到的颅骨开孔;(c)修改前后所有六只大鼠的平均 SSVEP 宽带信噪比22头皮脑电信号质量。该研究利用 6 只八月龄大鼠进行了活体验证实验,在大鼠的视觉区上方颅骨处打出一个直径约 500 微米的孔洞,并对比了微创改造前后大鼠静息脑电与 SSVEP 信号的变化。其中大脑机接口技术在医疗健康领域应用白皮书(2023 年)15鼠颅骨改造处阻抗下降了约 84%,大鼠静息态脑电的平均最大带宽提升了 57%,同时其 SSVEP 信号的宽带信噪比平均提升了 3.08 dB。相比于皮层脑电等侵入式方案,其手术时间短,手术风险小,且不需要植入电极,可以避免出现排异反应。1.2.2 变革传统脑机接口范式变革传统脑机接口范式迄今为止,脑机接口研发已有 50余年,然而现有 BCI范式局限性较大,转化面临极大的挑战,需要变革或突破传统经典的 BCI 范式(如 SSVEP-BCI、P300-BCI、MI-BCI 等),增加新的更自然更有效交互的 BCI 范式。最近几年,BCI 范式的创新取得了许多重要进展234。从通信角度看,BCI 范式相当于一种编码协议,即通过特定的心理任务将大脑意图编码到神经活动产生的信号中。已证明了经典的脑机接口范式可实现大脑和机器之间直接通信。为了提高经典BCI 的整体性能,多个 BCI 范式相继被提出,如混合 BCI(hybridBCI)、自适应 BCI(co-adaptive BCI)等。近年来,提出了统一的脑机智能平台,将人类智能和人工智能融合起来。认知 BCI(cognitive BCI)和增强 BCI(augmented BCI)等新范式已经被开发出来,用于研究人们的认知状态,甚至实现协作智能以提高人类表现。其他范式如情绪 BCI,通过了解情绪状态对大脑活动的影响来识别和调节情绪。(1)言语脑机接口范式脑机接口技术在医疗健康领域应用白皮书(2023 年)16言语是人类主要的交流方式,言语 BCI 范式是一种比较自然的BCI 范式。言语 BCI 有望为患有瘫痪的人恢复语言交流,但自然的语速和表达能力往往难以实现。Sean L.Metzger 等人利用对一名患有严重肢体和声音瘫痪的参与者的言语皮质进行的高密度表面记录,实现了跨三种互补的与言语相关的输出模式的高性能实时解码:文本、言语音频和面部虚拟化动画。该研究采用参与者尝试默读句子时收集的神经数据来训练和评估深度学习模型。对于文本,展示了准确且快速的大词汇解码,中位数速度为每分钟 78 个单词,中位数词汇错误率为 25%。对于言语音频,展示了清晰且快速的言语合成,并将其个性化到参与者受伤前的声音。对于面部虚拟化动画,展示了对言语和非言语交流手势的虚拟口面部动作的控制。该研究提供了一种多模式言语神经假肢方法,有望为严重瘫痪的人恢复全面、具体的沟通3。言语 BCI 具有将通过解码由试图言语引发的神经活动成为文本或声音的潜力,从而为瘫痪患者恢复快速的交流。早期的演示虽然令人鼓舞,但尚未达到足够高的准确性,以便从大词汇表中传达自由句子的交流。Francis R.Willett 等人提出了一种语音转文本 BCI,记录了来自皮质内微电极阵列的尖峰活动,在这些高分辨率记录的支持下,研究参与者(由于肌萎缩侧索硬化症不能再说话)在 50 个词汇的情况下实现了 9.1%的词汇错误率(比以前的最先进的语音BCI2 少了 2.7 倍的错误),并且在 125,000 个词汇的情况下实现了23.8%的词汇错误率(这是首次成功演示大词汇解码)。参与者试图脑机接口技术在医疗健康领域应用白皮书(2023 年)17言语的解码速度达到每分钟 62 个词,比以前的记录快 3.4 倍,并且开始接近自然会话的速度(每分钟 160 个词)。最后,强调了言语的神经编码的两个方面,这对于言语 BCI 是令人鼓舞的:对言语发音构音器的空间混合调谐使得仅从皮层的一小部分就能实现准确的解码,以及对语音音素的详细构音的皮层表征,在瘫痪多年后仍然存在。这些结果为恢复那些不能再说话的瘫痪患者的快速交流打开了一条可行的道路2。英文单词的基本单元为音素,直接解码音素以构成单词,相较于直接解码整词的口语发音合成语音 BCI,通讯效率获得大幅提升。世界人口 80 亿,存在 7000 种语言;11.2 亿人使用中文。中文作为包含声调的语言相较于英文单词对音素音节的言语 BCI 解码提出更复杂的要求。2023 年,我国复旦大学附属华山医院神经外科的吴劲松/路俊锋教授团队,联合上海科技大学李远宁教授团队、天津大学明东/许敏鹏教授团队通过高密度 ECoG 进行神经解码探索声调语言语音合成的可能性,该研究要求五位以普通话为母语的言语构音保留的参与者说出八个指定的声调音节,设计模块化的多流神经网络模型来解码和合成 ECoG 记录中的语音信息,分别解码音调信息与音节信息,组合生成汉语语音。该模型对单个被试的声调-音节的平均分类准确率达 75.6%,最高准确率可达 91.4%。该研究是汉语声调语言进行语音合成在世界范围内的首次探索,为未来以汉语和其他声调语言为母语存在构音障碍或失语症患者恢复言语能力提供了潜在的解决方案23。脑机接口技术在医疗健康领域应用白皮书(2023 年)18(2)手写想象输入文本脑机接口范式到目前为止,BCI 研究的一个主要重点是恢复肢体粗大的运动技能,例如伸手和抓握-或用计算机光标点击打字。然而,快速的发生次序且高度灵巧的行为,如手部书写或触摸打字,可能会加快通信速度。Francis R.Willett 等人研发了一种皮层内 BCI,通过运动皮层手结区的神经活动解码尝试的手写动作,并采用递归神经网络解码方法将其(运动皮层的神经活动)实时翻译成文本4。研究参与者(其手因脊髓损伤而瘫痪)的书写速度达到了每分钟 90 个字符,在线原始准确率为 94.1%,通用自动校正的离线精度超过 99%,文字输出速度超过了任何其他 BCI 报告的速度,与参与者年龄组匹配的经典的智能手机打字速度(每分钟 115 个字符)相当。该研究的结果为 BCI 提供了一种新的方法,并证明了在瘫痪多年后利用运动皮层神经活动精确解码快速灵巧运动的可行性。1.2.3 脑机接口技术与先进的脑机接口技术与先进的 AI 技术相结合提升脑信号解码性能技术相结合提升脑信号解码性能算法是脑机接口系统的关键组成部分,主要是对脑信号进行分析与处理,以又准又快地解读用户意图。高效的脑信号解码算法能够显著提高解码精度,进而提高 BCI 的性能。目前,经典的机器学习方法仍展现出较大优势,但同时深度学习方法正愈发频繁地应用于 BCI。Francis R.Willett 等人(2021)、Sean L.Metzger 等人(2023)和 Francis R.Willett 等人(2023)在他们解码脑信号中,引入了合适的深度学习算法,这些研究表明 BCI技术与先进的 AI 技术相结合,脑机接口技术在医疗健康领域应用白皮书(2023 年)19有望大幅提升脑信号解码性能234。图 10 示意了把 AI 引入 BCI中,以提高 BCI的智能,促进 BCI临床转化应用11。图 10 把 AI 引入 BCI 中,以提高 BCI 的智能,促进 BCI 临床转化应用1.3 以用户为中心的脑机接口设计和评价方法以用户为中心的脑机接口设计和评价方法神经或神经退行性疾病患者是 BCI 的潜在最终用户,BCI 可用于替换或改善该类患者丧失的功能。BCI 技术的目标是面向家庭最终用户,特别是那些患有脑疾病的人(如脑卒中、ALS、外伤性脑损伤、脊髓损伤、闭锁或完全闭锁综合征患者、帕金森病患者、老年痴呆、精神疾病(如抑郁症和精神分裂症等)等),但面临转化差距5。1.3.1 脑机接口技术面临的转化差距脑机接口技术面临的转化差距目前,脑机接口技术研发仍面临着转化的差距/鸿沟:如何将BCI 从实验室带到现场的知识还不足,BCI 控制的应用缺乏可用性和可达性24。在 BCI 技术研发中需要解决可用性和可达性问题,脑机接口技术在医疗健康领域应用白皮书(2023 年)20以弥合转化鸿沟。图 11 为参考技术采用生命周期(technologyadoption lifecycle,TALC)的 BCI转化为应用的过程6。图 11 参考 TALC 的 BCI 转化为应用的过程6BCI技术在患有疾病的最终用户日常生活中的使用障碍主要有:可靠性(能否长期可靠使用)、与其他辅助技术(assistivetechnologies,AT)相比的效率(是否具有不可替代性,需要的设置时间和认知资源)、对个人和财务资源高要求、脆弱的最终用户群(如晚期 ALS 患者等)、采集脑信号的传感器、临床应用的不同场景(如脑卒中后康复、患有严重交流障碍的最终用户的交流等)、在最终用户家中实施(供独立使用)以及将 BCI 带给家庭最终用户的路线图24。对患有疾病的潜在终端用户、AT 专业人士和 AT 分销商对 BCI技术的期望进行的调研表明,现有市售的 BCI 并未满足最终用户的需求设计的25。为将 BCI技术带给患有疾病的最终用户,BCI研究人员必须倾听临床用户的需求和意见,将以用户为中心的设计脑机接口技术在医疗健康领域应用白皮书(2023 年)21(user-centered design,UCD)作为
展开阅读全文