意念可控假肢简介

这是一个便携式独立神经假体系统，手势识别准确率超过95%。那些失去手臂和手指的病人可以像正常人一样玩电子游戏。

这不是简单的机械手，而是深度学习和机械手硬件的结合。近年来，深度学习在分析、解释和解码生物医学数据方面的应用正在稳步发展。在快速发展的脑机接口和神经假体领域，基于深度学习的神经解码器已经成为最有希望创造下一代智能和易于操作的神经假体的方法。

简单来说，神经解码器是一种可以识别大脑神经活动的人工设备。对于因神经系统受损而无法正常控制肢体的人，它可以对大脑活动进行解码，将大脑发出的控制指令传递给肢体，从而实现对匹配的神经假体的操控。

与普通假体相比，神经假体可以通过“意念”控制，即可以直接接收大脑的指令，显然更加灵活，符合人类的直觉。

随着人工智能和深度学习技术的发展，科学家开始尝试将其应用在各个领域，假肢控制也不例外，以主流CNN和RNN等神经网络为基础的算法都能用来驱动神经解码器。

随着人工智能和深度学习技术的发展，科学家开始尝试将其应用于各个领域，假肢控制也不例外。基于CNN和RNN等主流神经网络的算法可用于驱动神经解码器。

然而，高性能深度学习模型对硬件的计算能力提出了很高的要求，通常依靠GPU来支持其大规模并行计算。这不仅挑战了硬件尺寸和功耗的降低，也限制了假体及其神经解码系统的便携性和易用性，难以应用于临床。

为了解决这一问题，美国明尼苏达大学杨知教授的研究团队开发出本次便携式独立神经假肢系统，主要部件包括基于深度学习的神经解码器，英伟达letson边缘计算套件，Neuronix神经接口微芯片，连接神经纤维的束内微电极阵列，定制的PCB电路板和i-Limb机械手。

为了解决这一问题，美国明尼苏达大学杨智教授的研究团队开发了这一便携式独立神经假体系统，其主要组件包括一个基于深度学习的神经解码器、NVIDIA letson edge计算套件、Neuronix神经接口微芯片、连接神经纤维的束内微电极阵列、定制的PCB电路板和i-Limb机械手。

多年的成绩是综合的。

除了NVIDIA J etson套件、电极阵列和机械手的部分组件，剩下的成果要么是最新的努力，要么是研究团队成员之前的成果，一步步积累融合成今天的样子。研究成果以预印本的形式发表在Arxiv上。

Scorpius系统由Neuronix神经芯片、电极连接器、电压调节器和Microsemi的现场可编程门阵列(FPGA)组成。每个系统包含8个记录通道，并配有频率整形放大器和高精度模数转换器，可以捕捉极微弱的神经信号，消除干扰信号。如果需要更多通道，还可以部署多个设备。

最终，组合而成的机械手可以套在残臂上，参与测试的残障人士成功实现了用意念控制机械手指，做出握拳、拿捏、指向、摇滚等手势，系统也可以准确识别其控制的是哪根手指。

最后，可以将组合机械手放在残臂上。参与测试的残疾人成功实现了用意念控制机械手指，做出握拳、抓握、指点、摇滚等手势。该系统还可以准确地识别出它控制了哪个手指。

此外，将电极植入正常人的前臂后，机械手还可以捕捉神经控制信号，实现对每一个空的遥控。

“据我们所知，这是将基于深度学习的神经解码器与便携式计算平台相结合的最先进的神经假体。”研究人员在论文中说。

为了控制机械手，研究人员必须首先捕获并解码大脑传输的神经信号。

杨智表示，将深度学习与硬件相结合，并应用于疾病治疗，是这一成果的亮点。涉及的主要技术是神经解码，古代称之为“读心术”，即揣摩一个人的内心想法。人类的思维和行动基于大量的神经活动。这些活动都会在体内留下痕迹，比如产生微弱的电信号。这时候就可以利用深度学习的优势了。好处是可以根据大量的电信号生成类似黑盒的计算模型，从而映射信号和结果的关系。

硬件方面，他们使用了一套名为Scorpius（天蝎座）的神经接口系统，是论文作者Anh Tuan Nguyen和Jian Xu等人在2020年发表的研究成果。

在硬件方面，他们使用了一套名为Scorpius(天蝎座)的神经接口系统，这是作者Anh Tuan Nguyen和徐健在2020年发表的研究成果。

然后，系统会将捕捉到的原始神经数据实时传输到letson Nano suite。

Letson平台是英伟达专门为边缘计算开发的AI平台。Nano系列套件自带TegraX1片上系统(SoC)，搭载ARM A57四核CPU和128核Nvidia Maxwell GPU。

该套件由研究人员定制，可以运行经过训练的深度学习模型，该模型负责将神经信号实时翻译成相应的大脑指令，例如控制哪根手指，做出什么样的动作。它可以在10w和5W功率模式下分别运行2小时和4小时。

机械手本身使用的是SSUr公司的i-Limb产品，但原来的驱动器已经被研究人员开发的手控单元取代，可以直接接收深度学习模型的指令，控制手指中的电机。

在数据处理方面，研究人员在Python中实现了三个线程，分别用于数据采集、数据预处理和电机解码。

数据获取线程负责从两个或更多的Scorpius设备上获取数，并且将它们与对应的信道对齐。对齐后的神经数据会被输入预处理线程，经过过滤和降采样后，再提取其中包含的特征。

数据采集线程负责从两个或多个Scorpius设备采集数字，并将它们与相应的通道对齐。对齐后的神经数据将被输入到预处理线程中，经过过滤和下采样，然后提取其中包含的特征。

研究人员一共定义了14个特征函数，提取的特征数据会放入LIFO(后进先出)序列，所有数据会实时传输到电机解码线程。无法处理或来不及处理的神经数据会被直接丢弃，以保证解码线程总能接收到最新的数据。

在电机解码的过程中，会基于最新的特征数据进行深度学习推理。使用的深度学习模型是RNN架构，每个模型包含160万个参数。

该设备最多支持同时部署五个模型，每个负责一根或更多根手指动作的解码。在实验中，所有模型都有一样的架构，但使用了不同的数据集进行训练，实现了对特定手指及其动作的优化。

该设备支持同时部署多达五个模型，每个模型负责解码一个或多个手指运动。在实验中，所有模型的架构相同，但使用不同的数据集进行训练，实现了特定手指及其运动的优化。

最终的解码结果会输出到手控制器，手控制器会驱动手指上的电机执行相应的指令。手势识别准确率超过95%

在实际测试中，研究小组分别对残疾人和正常人进行了测试。杨志告诉DeepTech，这篇论文中展示的实验对象在14年前的一次事故中，除了左手拇指外，失去了四根手指。在接下来的八年里，他饱受慢性神经痛的折磨，晚上经常被疼痛惊醒，直到左前臂被截肢，疼痛才得以缓解。三年前，他加入了这个课题组的试验项目，杨志评价他“无私勇敢”。

植入设备后，他可以自由控制义肢，包括其各个手指，同时可对义肢产生感知，就好像变成了身体的一部分。

装置植入后，他可以自由地控制假肢，包括他的手指，同时，他可以感觉到假肢，就好像他已经成为了他身体的一部分。

受试者告诉杨志，“如果这项技术成为产品，它将具有许多生动的功能，使他能够做各种日常工作，就像使用他的另一只完美的手一样。”

结果，当仅使用一个模型时，10w功率配置的机械手的延迟小于50ms。随着部署型号数量的增加，延迟最多会增加到120ms左右——这种程度的延迟可以感觉到，但不会对手指的可控性和灵活性产生太大影响。

如果功率降低到5W，最大延迟会增加一倍左右，达到220 ms左右，考虑到设备的尺寸、功耗和成本，这个响应速度也是可以接受的。

在识别准确率方面，深度学习模型的准确率可以稳定在95%-99%之间，其中识别健康人五指活动的准确率在97%以上，识别残疾人的准确率在95%以上，表现亮眼。

“我们发现，残疾人的食指识别准确率较低，这是由于神经信噪比较低造成的。”研究人员说，“在实践中，我们可以引入更多的训练或训练一个模型来控制食指。”

为了测试机械手在日常生活中的表現，研究团队让一名残障人士在多个场景下操作该设备。结果显示它的表现并未受到wi-Fi、手机和电子设备的干扰，可以持续稳定的工作。

为了测试机械手在日常生活中的性能，研究小组要求一名残疾人在多个场景下操作该设备。结果表明，其性能不受wi-Fi、手机和电子设备的干扰，可以连续稳定工作。

“我感觉如果这个设备调试得更好，作为消费产品出来，它会有更多的功能，可以(让我)不假思索地完成很多日常操作，”测试人员说。“当我想伸手拿东西的时候，我不用刻意去操作，就像我真正的手一样。我相信它能实现这一点。”

当然现在的模式还是有一些不足，在判断一些手势的时候很容易混淆，比如握拳Vs竖起大拇指。

未来，研究团队计划进一步优化软件和改进硬件，包括优化神经网络模型、采用真正的多线程避免Python的全局解释器锁、加强Jetson的深度学习推理能力、采用在线电机解码优化等。，从而在可移植的基础上实现更低延迟、更高精度的实时控制。

将来投入使用后，患者会像戴眼镜一样使用。验光后，会为他们配合适的镜片和镜架。同样，给病人配置合适的机械臂和神经解码器也是同样的思路。

目前，团队已经成立了一家公司对设备进行改造，最初将用于治疗残疾人的疼痛。杨智说，神经解码技术已经帮助实验参与者减轻或治愈了他们的疼痛。

用患者的话说，“有了这个系统，我们可以看到我的痛苦可以量化，可以做一些事情……这是对我生活的巨大改善……它几乎不可估量地提高了我的生活质量，达到了1000%。”杨智还表示，神经解码技术还可以用于治疗更多的疾病。一旦获得FDA和中国的批准，这项技术将创造一个新的医疗器械市场，覆盖许多现在药物和手术无法治愈的疾病。(摘自关《深度科技》(Editor/Ferremen)