脑机接口打字

上次Musk Neuralink实现了猴子用思维控制光标来玩游戏。这次，斯坦福大学、霍华德休斯医学研究所(HHMI)、布朗大学和其他团队利用BCI将瘫痪患者大脑中的“笔迹”转化为屏幕文字。

“这项研究代表了BCI和机器学习技术发展的一个重要里程碑，相关研究正在揭示人类大脑如何控制通信等复杂过程，为改善神经损伤和瘫痪患者的生活提供了重要基础。”美国国立卫生研究院脑科学项目主任约翰·恩盖(John Ngai)博士在接受媒体采访时说。

研究人员开发了一种皮质内BCI，首次对瘫痪患者书写字母相关的神经信号进行递归神经网络解码，然后在电脑屏幕上实时显示这些字母的打字版本。

研究人员开发了一种皮质内BCI，首次通过递归神经网络对瘫痪患者书写字母相关的神经信号进行解码，然后在计算机屏幕上实时显示这些字母的打字版本。

相关研究以“通过手写实现高性能意识文本转换”为题发表在《自然》杂志上，并登上《自然》封面。这项研究为BCI开辟了新的方法，证明瘫痪病人在神经瘫痪多年后仍能实现准确解码、快速灵巧的运动。首次实现解码手写“笔迹”。

该研究论文的作者之一、HHMI的研究人员克里希纳·塞诺伊(Krishna Senoi)在接受媒体采访时表示，“这项研究最大的创新是首次破译了与手写相关的大脑信号，这使得瘫痪患者能够不用手就能快速打字。”

据了解，该团队的研究参与者是一位65岁的截瘫患者，其手因脊髓损伤而瘫痪。通过使用该BCI技术，其字母输入在线原始精度为94.1%，离线通用精度为99%以上。

据了解，这个团队的研究参与者是一位65岁的截瘫患者，他的手因脊髓损伤而瘫痪。通过使用这种BCI技术，字母输入的在线原始准确率为94.1%，离线通用准确率超过99%。

那么，这项技术是如何“解读”大脑信号的呢？

这项技术的工作原理是“两个微小的植入电极阵列将控制手和手臂的大脑区域的信息传输到相关算法”，这些算法将其转换为出现在屏幕上的字母。

首先要求参与者抄写屏幕上显示的字母，包括26个小写字母和一些标点符号:“>”用作空格，“”用作句号。同时，植入的电极记录了大约200个个体神经元的大脑活动，当大脑“写入”每个个体特征时，这些神经元的反应不同。

经过一系列培训后，BCI的计算机算法学习了如何识别与单个字母相对应的神经模式，从而使参与者可以”编写”以前未打印过的新句子，并且计算机可以实时显示字母。

经过一系列的训练，BCI的计算机算法学会了如何识别单个字母对应的神经模式，让参与者可以“写出”以前没有打印出来的新句子，计算机可以实时显示字母。

斯坦福大学HHMI的研究科学家Frank willett博士在接受媒体采访时表示:“这种方法是对现有交流BCI的重大改进，后者依赖于用大脑移动屏幕上的光标来‘键入单词’。尝试书写每个字母会在大脑中产生独特的活动模式，更容易让计算机以更高的准确度和速度识别书写的内容。”

其实这项技术的底层算法逻辑和siri差不多。比如问siri“今天天气怎么样？”Siri经过了系统的训练、识别、解释，最后做出反应。

简单来说，首先提取脑电波信号，然后生成可视化图像进行处理，再识别可视化图像对应的信号。

密西根州立大学生物医学工程系助理教授李金星表示，原始的可视化图像并不代表就是最后识别的结果，研究人员通过一系列训练，不断对信号进行修正和改善。识别的精准度从试验初期的30%提升到了99%。

密歇根州立大学生物医学工程系助理教授李金星说，原始视觉图像并不意味着它是最终识别的结果。研究人员通过一系列训练不断修正和改进信号。识别的准确率从实验初期的30%提高到了99%。

李金星认为，这项技术的最大突破是首次实现了用脑电波手写打字。他进一步解释道，“实现手写字母的输出，就是非常灵巧的动作的解码。当用户想象字母的笔迹时，脑电波的信号比移动光标更丰富，因此更准确。”

此外，该技术还具有输入速度快、使用灵活等优点。快速

华中科技大学AI与自动化学院脑机接口与机器学习实验室主任吴表示，这项技术的输入速度是一大进步，可以接近正常人在智能手机上的打字速度。在研究中，实验者的输入速度是90个字符/分钟，而正常人在智能手机上的打字速度是115个字符/分钟。

目前基于头皮脑电P300或运动想象范式的文字输入速度约为1 -5个字符/分钟，稳态视觉诱发电位(SSVEP)范式的速度可达60个字符/分钟。植入式脑机接口系统可以控制二维光标移动输入字符，但速度不超过40个字符/分钟。灵活使用

稳态视觉诱发电位的输入速度虽然比较快，但是需要显示器，用户还要注意显示器上闪烁的字符，眼睛完全被占用，很累。

一般来说，它的输入速度(即每个字符闪烁多长时间)也是系统预设的，而不是用户控制的。

“这项技术允许用户自己控制输入速度，无需其他外部设备就可以完全解放眼睛，因此更加灵活。”吴对说:

虽然这种技术具有明显的优势，但在使用中仍有一些困难需要克服。比如如何识别非常相似的字符2和z。

吴认为，解决这个问题的办法可以考虑以下两点:

首先，对于相似的角色，可以设计一些备选角色。比如本文提出的优化字，就是让字与字之间的差异尽可能大，这样更容易区分。2如果设计成类似“N”的形状，很容易与Z区分开来。

其次，根据上下文区分相似的字符。比如字母Z的前后通常是其他英文字母，而字母2的前后可能是其他数字或者空。借助这些上下文信息，也有助于区分这两个字符。预计BCI将来会更快更准。

据媒体报道，研究团队下一步将尝试新系统，手写输入文本是新系统的一部分。这套系统还包括点击导航，类似于目前智能手机上使用的导航，包括尝试语音解码。

鲁科技合伙人、AI算法负责人马鹏程认为，思维打字的方向和目标人群可以明确分为两类:

第一类是借助脑机接口设备实现与外界的无障碍沟通和交流，解决核心的沟通和控制问题。

第二类是正常人对高效交互工具的需求。意念打字已经成为与文字输入、语音输入并行的新交互方式，可能成为社会变革和下一轮技术革命最重要的导火索。

而该研究想要进一步落地发展，从技术角度，还需要不断完善。

但这项研究还有待进一步发展，需要从技术角度不断完善。

目前这项研究只在一个用户身上试验成功，能否推广到更多用户还需要进一步验证。

实际上，本次研究中的T5用户是之前实验中三个用户中最好的用户，所以用于本次实验。“如果其他用户也参与这个实验，效果可能会更差。”吴对说:

李金星说，这项技术的未来研究需要考虑个体差异。每个人的脑电波信号可能不一样。所以未来需要深度学习，技术数据的不断升级，以及更多的临床案例研究。字符准确度需要进一步提高。

本研究使用了26个英文字符和5个特殊字符，共31个字符。“实际上，常用字符比这些更多，例如，10个数字不考虑在内。更大的字符集应该会降低准确性。”吴对说:输入的复函数

不管当前实验的结果是对是错，用户都继续输入。在正常的文本编辑中，用户需要纠正错误。如何实现光标跳转、删除、插入等更复杂的功能，是需要进一步考虑的问题。改善脑电信号的易用性

脑电信号并非平稳，该系统每次使用前需要重新校准，会花费用户的时间和精力。该技术需要更好的算法以缩短甚至消除校准，提高易用性。

脑电信号并不稳定，每次使用前都需要对系统进行重新校准，这会耗费用户的时间和精力。这项技术需要更好的算法来缩短甚至消除校准，提高可用性。

提高电极质量，降低操作风险。

这项技术需要精密的手术植入电极，但由于人体的排斥，这种电极不是一劳永逸的，使用一段时间后信号质量会下降，需要重新植入，增加了手术风险和用户成本。“提高电极质量，减少排异反应，对这项技术的大规模应用非常重要。”吴对说:

设备的小型化和无线化。小型化和无线设备将有利于方便用户的移动和操作。

吴认为，未来三到五年，随着电极寿命、灵敏度和密度的进一步提高，以及解码算法的进一步发展，这项技术有望更快更准。

谈及产业化，马鹏程表示，从我们AI+BcI在各行业的大规模实际应用经验来看，AI结合脑机接口技术(有创和无创)实现构思打字，在构建高质量大规模模型训练数据集后，结合构思打字需求的实际使用场景进行产品设计。“我想，应该可以很快开发出实用的脑机思维打字产品。未来工业化的速度可能会超出我们所有人的想象。”

如果未来脑机接口技术成熟会怎样？

李金星表示，在短期内，脑机接口的下一个突破可能是无创输入技术的发展，通过大脑刺激将外界信号传递到大脑，从而达到对神经系统损伤性疾病(如帕金森病、癫痫等)的缓解效果。)和精神疾病(如抑郁症、自闭症等。).

他认为，从长远来看，也许人类只需要大脑就可以存在，这可能会实现。

“人机一体化”。