图 | Casey Harrell 与他的妻子。(图源:Ian C. Bates, The New York Times)
在系统使用的第一天,经过 30 分钟的尝试说话训练数据后,神经假体达到了 99.6% 的准确率,词汇量为 50 个单词。 第二天,可能输出的词汇量增加到了 125000 个单词,并且在额外 1.4 小时的训练数据后,神经假体达到了 90.2% 的准确率。 随着更多训练数据的积累,神经假体在植入手术后八个月以上保持了 97.5% 的准确率。
视频 | Harrell 利用神经假体进行对话。
找回失语患者的声音
图 | 电极位置和语音解码设置。a, 大致微电极阵列位置,由黑色方块表示,叠加在参与者大脑的 3D 重建上。b, 脑到文本语音神经假体的示意图。
图 | 在线语音解码性能。
图 | 广泛使用神经假体进行准确的自发语音。a, 参与者和语音神经假体在对话模式下的照片。神经假体仅基于神经活动检测到他试图说话,并在 6 秒的语音不活动后结束,或者在他通过眼动追踪选择激活屏幕上的按钮后结束。解码的句子完成后,参与者使用屏幕上的确认按钮来指示解码的句子是否正确。b, 参与者使用语音神经假体与女儿交谈的第二天样本转录。c, 参与者使用语音神经假体与周围人沟通的累积小时数,包括在结构化研究会议期间和个人使用期间。对于由红色轮廓点表示的会议,解码准确度在(d)中量化。d, 评估对话中的语音解码准确度(n = 925 个已知真实标签的句子,来源于(c)中红色标记的会议)。平均单词错误率为3.7%(95%置信区间,3.3%至4.3%)。
不足与展望