手语产生中语音、语义信息的加工机制

学术 2024-10-12 08:48 北京

⇧点击蓝字关注“中国听力语言康复科学杂志”

语音信息和语义信息是言语产生中的两个核心要素。语音是语言的物理表现形式，包括发音、声音的响度、音调和音色等，是人们表达思想感情和传递信息的基础。语义则是语言所表达的信息意义，是表达者意图传达给接收者的内容。在言语产生中，语音和语义相互依存，共同构成了语言的完整表达。手语是一种独立的语言，通过手势、面部表情、身体姿势等非语言因素传达意义。手语产生中会激活手语中的语音和语义信息。语音涉及手语中的语音信息，语义则可帮助理解手语表达中的信息意义。由此可见，语音和语义不仅是言语产生的两个核心要素，对于手语产生来说同样重要。通过研究手语产生中的语音和语义激活情况，可对手语有更准确的认识，为手语教育提供有效支持。

本研究将通过经典的图-词干扰范式，对手语产生中语音、语义信息的激活情况进行考察，要求被试忽略干扰词的影响，用手语对目标图片进行命名。参考汉语产生中的时间激活顺序，考虑在不同时间间隔（stimulus onset asynchrony，SOA）（-100 ms、0 ms、100 ms）中，语义、语音信息在手语产生中的作用。

一、方法

1.1 被试

从启聪学校招募30位听障学生参加实验，均为先天听力障碍，男生15人，女生15人。手语为第一语言，能够熟练使用手语，裸眼或矫正视力正常，熟悉电脑操作。年龄16～22岁，平均年龄17.25岁，受教育年限平均10.40年。

1.2 实验设计

采取3 （SOA：-100 ms/0 ms/100 ms）×3（干扰词类型：语义相关/语音相关/语义语音无关）的两因素被试内实验设计。因变量是图片命名的反应时和错误率。

1.3 实验材料

从《国家通用手语词典》中选取24个目标手语词，从舒华等的标准化图片中选择相应图片。图片的熟悉度、具体性、典型性、手语词熟悉度、具体性由听障学生评量。共24幅目标图片，72个干扰词（包括语音相关、语义相关及语音语义无关的干扰词各24个）。其中，语音相关干扰词与图片对应的手语词具备其中一个相同的语音参数，语义相关干扰词与图片对应的手语词同属于一个语义类别，语音语义无关干扰词与图片对应的手语词既不具备相同的语音参数，也不属于同一语义类别。例如，选用单字的目标图（A.“蝶”）和语音相关干扰词（B.“雾”，手形相同）、单字的语义相关干扰词（C.“蝉”）以及语义语音无关干扰词（D.“鼻”）作为刺激材料，如图1所示。F检验显示，3种类型干扰手语的熟悉性及具体性无显著差异，F_熟悉性=0.61，P>0.05，F_具体性=-0.11，P>0.05。

图1　实验材料举例

注：A目标手语词“蝶”，B语音相关干扰词“雾”，C语义相关干扰词“蝉”，D语音语义无关干扰词“鼻”

3类干扰视频由熟悉通用手语的特殊教育系学生进行录制。实验中呈现的刺激视频材料持续时间500 ms（60帧），使用Adobe Premiere Pro CC 2019对实验干扰视频和图片进行制作。干扰手语和图片同时（或早100 ms或晚100 ms）呈现。干扰手语的展示在视频中呈现遵循以下原则：与身体发生接触的手语，从与身体发生接触的部位开始展示；没有与身体发生接触的手语，则从手部产生运动轨迹的时间点开始展示。

1.4 实验程序

采用E-prime 3.0展示刺激材料，记录被试的反应时。除干扰视频和呈现的图片要同时呈现，对刺激材料呈现的顺序进行伪随机排列。每个试次按以下流程进行：手按下相应的按键，中央的红色“+”持续500 ms；300 ms空白间隔；播放图片及干扰视频，播放完毕后，图片保持静止，直到被试松手打出目标图片的手语。反应时记录的是图片出现到手离开按键的反应时长。如果打手语的过程中，出现迟疑、打错或手停在半空中没有完成手语的情况，被列为错误。3种SOA的测试顺序进行匹配。

1.5 统计学方法

采用SPSS 24.0软件对被试反应时进行两因素被试内方差分析，以P<0.05为统计学存在显著差异。

二、结果

不同干扰类型的主效应不显著，F（2，52）=2.40，P＞0.05，η²=0.05；SOA主效应不显著，F（2，52）=1.36，P＞0.05，η²=0.08。SOA和干扰类型两者交互作用边缘显著，F（4，104）=2.09，P=0.08，η²=0.10。简单效应分析表明，当SOA=-100 ms时，语义相关反应时显著长于无关反应时，出现了语义干扰（P＜0.01），语音相关与语音语义无关反应时差异不显著（P＞0.05）；当SOA=0 ms时，语义相关和语音相关与无关条件之间差异不显著，没有出现语义或语音效应；当SOA=100 ms时，语音相关显著慢于无关条件，出现了语音干扰（P＜0.05），语义相关与无关条件之间差异不显著（P＞0.05），见表1、2。

表1　不同干扰词类型下图片命名反应时（ms）

括号内数据为标准差，下同

表2　语音相关条件下不同参数的图片命名反应时（ms）

进一步探讨语音相关条件下各类参数的情况，进行3（SOA：-100 ms/0 ms/100 ms）×4（干扰词类型：位置相关/手形相关/运动相关/语音无关）的两因素被试实验设计方差分析。结果显示，不同干扰类型的主效应不显著，F（3，78）=0.47，P＞0.05，η²=0.05；SOA主效应不显著F（2，52）=0.69，P＞0.05，η²=0.09；SOA和干扰类型两者交互作用边缘显著，F（6，156）=2.07，P=0.07，η²=0.15。简单效应分析表明，当SOA=-100 ms时，手形相关、位置相关和运动相关与无关条件没有显著差异（P＞0.05）；当SOA=0 ms时，位置、手形和运动有关与无关条件没有显著差异（P＞0.05）；当SOA=100 ms时，位置有关反应时显著长于无关条件，出现位置的干扰效应（P＜0.05），手形、运动与无关条件没有显著差异（P＞0.05）。

三、讨论

手语产生（sign language production）是听障人借助于手形变化并辅以相应的表情、姿势传达思想的过程。手语产生与口语产生具备共同的言语过程，核心在于词汇通达。词汇通达包括词条选择和音韵编码两个阶段，即语义和语音两水平的加工阶段。

手语作为一种结构化的手势，是大多数听障人交流信息最自然的手段之一。手语具备自然语言的一切属性，和口语一样，也包括音位、语素、句法等成分，与口语表达相同的含义。手语是真正的语言学意义上的语言。口语和手语都传达思想，但手语是一种通过手和手臂动作伴随面部表情和嘴唇动作的视觉-运动系统。手语由手形（shape）、位置（location）、运动（movement）和方向（orientation）构成4个语音参数。手形是指手的基本指式和构形；位置是指打手语时双手活动的位置；运动是指打手语时动作的组合、速度、力量等；方向是手掌或手臂的朝向。参数本身并不具备意义，只有通过不同参数之间的组合，才能形成语素和手语单词。手语对语音的区分是通过身体相关的手的位置、手形及运动决定，而不像口语那样由鼻音和清浊音的语音等特征组成。口语依靠快速的语音转换和时间顺序结构（如后缀、前缀、词序等），而手语大量借助肢体的时空运动模式。

在言语产生中，关于语音和语义层级之间的动态进程，有独立两阶段模型和词汇交互激活模型。独立两阶段模型认为词汇选择和提取首先是从语义水平激活，才到词形的激活，信息的激活在语音和语义层面的传递是单向的，只能从语义→语音，词条选择和音韵激活在时间上有明显分界。词汇提取的交互激活模型假定所有激活语义表征都会在一定程度上激活词形，语义激活和音位编码在时间上发生重叠。在汉语词音韵激活和语义激活的时间进程研究中，在SOA=-300～0 ms存在语义抑制效应；SOA=100 ms时，发生语音促进效应。

关于手语产生，研究者主要考察了手语语音参数的功能和作用，发现手形、位置和运动对手语识别有不同作用。Carreiras等采用启动任务对西班牙手语产生进行探讨，发现位置参数会对手语词汇的识别产生干扰效应，而手形参数则发生促进作用。Baus等使用图片命名对位置、手形及运动参数进行考察，发现位置参数干扰了手语命名，而运动参数和手形参数则促进手语命名。Corina等考察了在手语产生过程中，语音和语义两水平之间不同的时间进程。结果发现，语义干扰效应出现在SOA=-130 ms中，即干扰词出现在图片之前时，才能观察到语义的干扰效应，语音的效应在SOA=-130 ms、0 ms及130 ms均不显著。Baus等指出，当干扰词同时出现或在图片之后出现时，才会出现语音效应，表明在手语产生过程中，语义表征比语音表征更早获得。手语与书面语在加工词汇时，其激活层次是相似的，分别会激活手语语音和语义的信息，但在时间进程上手语产生则具有自己的特点。然而，研究者未从词汇产生的理论层面探讨关于手语产生过程中语义和语音层级的动态进程，手语产生是否符合词汇产生的理论还需进一步探讨。

3.1 手语产生中语义和语音信息的激活

在手语产生中，语音和语义信息得到激活，当SOA=-100 ms和100 ms时，分别出现了语义和语音的干扰效应。手语的语义信息激活时间点较早，在语音信息激活前已开始。Corina等对美国手语产生的研究中发现，语义干扰效应出现在早期的激活进程中（SOA=-130 ms），且未发现明显的语音效应。在本实验中，语义干扰和语音干扰分别出现在SOA=-100 ms及100 ms中，说明与美国手语不同，在中国手语产生过程中出现了语义和语音信息的激活。

在汉语书面语产生的研究中发现，当SOA=0 ms和150 ms条件下，出现了语音促进效应，在SOA=0 ms时出现语义干扰效应。手语产生的时间动态过程与汉语书面语既有相似之处，也有自己的特点。与书面语产生相似的是，在手语产生过程中除了会激活手语的语义信息外，还会激活语音信息。然而，手语的语义信息在手语产生早期（SOA=-100 ms时）已发生，到SOA=100 ms时，干扰词汇比目标词汇出现时间更晚，词汇的语义信息已完成激活，进而更加关注语音信息，由此，出现语音干扰效应。这一结果与听觉方式下的词汇加工有类似情况，在较早的SOA中，听觉刺激有充足的时间完成干扰词汇的激活，从而对目标图片的加工带来影响；在较晚的SOA中，干扰词的出现只能提供语音信息，时间不足够提取语义信息，因此在图片命名时并未产生语义效应。由此可见，在手语产生中，会激活语音和语义信息，但语音和语义信息的激活可能有不同的时间进程。这一结果支持了言语产生中的独立两阶段理论。

3.2 手语产生中语音信息的激活特点

本研究表明，语义干扰效应在口语和手语的产生加工模式中普遍存在，但语音效应在不同语言形态中有不同表现。手语中语音效应与书面语不同，没有表现出显著的促进效应，甚至出现阻碍作用，可能是由于手语中各语音参数表现出各自的正向或负向作用所致。手语词由位置、手形、运动3个语音参数的不同排列组合而成。本实验结果显示，语音相关条件下的手语产生受到干扰，主要来自位置语音参数的干扰。在以往关于手语词汇判断、语音启动及图-词干扰任务中发现，位置参数对手语产生的影响，当有共同的位置信息时，手语词命名速度变慢，且产生较多错误。在手语中，位置参数的分布区域密集，同一位置呈现的手语数量较多。手语出现的位置存在不确定性，这时会增加词汇搜索过程中出现的语音信息竞争，耗费更多时间对相同位置的词语进行筛选，以保证手语输出结果的准确。因此，当位置相同的词汇出现时，会出现相互干扰的现象，反应时间增加。相反，手形参数在多数情况下会促进手语加工。Baus等采用图-词干扰范式对不同语音参数进行考察，发现无论对于熟练或是不熟练的手语者来说，手形干扰条件下命名显著快于无关条件。说明对于手语的识别来说，手形可以帮助手语信息的提取。与位置不同的是，手形是分辨不同手语的重要语音参数之一。在本研究中，手形的作用并未凸显，可能由于当SOA=100 ms时，位置的干扰作用大于手形的促进作用，尽管手形的反应时间较无关条件短，但位置的干扰效应较大，手形的促进效应并未达到显著水平。

四、结论

4.1 充分了解手语的语言学功能

在语言学中，手语被视为一种独立的正式的语言。本研究表明，在手语产生过程中激活手语的语音和语义信息，不同阶段激活的手语信息不同。在汉语手语词汇产生过程中具有独特特点。因此，在教育领域中，需要正视手语的语言学功能。听障儿童的语言习得过程中离不开手语的学习，在产生手语的过程中，语义的激活会帮助听障儿童对于词汇和客体知识的理解。

4.2 把握手语特点进行手语教学

与书面语的词汇产生不同的是，手语词汇产生过程中，语义与语音的激活时间是不一样的，语义信息在早期已得到激活，说明手语词汇的语义信息最先得到关注，因此，在教授手语词汇时，需要注重语义教学。此外，在手语产生的后半段，语音信息会干扰手语的产生，特别是位置语音信息会给手语产生带来较大干扰。由此，在手语学习过程中，需要把握手语词汇的位置，防止由于位置的相近产生手语词汇间的干扰。

--END--

本月推荐

人工耳蜗基础知识

全时配戴辅具的三大原则

听障婴幼儿人工耳蜗术后听觉能力发育规律

扫码关注

发现更多精彩

关于我们

《中国听力语言康复科学杂志》是由中国残疾人联合会主管、中国听力语言康复研究中心主办的国家级科技学术期刊（刊号CN11-5138/R），中国科技论文统计源期刊，中国科技核心期刊。本刊聚焦国内外听力语言康复科学的行业发展趋势、前沿技术研究、康复理念更新、实用技能推广、听辅产品介绍、政策研究等诸多领域，为社会各界提供最权威的听力语言科学资讯、最专业的学术研究和交流、最有影响力的事业宣传，营造听力语言康复科学高质量发展的学术环境和舆论环境。

👉欢迎专家学者踊跃投稿

投稿网址：www.chsr.cn

投稿联系人：蒋春 13520117301（同微信号）

👉欢迎社会各界广泛合作

合作范围：学术研究/专业培训/新媒体推广/期刊广告投放/技术服务

合作伙伴：各级残联，各级各类康复机构，医疗卫生、妇幼保健单位，开展听力语言障碍领域研究的科研院所，开展康复医疗、康复教育、特殊教育的高等院校、职业院校，相关企业单位，各类助残服务的社会组织。

广告及新媒体推广内容：各省残疾人救助政策，残疾人工作经验和成果，听力语言康复科学学术论文解析，新技术、新产品，残疾人康复机构特色介绍，残疾人康复机构特色介绍，优秀残疾人工作者事迹宣传，家长康复经验分享和儿童风采展示。

合作联系人：李瑶 13001238633（同微信号)

http://mp.weixin.qq.com/s?__biz=MzA3OTM5NDUyNw==&mid=2649779362&idx=1&sn=ba29f94ac9df510ded5467fb37f32190

中国听力语言康复科学杂志

发布听力语言康复学科的新理念、新技术、新方法及科技动态，杂志内容导读等，为听力语言康复事业搭建良好的信息平台

最新文章

科利耳®一体式人工耳蜗声音处理器Kanso™ 2：智能辨声，直连精彩

2024年广西省听力语言康复技术与科研能力培训班成功举办

如何引导听障儿童自己配戴助听设备

科利耳®Nucleus™ Kanso™ 2一体式声音处理器在中国上市——智能聆听，从未如此简单

第四届多模态儿童语言沟通研究与实践论坛暨全国儿童语言沟通研究与实践共同体大会成功举办

本月推荐

ADOPT模式训练在学龄孤独症谱系障碍儿童中的临床效果

《漫话耳蜗》—《人工耳蜗：重启有声世界的魔法钥匙》

数字化认知干预对孤独症谱系障碍儿童认知能力的改善效果

不同噪声条件下健听人群水平声源定位能力差异研究

两种刺激声坐姿下颈部及眼部前庭诱发肌源性电位特征分析

家长如何运用听觉口语法训练孩子的听觉能力

老年性聋患者认知功能初探

宽频声导抗的应用进展

融合与特殊教育环境下听障学生语言与沟通能力对比研究

手语产生中语音、语义信息的加工机制

言语自然度的研究进展

优势赋能，壁垒尽除：创美助力听障人士就业新飞跃

游戏式康复在儿童言语语言障碍中的研究进展

老年听力损失患者配戴助听器满意度调查及其影响因素分析

本月推荐

欢迎订阅《中国听力语言康复科学杂志》2024年第5期

中老年听障患者初次验配国产助听器效果评价

欢迎订阅《中国听力语言康复科学杂志》2024年增刊(家长版)

听得见，说不清、说不对怎么办？——听觉辨别及其神经机制

语前聋儿童人工耳蜗使用者语言发育能力研究

Mondini畸形婴幼儿人工耳蜗术后听觉能力长期随访研究

预告 | 本刊将于20日举办电子辑刊线上说明会，欢迎大家参会了解！

人工耳蜗基础知识

听障婴幼儿人工耳蜗术后听觉能力发育规律

专家笔谈 | 听障儿童听觉言语能力问卷评估

全时配戴辅具的三大原则

借助专业力量让孩子站得更高，走得更远

构建临床医学前庭技术检查服务体系对临床诊疗的重要性

本月推荐

儿童先天性中耳胆脂瘤早期识别及微创诊疗

助听器的种类及选择原则

新冠病毒感染临床痊愈后人工耳蜗植入手术局部皮瓣炎性反应的变化

助听器的科学选配与养护

人工耳蜗植入儿童皮层听觉诱发电位与听觉言语能力的相关性研究

耳蜗骨化患者人工耳蜗植入研究进展

欢迎订阅《中国听力语言康复科学杂志》2024年增刊(家长版)

基于语料库的聋生汉语“是”字句偏误分析

治疗性聆听联合作业治疗对孤独症谱系障碍儿童的影响

郑重声明

基于语料库的聋生汉语“有”字句偏误分析

基于语料库的聋生“是……的”句（二）偏误分析

人工耳蜗植入术后认知功能的神经心理学评估方法

Baha® Attract系统在慢性中耳炎导致听力损失患者的应用研究受试者招募

基于语料库的聋生兼语句偏误分析

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉