优文共赏 | 李雯露:《儿童认知理论下的多模态互动式绘本设计研究》

文摘   文化   2024-10-24 16:45   河北  

点击蓝字 关注我们
【 2024年第6卷第2期 】

儿童认知理论下的
多模态互动式绘本设计研究

李雯露,何佳 
南京林业大学,南京210037

摘要:数字信息技术的快速发展,为传统儿童绘本提供了新的发展机遇,基于对儿童认知的研究,创新儿童绘本中的互动设计。结合皮亚杰提出的儿童认知理论,以7~12岁儿童受众群体为主展开研究,分析该阶段儿童在自我意识、思维方式和思考能力层面出现的去自我中心性、守恒性与可逆性的特点,提出绘本设计中多符号融合的视觉设计、多模态应用的行为设计与多娱乐互动的衍生设计三个方面的应用效果与优势。通过《玩味二十四节气》设计实践,从视觉元素、行为元素和衍生元素三个方面出发,运用其设计方法,实现提高儿童认知、激发儿童探索与强化知行合一的阅读需求,以此为未来科普类互动式儿童绘本的设计与发展提供一定的策略,同时也为设计师创造多元的互动设计提供实践参考。 


关键词:认知理论;多模态;互动式;儿童绘本 

Multimodal Interactive Picture Book Design Based on Children's Cognitive Theory    

LI Wenlu, HE Jia 
Nanjing Forestry University, Nanjing 210037, China

Abstract: The rapid development of digital information technology provides new opportunities for the development of traditional children's picture books. Based on the research of children's cognition, the interactive design in children's picture books is innovated. Based on Piaget's cognitive theory of children, the research is carried out around the children aged 7- 12 years old, and the characteristics of des-egocentricity, conservation and reversibility of children at this stage in terms of self-awareness, thinking mode and thinking ability are analyzed. The application effects and advantages of multi-symbol integrated visual design, multimodal application behavior design and multi-entertainment interactive derivative design in picture book design are proposed. Through the design practice of Playing with the 24 Solar Terms, from the three aspects of visual elements, behavioral elements and derivative elements, the design method is applied to achieve the reading needs of improving children's cognition, stimulating children's exploration and strengthening the integration of knowledge and action, so as to provide certain strategies for the design and development of interactive children's picture books of science and technology in the future. At the same time, it also provides practical reference for designers to create diversified interactive design. 

Key words: cognitive theory; multimodal; interactive; children's picture books

  当前,我国对儿童阅读的重视程度逐渐增加,绘本的种类也呈多样化发展趋势,互动式绘本备受儿童和家长的喜爱[1]。传统的互动式绘本多以弹出式插图、折叠页面、滑动、拉杆、翻转等形式增强趣味,激发儿童探索欲和好奇心。然而,通过市场调研发现互动式绘本仍存在一些问题,如绘本设计难度较大,制作周期较长与成本较高等。随着信息技术的不断发展,互动式儿童绘本继续不断创新,并逐渐呈现出“多模态”特点, “多模态”的概念源自以系统功能语言学为基础的社会符号学理论,本意指理解不同感官通道之间的交互作用,以及如何利用这些通道和社会文化资源来表征和交流意义[2]。本文引申其概念,特指当下媒介融合趋势下绘本设计的一种创新趋势,即:基于传统绘本的纸质样态,以文字、色彩、图像、视频等多种信息载体综合呈现文本内容,实现儿童阅读中的互动行为。同时以科普类绘本《玩味二十四节气》的设计实践为例,旨在探讨“多模态”互动绘本的优势,即尝试在解决传统互动绘本存在问题的基础上,探索如何通过多感官和互动体验激发儿童的兴趣和参与度,提供既富有趣味性又具有教育性质的阅读体验,以适应不同年龄层次的儿童,并鼓励其以多样化的方式互动并理解故事情节,以期为未来的儿童科普互动绘本设计提供有益的参考。

儿童
一、儿童互动式绘本的优势与不足



Advantages and disadvantages of interactive picture books for children

   最早的儿童互动式绘本以纸媒为主,图文结合的设计形式,主观地向儿童呈现图像文本信息。如今,绘本设计门类呈多元化发展,有立体书、异形书、有声书、文创+阅读等多形态创新设计,其目的旨在增强儿童在阅读过程中的互动体验[3]。虽然信息技术的发展在一定程度上使传统互动绘本面临数字阅读的挑战,但因其特有的优势仍具有广阔的市场价值和发展空间。

(一)儿童互动绘本的优势

  在信息时代,儿童互动绘本仍具有显著优势。其一,儿童互动式绘本保留传统阅读触感。纸质媒介作为阅读载体的基本形态,简单可操作的特点易消解儿童在阅读过程中存在的陌生化现象,儿童基于纸媒可以自主进行记录与补充,感受沉浸式的实物触感。其二,互动式绘本满足儿童精细动作的发展需求。立体场景与撕、贴、拉等小组件的设计手法使传统绘本不再受限于二维平面,增强儿童在阅读参与度的同时,也激发了儿童的阅读兴趣。其三,儿童互动绘本可以实现共享式阅读。一方面,传统绘本信息受纸本空间的限制,故亲子共读的频率随之增高,阅读的过程中家长会主动扩充绘本文字信息,以积极的谈话与互动来推动阅读的进程;另一方面,儿童还可以与同伴进行合作、对话、分享等阅读方式发散思维,增强自身语言与人际交流方面的灵活性,满足其亲情、友情等交际需求。

(二)儿童互动绘本的不足

  当前,虽然已有不少绘本创作者在插画艺术、绘本叙事、交互创意方面增强了意识并有所改进,但仍存在不足:其一,部分儿童绘本存在信息形态单一的现象。随着信息技术的发展,媒介的丰富与多元虽然可以在一定程度上对儿童的认知进行开发与补充,但仍有绘本以简单的文字图形符号向儿童传递信息,孤立的信息获取渠道不仅难以营造学习氛围,同时还不易于儿童多元信息框架的建构;其二,儿童绘本的互动设计创新度低,呈同质化发展趋向。由于儿童互动式绘本设计过程繁琐且成本较高,当下市场绘本的互动形式多数以翻折为主,单一的设计形式没有最大化地呈现纸媒优势,对儿童各感官的开发存在一定的影响;其三,本末倒置,为互动而设计,过多的互动设计不利于儿童对文本信息的获取与思考,同时还增加其阅读的负担,造成信息过载与信息分散的现象,因此要合理设计儿童互动形态,在满足儿童认知的基础上,创新互动形式提升儿童阅读体验感,如表1所示。




认知
二、基于儿童认知理论的多模态互动绘本设计重点



The design focus of multimodal interactive picture books based on children's cognitive theory


  鉴于前文对目前绘本存在的不足进行了阐述,本部分将结合儿童认知理论,分析儿童认知特点,旨在找出合理设计科普类绘本的信息表达和互动方式。根据瑞士心理学家皮亚杰的认知发展理论,儿童的认知发展可分为四个阶段,本文的主要研究对象是年龄在7~ 12岁的儿童,也就是具体运算阶段[4]。该阶段中,儿童的大脑逐渐成熟,语言组织能力不断提高,对图形和图像的辨识能力也得到了发展,同时,他们的自我意识、思维方式和思考能力等认知行为也发生了显著变化。下文将结合儿童认知,从视觉元素、行为元素与衍生元素三个方面进行具体分析,以确定设计重点。

(一)视觉元素设计

  皮亚杰提出,儿童在自我意识层面呈现去自我中心性的特点,去自我中心性,即儿童随着年龄的发展逐渐摆脱自我中心的状态,反之与自身所处的环境与整体系统之间建立联系[5]。尤其在数字化与人工智能的发展下,儿童绘本对视觉元素的要求也随之增高,仅从某一单独的符号系统出发,难以建立起一个完整全面的意义分析框架,而需要注重符号系统间的语法关系[6]。自我意识的发展有助于绘本设计者构建整体性和系统性的阅读方式,从而鼓励儿童进行自主阅读。其中融合多元符号信息是重要的一点。儿童互动绘本在设计方法上要重视融合文字、图像、色彩、动画、声音等多种符号,将文本信息形成图文共生、视听合一的沉浸效果。因此,绘本设计者应合理分配信息,达到图文相互补充说明,同时又要顺应数字技术的发展,整合信息的多元形态,使二维的文本信息转向图像与音频相结合的三维空间,营造由平面到立体的阅读环境。综上所述,科技赋能的互动设计为儿童提供了沉浸式的阅读空间与多维信息的呈现,便于儿童深度完善认知信息。


  其二是IP视角的介入。对大部分绘本而言,视觉信息通常占据了主要地位,除其吸引儿童阅读的基本功能性与审美性外,还包括其内容的特殊性与故事性。因此,阅读空间也旨在建立较强的内容故事。IP人物的形象一般有故事化IP与形象化IP两大类型,两者兼具拟人化与情感化特征[7],设计者可以通过对屏幕中IP人物的构图、视角、行动轨迹等画面进行转化,结合特定的语境形成故事线索,以第一视角或第三视角的方式,引导儿童代入角色,使儿童与IP角色人物及事件之间形成互动联系,达到沉浸的阅读体验。

(二)行为元素设计

  根据儿童认知理论,儿童在思维方式层面呈现出守恒性思考的特点[8]。守恒性思维即儿童在不受周边环境的影响下,形成对事物本质特征的把握,故该阶段儿童能够进行抽象思考及概括,同时具备高专注力及多元信息处理的能力。皮亚杰提出,儿童在构建知识体系的过程中,对多种信息的处理与接收,除了感官被动接收,同时还有以自我的主动思考,故单一的语言模态已不再是意义创建和表征的唯一手段,而是逐渐由图像、声音、手势等多种媒介组成的交际模式所替代,以多模态的综合协同利用来推动信息传播和阅读体验的升级[9]。


  其一,“纸屏结合”的阅读方式是当下数字化发展的产物,数纸融合旨在以传统纸质媒介为载体,通过扫一扫等交互方式,将视频图像等内容以电子屏幕的呈现形式加以补充,扩展多元获取信息的渠道,尤其在 VR、AR等虚拟现实技术的发展下,虚拟环境的应用将儿童带入文本环境,营造主题的沉浸氛围,开发儿童视觉、听觉等多感官能力,增强阅读中的互动体验。


  其二,信息时代下,多媒介的发展使儿童绘本设计趋于多元,让传统绘本呈现出多媒介的创新设计。高科技、新材料、大数据、全媒体的融合运用更加营造了深度而舒适的阅读环境,以当下市场中有声书、布艺书、积木书等多材料的运用为例,在传统纸媒的基础上融入日常生活中常见的材质,减少儿童阅读过程中存在的陌生化现象,以达到大众化与艺术化的统一,满足儿童多感官的体验,激发视觉、触觉等感官的培养。

(三)衍生元素设计

  首先,儿童在思考能力层面呈现出可逆性特点。可逆性,即儿童能够进行逆向思考并举一反三,奥苏贝尔在其认知结构迁移理论中指出,这一阶段的儿童已经形成了特定的自我认知结构,对事物的认知已经脱离了表象层面,能够对所获信息进行深度思考,在此基础上儿童会进行反思产生新的自我认知与情感体验[10]。根据儿童的认知发展特点,自我情感体验是建立在自我意识之上的成分,儿童会通过反思获得新的情感,包括自我感受、自尊感、自信心、羞耻感、自豪感、内疚感和自我欣赏等[11]。绘本中通过对叙事内容与形式进行分析,采用趣味性的设计环节,传递出具有交流功能的图像信息,将儿童被动接受转变为主动习得,在消解儿童阅读过程中注意力分散现象的同时,也丰富儿童的心理感受。其中,最常见的即是互动游戏的引入。基于儿童心理,游戏环节的介入方便儿童逆向思维与逻辑能力的培养,“游戏中包含多种认知成分,观察、想象、记忆、思维”[12],观察为儿童游戏的前提,想象与记忆在于培养儿童解决问题的能力,而前三种认知成分,又为充分调动儿童的思维能力起到积极作用,通过对游戏中奖励机制等环节的设计,激发儿童探索欲,满足其自我价值的实现。


  其次,趣味性还可体现在文创产品的衍生应用上。应用衍生设计大体可以分为两大类型,一类具有极高的观赏性与收藏价值,旨在达到审美性;另一类有实际功用,满足功能性需求。而通过对科普类绘本的文创衍生设计,可以将绘本故事延伸到真实的生活场景中来,满足儿童物质与精神层面的需求。这不仅有助于营造愉悦的阅读氛围和吸引儿童的阅读兴趣,还实现了将教育与娱乐有机结合的目标,使儿童能够在学习中获得乐趣,在娱乐中获得知识。这种教育方式为儿童提供了理想的学习体验,使其在玩耍与学习之间找到了平衡。


  综上所述,基于儿童在自我意识,思维方式与思考能力三个方面所呈现的特点,设计者在进行科普绘本设计的过程中,应着重构建整体与系统的多维空间,协同满足儿童的多感官体验与多娱乐互动方式,如表2所示。




实践
三、 《玩味二十四节气》多模态互动绘本设计实践



"Fun with the 24 Solar Terms" multimodal interactive picture book design practice

  综合前文对设计重点的总结,笔者在《玩味二十四节气》互动绘本的设计过程中,采用了多形态信息融合、多感官协同和多娱乐互动的设计方式,旨在激发儿童的阅读兴趣并培养其能力。希望这一设计经验能为未来儿童科普类绘本的创作提供一些有益的发展策略和实际参考,具体内容见表3。




(一)视觉元素设计提高儿童认知

  在信息社会环境下,多形态信息融合是多模态互动式绘本设计的手法之一。多形态信息,即信息呈现的多元化。话语领域中意义的构建依赖于各种符号资源的整合,除语言外也扩展到了图像,空间,色彩等多种交际符号[13]。《玩味二十四节气》在整合多形态信息的过程中,体现在以下三点。


  其一,文字信息与图像信息结合是当下绘本设计的主流形式,便于该阶段儿童群体对内容信息的提取与理解。绘本作为以图形符号为主的读物,具有能够被识别并与视觉的心理与思维同构的功能,文字信息的辅助说明使儿童更为清晰和容易地理解绘本内容。《玩味二十四节气》就是以插画设计为主文字信息为辅的艺术表现手法,通过对文字内容中的重点提取,转化为图像信息,便于儿童读者的接收与理解,见图1。


  其二,色彩符号不仅含有装饰性的元素,同时也是情绪和情感化的表达。色彩也作为一种信息形态,潜移默化地向读者传递情感,同时还渲染了故事的氛围,增强沉浸式阅读的体验。设计师可以从和内容相关联的符号中选取颜色,可以是视觉上的联系,也可以是意义上或者情感上的联系,创造出和绘本内容思想相匹配的意境,打造可以触动儿童心灵的视觉氛围,把情感表达推向极致[14]。《玩味二十四节气》春与冬绘本中绿色与粉色主色调的选择,皆结合了色彩心理与其含义,带给儿童温馨的感受。


  其三,IP人物形象作为绘本中贯穿全文的线索,可以帮助儿童在阅读的过程中收集与处理信息。在《玩味二十四节气》中,设计了主人公小女孩的形象,与各节气的特征相结合,采用大小对比的构图形式和写实的表现手法穿插在绘本画面中,主要考虑了人物、场景与相关节气元素的融合,突出故事感,儿童可以将自身带入,与主人公小女孩一起感受不同节气的风俗习惯,IP人物在起到引导阅读的同时,也向儿童科普了节气知识,见图2。


  综上所述,通过多形态信息的融合,将图文信息,色彩信息与IP人物形象互相补充,增强儿童与读物间的互动交流,为儿童提供完整丰富的阅读体系,帮助儿童构建相关知识框架,提升儿童对信息的处理能力,增强其情感表达有积极的指导作用,进而丰富个体有关客体的信息和经验[15]。



图1 《玩味二十四节气》内页节选






(二)行为元素设计激发儿童探索

   儿童绘本逐渐朝着融入互动性更强的设计趋势发展,以此来培养儿童的多感官协调能力。如儿童通过看画面信息、辅助文字说明、动手实践来与绘本建立连接,培养其视觉、触觉等感官的协调能力。


  首先,通过将二维平面与三维立体的设计相结合,以撕、贴、绘等方式增强互动阅读的体验感。在书籍设计的部分考虑实现儿童自行制作小插件,由于绘本的互动性不仅需要书籍本身内容之间有连续性,同时儿童的加入更能体现书籍互动的价值,故本设计旨在引导其参与到绘本的设计过程中。以大寒节气的风俗习惯为例(见图3),其中剪窗花页面的设计上大部分留白,儿童可以选择将在立春节气剪纸手作活动中所创作的小剪纸粘贴到此页,不仅给手作提供可存放的空间,同时也提高了大寒节气剪窗花页面的丰富度和完整性。以小寒节气的相关手作活动“绣球灯笼”为例,书中提供了制作的流程,儿童可以根据书中内容进行灯笼的制作,并将最终的设计成品粘贴在书中的红点处,最终呈现的效果如图4所示,在页面翻开之后会呈现立体灯笼的效果,通过儿童自行组装和动手的设计,拉近了其与书之间的距离,儿童在无形中也成为了书籍设计师,完成了一本属于自身独一无二的书籍设计,不仅在一定程度上提高了本书籍的收藏价值,同时也加强了互动效果,通过集成和上下文功能美的体验来获得快感和乐趣。


  其次,绘本内页的留白处留给儿童创作,培养创造与审美能力。书籍中大面积留白,给整体画面和阅读留有呼吸的空间,而在这些地方儿童可以适当批注与表达自己的感受,以此看来,该绘本不仅有文字科普,同时也可以记录笔记,一书多用。画面中留白的部分留给儿童自由涂鸦,通过自行想象与动手绘制,完善画面效果,开拓其创造思维,见图5。以春分节气风俗习惯的竖蛋为例,鸡蛋的留白部分儿童可以通过彩绘的方式将画面补充完整;春分节气的主图部分留有柳枝供读者画上柳叶丰富效果;大寒节气画灯笼等。


  最后,受信息技术发展的影响,儿童绘本的设计不局限于纸本媒介,而向着数纸结合方向发展,此类设计可丰富该儿童群体获取信息的渠道,帮助其建立完整的知识体系。大多数绘本基于传统平面加入二维码,通过扫一扫的方式,获得三维立体的环绕效果,突破二维平面,画面延展到三维空间与实际活动中,融合多种表现手法,以动态有声、“纸屏阅读”等多形态的信息丰富了儿童阅读。《玩味二十四节气》基于沙龙活动“二十四节气的色味玩”,故不仅在其中加入了沙龙活动的制作视频,同时还将多样的手作设计作为信息的传递方式,向读者介绍二十四节气的内涵与相关活动,见图 6。通过此类设计,便于培养儿童的自主阅读能力,激发其独立思考与学习,完善认知。


  多感官协同的阅读方式给儿童提供了广阔的阅读平台,能够激发其创造与解决问题的能力。读物在满足功能性需求的同时,也为儿童审美性的培养奠定了基础,故事角色的引导与动手实践的应用,不仅激发了该儿童群体的行动欲,同时也提升了其专注力与多感官协作能力。











(三)衍生元素设计强化知行合一

  娱乐活动多数包含乐趣和兴趣,某件事或物在让人看到或使用过程中,能够使人产生积极的情绪,激发继续接触和探索的欲望。由于儿童思维的片面性和表象性,在儿童艺术作品创作中,常常使用趣味性设计吸引儿童,从而增加艺术作品与儿童的接触时间[4]。《玩味二十四节气》绘本中的手作流程图页面的设计,旨在通过动手的方式来创作手工艺品,手作流程页面设计的融入,在一定程度上加强了绘本的互动性。在社会快节奏的发展下,电子信息技术的发展使传统醇厚的手工艺作品受到了冲击,市场内的产品逐渐趋于同质化,本设计可以唤醒儿童对传统文化的热爱,通过阅读和学习亲自创作相关的节气作品,其成品充满了独特性与儿童创作的丰富情感。手作产品的设计,其一培养了儿童的动手能力,同时也激发其阅读兴趣;其二丰富了儿童的生活,发展其创造能力;其三个性化的设计方式,为手工艺品未来的发展奠定了基础。由此可见,手作设计品的价值不同于简单衍生品的设计,更有收藏意义,见图7。


  寓教于乐的设计方式,使儿童融入阅读的环境中,以儿童爱玩的本性为前提,激发其动手实践能力,融合内容与形式的趣味活动,不仅增强儿童自主学习的积极性,同时也帮助儿童在实践中获取多元知识。如果阅读方式符合儿童的认知心理,他们就更能在精神、心灵、感受上全身心地投入到融媒介的沉浸式阅读中[16]。




结语
四、结语



The conclusion


  对儿童认知进行充分研究,形成设计重点,旨在为儿童多模态互动式绘本设计提供创新思路。以《玩味二十四节气》为主题的绘本设计,是将科普性书籍与绘本方式结合在一起的设计方式,大量的节气文化信息,配以插画辅助说明,同时加入互动元素,在保证整体页面充满艺术性的前提下,满足儿童对书籍信息的阅读需求,同时也旨在实现通过赏析的方式加深阅读印象。当下正是传统互动绘本的转型时期,设计师应不断分析儿童的认知与心理需求,发挥传统阅读的优势,实现纸媒的持续发展,创造出融合多媒介的,易于儿童阅读理解的互动、沉浸式绘本,在信息基本满足的同时,培养儿童多方面的能力。

今天因为你的分享,让我元气满满!



END



工业 工程 设计

官方网站:designresearchj.com

邮箱:designresearch@126.com

编辑部地址:重庆市九龙坡区渝州路33号

邮编:400039    

电话:023-68792836

长按

关注


扫一扫,观看视频

设计研究DESIGN
《工业 工程 设计》创刊于2019年,由中国兵器装备集团有限公司主管,西南技术工程研究所主办。主要报道高等院校、科研院所的设计教育思想、方法与实践成果,设计行业的研创成果。
 最新文章