扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

时间:2020-11-13

    来源:程教育杂志

1. 引言
扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

扩展现实(Extended Reality,XR)是将物理环境与虚拟环境融合在一起,或提供完全身临其境般的虚拟体验环境的综合术语。XR能将实体对象成像为逼真的三维图像,作为虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)与混合现实(Mixed Reality,MR)技术的综合性展现,在5G时代具有广阔的应用前景。正如《地平线2020年报告:教与学版》(2020 EDUCAUSE Horizon ReportTM Teaching and Learning Edition)所指出的,高等教育正在课程中积极地尝试使用XR技术,尽管存在着设备成本高昂、资源开发过程复杂等障碍,但XR作为学习工具的应用,潜力巨大。 

从国内来看,近年来,教育部及各级政府先后出台多项文件与政策,积极引导和鼓励虚拟现实技术应用于教育。2019年6月,教育部发布《关于职业院校专业人才培养方案制订与实施工作的指导意见》,提出要全面提升人工智能、虚拟现实等现代信息技术在教育、教学中广泛应用。2019年,江西省教育厅、天津市网络安全和信息化委员会、河南省教育厅等也先后印发通知,提出要改造传统教室,创新VR课堂教学,引导高校建设并使用好一批VR教室与虚拟仿真实验室,加强虚拟教学环境的设计开发,创设虚拟情境教学新模式与虚实结合的学习环境。在产业支撑方面,2020 Qualcomm XR生态合作伙伴大会近日在江西南昌开幕。Qualcomm(高通)携手中国电信、Pico、影创科技、爱奇艺智能、3Glasses、大朋VR等众多生态伙伴,共同推动全球扩展现实产业的应用与发展,这为XR教育应用提供了厚实的基础。 

从国际领域来审视,沉浸式学习研究网络(Immersive Learning Research Network,iLRN)作为由开发人员、教育者和沉浸式学习的专业研究人员所组成的国际性组织,一直致力于开发基于虚拟现实、增强现实及扩展现实的沉浸式学习新理论、新技术和新应用。iLRN自2014年成立以来,已分别在美国、英国、葡萄牙、捷克、澳大利亚等国召开多个主题的国际会议,业已成为全球在研究沉浸式学习、扩展现实教育应用等方面,具有重要国际影响力的学术组织和会议平台。iLRN的相关研究指出:有效的沉浸式学习体验是使用多种技术、在多种媒体中创建的,并采用了涵盖许多学科的丰富知识,包括但不限于计算机科学、用户体验和媒体设计、学习科学、体系结构、游戏开发、人工智能、生物学和医学等。沉浸式学习和培训,目前已存在于与之相关的数千个学科和职业领域。

近年来,iLRN通过对多学科领域沉浸式学习语境、实例的分析,力图为全球学习者创造更有效、更生动的沉浸式学习体验。iLRN 2020会议6月21至25日在线召开,会议使用了专门的扩展现实会议平台,让参会者在虚拟会场中漫步、做学术汇报和提问交流,仿佛身临其境[1]。本文选择iLRN 2020会议所呈现的XR教育应用方面的实践探索,作为主要案例与资料进行分析,以探究当前国际领域XR支撑沉浸式学习的主要技术路径和应用模式,从而为国内教育领域有效把握与应用XR,提供前瞻性的借鉴与参考信息。

2. 虚拟现实的发展历程、层次划分及扩展现实(XR)概念的形成

扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

按照赵沁平院士在2009年对虚拟现实的定义,虚拟现实是以计算机技术为核心,结合相关科学技术,在视、听、触感等方面生成与一定范围真实环境高度相似的数字化环境,用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响,可以产生亲临真实环境般的感受和体验[2]。2013年,著名的虚拟现实专家史蒂夫·布赖森(Steve Bryson)则将虚拟现实定义为:“是计算机技术的使用,它创造了一个互动的三维世界效果,其中的物体具有空间感”[3]。

(一)虚拟现实的发展历程及主要特征

虚拟现实技术的发展,大致经历了四个阶段:第一阶段是早期探索阶段。在20世纪70年代以前,经历了长期的对虚拟现实思想的探索及对早期虚拟现实系统的设计。比如,1962年Morton Heilig发明了全传感仿真器,这个设备结合了35毫米相机拍摄的照片与3D摄影技术,体验者可坐在椅子上把头探进去,通过三面屏来感知、形成空间感,从而获取近似虚拟现实的体验。第二阶段是萌芽与初试阶段。在这一阶段的1968年,世界上最早的计算机图形驱动头盔显示器HMD和头部位置跟踪系统被开发出来,成为虚拟现实技术发展史上一个重要的里程碑。第三阶段是进入到20世纪80年代以后,虚拟现实的概念、理论体系相继诞生。1984年,美国国家航空航天局的“虚拟行星探测实验室”,开发出了用于火星探测的虚拟环境视觉显示器。由Krueger设计的VIDEOPLACE系统,可使参与者的图像投影能实时地响应参与者的活动。第四阶段是逐步完善和应用阶段。虚拟现实技术逐渐走向航空、军事、医学等领域,虚拟军事演习成为重要的军事训练手段,虚拟建筑环境实时漫游等系统在旅游、建筑设计中被广泛采用。其发展历程,具体如表1所示。

(二)虚拟现实的层次划分及扩展现实概念诞生

1. 虚拟现实的三个层次

虚拟现实其本质在于为体验者创设一个模拟的世界,这个世界可以与现实世界相似或者完全不同,参与者可以浏览这个模拟世界中的对象,也可以与之互动。但在观看、触摸、嗅闻以及操作这些对象的过程中,参与者对这些对象体验的真实性却差异巨大。(1)作为较为初级的、也是在虚拟现实发展史上占比较多的一种体验层次,被称为桌面式虚拟现实,或被称为窗口仿真,界面交互的特征比较明显,沉浸性也很弱,但由于成本低廉而得到广泛应用。(2)第二层次是增强式虚拟现实,主要是为戴上立体眼镜的人便于观察虚拟环境,性能介于桌面式VR与沉浸式VR两者之间,实现了在一些被称为桌面虚拟现实的系统中,对桌面现实和增强现实都能应用,使得用户在与虚拟场景进行交互操作的同时,能将虚拟交互体验以增强现实的方式投影到其他3D/2D显示设备中[4]。(3)第三层次是沉浸式虚拟现实(ImmersiveVirtualReality),实现的主要方式是戴上特制的头盔显示器、数据手套以及身体部位跟踪器,通过视觉、听觉、触觉甚至嗅觉和味觉,可在虚拟场景中进行逼真的体验或互动。

2. 融合真实与虚拟所形成的增强现实(AR)

在虚拟现实基础技术成熟并能初步构建虚拟现实系统之后,人们开始大力提升虚拟现实的逼真度和人机交互的丰富性。因此,围绕虚拟现实又先后诞生了AR、MR直至XR等概念。虚拟现实技术虽然为人们打造了一个完全隔绝外界物理世界的沉浸式空间,但长时间处在这一环境中,也会让身体产生某些不适感,容易使人迷失在虚实空间的错乱中,个人的自由度也受设备的限制。AR技术是在VR的基础上发展而来,是叠加或融合到用户所看到的真实世界中的技术,可用来模拟对象,让学习者在现实环境中看到虚拟生成的模型对象[5]。即增强现实是被虚拟信息增强了的现实,增强现实对现实世界信息的捕捉走向多模态化。VR阶段主要是对视听信息的呈现,而AR把视听之外的味觉、嗅觉、触觉信息也糅合到用户体验中,模拟仿真度进一步增强。所以说,AR能够提供真实环境的互动体验,真实与虚拟的组合、实时交互、真实与虚拟的三维登记(Three Dimension Registration),成为AR的三个典型特征。AR把真实的环境和虚拟的物体,实时地叠加到了同一个画面或空间并同时存在,带给人们更加自然的虚实融合体验。

3. 融合VR和AR的混合现实(MR)

VR和AR各自还没有走到极致,就开始融合——混合现实(MR)产生。MR是将真实世界和虚拟世界混合在一起,产生新的可视化环境,环境中同时包含了物理实体与虚拟信息。AR所创造的虚拟物体,是可以明显看出是虚拟的,而MR设备直接向视网膜投射整个四维光场,用户看到的虚拟物体和真实物体几乎无法区分。所以也有人说,MR是AR的进一步增强版。比如,在2018年度获得美国航空航天局年度软件奖的OnSight,即是一款成功的MR系统。因为科学家很难通过火星的2D图像来可视化其环境,OnSight则使用了Microsoft HoloLens混合现实耳机,使用来自NASA好奇号流动站的图像来创建沉浸式3D地形模型,允许科学家、工程师甚至公众体验在火星上“行走”的感觉,使用户能够“真实体验”由机器人在火星上漫游时的实际沙丘和山谷[6]。 

4. 营造全新沉浸感的扩展现实(XR)

扩展现实(XR)在营造沉浸感方面完全超越了VR、AR和MR,使用户忘却怀疑并完全沉浸于人为所创建的环境中,又能使用户借助XR技术将虚拟数字对象叠加到现实世界。同时,它也将物理世界的物件引入到虚拟世界中[7],本质上也是通过计算机技术和可穿戴设备等,产生的一个真实与虚拟组合的、人机交互的环境,它是在MR基础上的进一步发展。当前阶段的扩展现实,已能应用精确、高效及高性价比的感应器,在输入阶段就能够捕捉并识别人体数据和环境数据,即XR已开始应用多种感应器协同工作,以提高识别精度。换言之,XR技术实现了视觉、听觉、触觉、味觉及嗅觉的五感实时反馈,为用户提供高情境化的真实感官体验。

 但在学术界与商业领域,对扩展现实还有另外一种解读。如,高通公司2018年10月发布的《扩展现实的移动未来》(The Mobile Future of Extended Reality)中,把扩展现实定义为下一个移动计算平台[8]。iLRN在2020年度会议的总结报告中,则把VR、AR、MR和其它相关技术统称为XR[9]。《地平线2020年报告:教与学版》也用XR指代VR、AR、MR和Haptic(触觉)等各种技术。最近,维基百科(Wikipedia)使用了与iLRN相似的对XR的定义:扩展现实是一个术语,指的是由计算机技术和可穿戴设备生成的所有真实和虚拟组合环境以及人机交互,其中“X”表示任何当前或将来的空间计算技术的变量[10]。从这个意义上而言,扩展现实包括了虚拟现实、增强现实、混合现实等多种形式。所以,为了避免概念混淆,XR可被看作是一个总称式的术语。按此理解的XR,可以分为多个层次,包括从仅是简单二维或三维观看的虚拟世界,到能用视觉、听觉、触觉、味觉和嗅觉五感互动的沉浸式世界。

 

3. XR营造沉浸式学习环境的资源支撑与实施技术

扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

沉浸式学习(Immersive Learning)是使用模拟或人工环境进行学习的过程,该环境使学习者完全沉浸于学习过程中,并且感觉就像体验了真实的学习环境。虚拟现实技术的飞速发展,极大程度地增加了沉浸式学习体验中的沉浸度。当技术发展至扩展现实阶段,沉浸式学习是指通过使用虚拟现实、增强现实、混合现实及扩展现实等各类技术,为学习者营造一种真实感极强并且无干扰的新环境,在这个环境中,学习者可与各种对象进行复杂或多元的交互。

(一)沉浸式学习的特征

斯坦福大学“虚拟人类互动实验室”(Virtual Human Interaction Lab)的创始人杰里米·拜伦森(Jeremy Bailenson)基于十余年的神经科学研究发现:良好的虚拟现实体验,能有效提高学习者的参与度、知识的记忆水平及自我效能感[11]。Freitas和Neumann概括了沉浸式学习环境所表现出的三个典型特征:情境性(Simulative)、认知性(Cognitive)和关联性(Associate)[12]。情境性是指学习者在沉浸式学习环境中的活动映射于某个实践性社区;认知性是指学习者的活动建立在经验、反思、抽象和实验的基础上;关联性意味着学习者能获得即时反馈。总体而言,沉浸式学习环境能较好地激发学习者的主动性,沉浸式学习是数字化学习的未来,沉浸式学习也能够创建与现实世界无法区分的虚拟世界。 

目前,在为学习者提供沉浸式学习体验的众多方法之中,模拟、基于游戏的学习、扩展现实技术和360度视频这四种方法,较为常见。这四种方法都为学习者进行如图1所示(该图源自Kolb模型[13])的探究式学习,提供了环境支撑。既可为学习提供场景、提供互动式故事讲述;也可以开展复杂的决策模拟,并能够为学习者提供虚拟空间内的社交与协作。

首先,沉浸式学习环境为学习者创建了真实的或虚实融合的情境,在其间,学习者可以有操作、交互、参与的具体经验,由此产生观察与反思,从而对某方面知识或技能形成抽象性概念;然后,再把这些概念的理解应用于新的情境,以检验或测试所建构的概念模型的正误,从而做出相应的修正。但需注意的是,沉浸式学习与体验式学习又具有一定的差异:沉浸式学习最重要的是利用了虚拟现实、增强现实和移动设备等技术;而体验式学习并不需要这些技术,并且沉浸式学习更专注于打造无干扰的世界和以学习者为中心的学习模式。

(二)沉浸式学习的资源和技术支撑

一方面,XR在营造沉浸感上,比既往的虚拟现实技术更进一步;另一方面,作为技术内涵非常广泛的概念,XR又包含了能够创造沉浸式和身临其境体验的所有技术。

1.灵活开放的XR资源

能否提供灵活和开放的资源,一直是学界长期关注的问题。XR在共享内容资源和软件开发方面形成新的机遇,行业培训和整个教育界都将受益于为完整的XR环境和VR/AR资源而开放的存储库。因为它们是模块化、可重用和可扩展的。比如,杜克大学艺术、艺术史和视觉研究系的“数字博物馆实验室”,以挖掘信息为目的,与古典艺术、计算机科学和脑科学研究合作,致力于模拟过去而不是重建过去。由于资源充沛,学生利用这些资源,可在虚拟博物馆课程中创建自己的虚拟博物馆,将由于种种原因而损失的东西可视化,其中用到了增强现实、沉浸式虚拟现实、3D建模、WebGIS和整体可视化等各种技术[14]。

2.触觉反馈技术

触觉反馈(Factile Feedback或Haptic)是近年来重要的人机界面设计元素,通过触觉界面可快速读取信息,也能直观地表达出人的情绪信息。触觉一词,来自希腊语动词haptesthai,意为“接触或触摸”,触觉技术为计算机增加了触摸和感觉的意识或体验,可以通过向用户施加力、振动或运动,来使用户感觉到动作、阻力[15]。当传感器与人体皮肤接触时,即具有触摸感,并成为传感器所获得的信息。所以,在触觉反馈技术中,触觉传感器(Force Touch Sensor)是一个非常重要的部件,触觉反馈系统通常由触摸产生的压力、压力的识别、识别后的回馈指令,由这三个大的部分所组成。

 触觉技术中的动觉反馈,与通过感觉器官对身体各部位的位置和运动的认识有关,它依赖于传感器在关节和肌肉中所获取的信息,使人感受到通过受体与身体接触时所施加的力。触觉设备包含主动触觉设备和被动触觉设备两种类型。由计算机控制的通过电子、电气或机械方式,向用户提供触觉或力反馈的设备,被称为主动触觉设备。这些设备配备有产生力的反馈机制,比如,Phantom、Cybergrasp等。相对而言,被动触觉设备是人为控制的,这些设备配备有致动器,该致动器仅根据用户的运动产生动作,例如,手套、可穿戴设备和外骨骼等。触觉反馈技术等(还有面部情感捕捉)在游戏行业和医疗行业获得了大量应用,商业数字游戏(如,PS4、Xbox one或3A级PC游戏)中广泛使用该技术。一些移动应用程序开发商,已将触觉反馈技术应用于移动游戏中,创造逼真的震撼感;医疗应用程序使用为医学模拟而设计的Haptic界面,支撑远程手术和虚拟医学培训。

3.手部跟踪与手势识别技术

手部跟踪(Hand Tracking)一直被认为是一种交互技术,能够提供更自然、更具创造性和更直观的方法来与计算机进行通信,手部跟踪系统使用人的手掌和手指作为输入。手部跟踪与手势识别(Gesture Recognition)这两种方法都允许用户用手与计算机交互,而不需要触摸控制器或设备。在某些情况下,手跟踪或手势识别系统使用标记、手套或传感器,在大多数情况下,这两类系统的应用都不需要用户触摸任何东西。但手势识别系统和手势跟踪系统有一个根本的区别:手势识别系统识别特定的手势,并且只有这些手势,例如,使用竖起大拇指的手势来表示“确定”,或者使用放平手来表示“停止”。而基于手势的系统通常仅限于特定数量的手势,对于数量有限的手势,手势系统通常会相当准确地识别它们。当前,一般借助于体感控制器和深度相机等方法进行手势跟踪[16]。手部跟踪在增强现实中非常有用,因为它提供了易于使用的自然用户界面与数字信息交互,它通常需要特殊的深度传感器和独立处理器等昂贵的技术,但现在这些技术的价格正在大幅降低。 

4.360度视频和沉浸式互动教学视频

视频是当前使用频繁、最吸引人的内容形式,这就是为什么如今许多数字化学习课程都基于视频的原因。尽管传统视频能在计算机和移动设备上观看,但它们却无法与360度视频所具有的身临其境般学习体验相提并论。如果想让学习者全面了解地理位置和某个建筑物,那么,360度视频尤为有用。360度视频比需要高端耳机的完整VR体验更容易共享,这些视频可在线发布,并可通过独立的VR耳机(例如,Oculus Go和Lenovo Mirage Solo),与用户智能手机配对的Google Cardboard进行观看。 360度视频的创建,通常需要360度摄像头、三脚架、照明、麦克风等设备,完成拍摄后,必须编辑视频才能将其转换为合适的视频学习模块或课程,常用的编辑软件有Adobe Premiere Pro,Final Cut Pro或VSDC等。为了给学习者提供身临其境般的学习体验,必须使用游戏引擎软件,通过向视频中添加3D动画和其他内容,将360度视频转换为交互式、个性化的视频游戏。为了简化360度视频的制作与使用,当前一些集成化平台正在出现,如,Uptale和Near-Life。Uptale提供分数统计、交互统计等功能,大大简化了教学团队创建量身定制的在线和沉浸式学习体验的方法[17]。Near-LifeTM CREATOR则是一种交互式视频创作工具,可让教学开发者设计并开发沉浸式学习场景。Near-LifeTM CREATOR使学习设计师和内容制作者免于对复杂的虚拟现实技术的操作,并将基于场景的学习创建提高到一个新的水平[18]。 

大批量移动应用程序的推出,为扩展现实技术迅速走向普及,提供了坚实的基础。如,谷歌长期运行的Tango项目,最终通过Lenovo Phab2 Pro和即将推出的Asus Zenfone AR进入智能手机,Tango使设备能够识别空间并在室内提供精确的位置信息。苹果公司在6月举行的WWDC开发者大会上,宣布了适用于iOS的ARKit,这是一个易于使用的移动平台,用于为iPhone和iPad开发增强现实体验,开发人员已开始在网络上分享令人印象深刻的AR体验视频。Google最近发布的Cloud Anchor工具,可供开发人员创建多用户体验,Apple新的ARKit将通过其iPhone,提供共享的增强体验。

5.  扩展现实支撑沉浸式学习的应用模式
扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

本次iLRN 2020会议共征集了84篇论文,我们通过对论文的内容分析显示,扩展现实技术可以支撑创建如表2所示的七类沉浸式学习情境。 2基于XR技术创建的七类沉浸式学习情境

(一)虚实融合的混合式学习空间

扩展现实技术支持下的沉浸式学习环境,成为国内外“智慧—智能”学习环境新的发展趋势。在过去的10多年间,数字化校园内建立了各类型的学习空间,从早先的VR到近年来利用XR新开发的沉浸式内容。其中,混合学习空间和XR沉浸式实验室是沉浸式学习环境的重要体现。比如,Roopesh Sitharan的研究团队初步探索了通过以MOOC为中间桥梁,充分利用AR、VR和HOLO的技术潜力,将物理学习空间和虚拟学习空间结合起来,打造了一个全新态的混合学习空间[19]。该项目的目标是创建一个将传统课堂与虚拟环境结合起来的新型混合学习空间。其打造坚持了以下四个原则:(1)创造一个学习空间,让学习者开展创造性活动;(2)通过支持个性化学习体验,将知识转化为行动;(3)通过动手设计和迭代,实现高阶问题的解决;(4)通过为学习提供虚拟空间,克服物理空间的局限性。 

为此,该新型混合学习空间包含被称为Merlin游乐场的物理学习空间和被称为Merlin在线(Online)的虚拟空间,这个虚拟空间是一个可以作为虚拟现实、增强现实和全息空间延伸的cMOOC。图2所示就是融合VR、AR和全息图像(Hologram)设计而成的混合式学习空间。图3中展示了该混合学习空间中不同用户的具体行为,由此帮助学习者使用各种体验技术参与学习。值得一提的是,图3中还显示了这些技术之间的关系和相互作用,以便创建一个更为有效的学习和教学系统。
    (二)基于扩展现实的虚拟实验室

人们一直在努力研究虚拟世界对学习的支撑作用,包括将“第二人生”(Second Life)用于可视化的化学概念。但长期以来这些体验仅限于二维屏幕,与虚拟设备的所有交互都只能通过鼠标和键盘进行。有人通过Wii遥控器将更多的触觉体验与在线化学结合起来;然而,这些实验仍然使用二维显示界面,无法从自由定位的角度显示丰富的流体交互过程。 

加州州立大学圣马科斯分校(California State University San Marcos)为了激发学生学习的积极性[20],设计了基于XR的虚拟实验室,使学生体验在传统学习环境中受到限制或不可能实现的实际操作场景。该研究采用的理论框架是学生动机中的注意、关联、信心和满意度(ARCS)模型。其目的是确定大学生使用XR沉浸式实验室的注意力、满意度、相关性和自信心,从而确定XR沉浸式实验室在多大程度上会改变学生对运动控制和学习课程的认知和学习动机。该研究从该校开设的名为“运动机能学301:运动控制与学习”的高等学区本科课程中,征集了148名参与者,包括大三和其他高年级的学生。在沉浸式实验内容结束后,学生们被要求写一篇反思,回答关于在实验室中使用虚拟实验室的感受;他们还被要求匿名完成凯勒“IMMS动机量表”的在线调查,以评估学生的学习动机情况。来自IMMS调查和学生反思的结果表明,与传统教学方法相比,XR沉浸式实验室提高了学生的学习动机。
    目前,大多数在线化学学习经验都局限于鼠标和键盘的交互作用,缺乏触觉实验反馈。针对未来在线化学教学发展需要,Charles Amador等人提出了一个滴定实验[21],用相应的物理触觉滴定管,将实验室的物理感觉嵌入到基于虚拟现实环境的学习进程当中,以使学生获得更为全面的信息感知。Charles Amador等人研究了如何在完全沉浸式世界中进行触觉交互,以帮助学生更好地理解和掌握关键的化学概念,例如,滴定原理。为此,他们开发了一种酸碱滴定实验,学生可以观察液体相互作用和滴定的颜色变化特性,也可以通过读取虚拟滴定管内液体的弯月面,来确定液体的分配体积。通过3D打印等电子设备,学生还可以控制物理触觉滴定管,并在虚拟现实中操纵相应的虚拟滴定管。实验过程将视觉上令人信服的流体相互作用与触觉滴定管的触觉完美结合起来,能够给学生提供印象深刻的滴定体验,真正给学生提供如戴尔所说的“做的经验”。这种经验和体验都源于基于扩展现实的虚拟实验,让学生感觉到自己在真实实验中的存在:自己操纵滴定管的过程,不再是过去虚拟的二维界面中那样操纵某个按钮或者仅是简单点击鼠标,而是能够“真实”地做出拿取、倾倒等的手势和动作,并获得触觉反馈。

(三)基于扩展现实建构游戏化学习

游戏化学习是伴随着严肃游戏或者教育游戏等发展而产生的新形式,旨在借助游戏媒介或者抽取游戏设计中的元素、方法及技巧等,以提升学习者学习动机,激发其主动或探究学习。应用扩展现实打造沉浸式的游戏环境,不仅增加了学习过程的趣味性,更为重要的是走出了传统的二维界面的体验方式,使学习者(游戏参与者)与环境产生更具有深度、有趣的互动,这为学习者充分体验某些具有特殊、危险或恐惧的情境,提供了可能,也极大程度地拓宽了某些行动不便的学习者感知世界的范围。

 针对在STEM相关领域学习有困难的美国高中生这一人群,Alec Bodzin等人设计并开发了一款沉浸式虚拟现实(iVR)游戏,供学生了解地理位置,并进一步关注他们所在的城市[22]。iVR是在模拟环境中使用VR耳机生成真实图像和声音的交互式体验,以及通过交互来模拟用户在三维虚拟环境中物理存在的手持控制器。使用iVR的人能够在一个人工营造的世界中移动和环顾四周,并诸如在教室环境中与虚拟角色或项目交互,而不会分心。

在这样一个iVR游戏环境中,真实的图像、内容、数据、动画、视频和叙述被结合在一起,从而为学习者提供高度沉浸式的学习体验。iVR技术允许在沉浸式环境中提供此类支持,这为非英语母语者和有行动障碍的人访问STEM相关内容,提供便利的途径。iVR技术使学习者能够体验到别致的地理位置或特殊场景,图4所示就是该游戏设计的概念模型(以下简称iVR学习模型)。

iVR学习模型,侧重于通过iVR游戏体验与参与,感悟并获得游戏化学习的要素。参与可以定义为一个人在任务中的专注、活动和坚持,因此,它与适应性或自我调节学习相关,参与是任务过程中发生的事情,是学习者与任务本身和支持环境的元素相互作用的结果。Delph、Cannady和Shunn曾讨论了参与的三个维度:(1)行为参与,关注的是参与学习活动的人的样子或正在做什么;(2)认知参与,专注于思维过程或注意力导向,能够处理和理解学习任务中的内容;(3)情感投入,包括在游戏活动中体验到的情绪与情绪变化。

iVR的研究者在美国东部的一个城市学校,对54名16-18岁的青少年实施了iVR游戏的实验。研究结果显示:几乎所有的用户(98.1%)对使用虚拟现实游戏持积极态度。学生的体验反馈也指出,他们经历了高度的沉浸感和在场感。此外,学生对在学校环境中使用iVR游戏的学习态度也较好。即基于游戏的iVR学习,通过将学习融入学习者的真实体验中,从而为学习者提供了一种高度沉浸式、即时和个性化的学习体验,使学习者表现出很高的参与度。

(四)扩展现实打造职业培训中的沉浸式学习情境

XR技术将在培训未来劳动力方面,发挥着关键作用。虽然扩展现实技术已经在专业领域获得广泛应用,但显然有必要将其扩大到所有入职领域,包括软技能的培养和多元化培训。Howard和Gutworth进行了一项基于随机对照试验的分析,以确定虚拟现实培训项目在培养社交技能方面的总体有效性[23]。研究表明,虚拟现实培训项目在培养人的社交技能方面的表现,平均优于其他项目。但先前的研究大都侧重于练习运动技能,只有少数研究侧重于学习社会技能以及在特定情况下如何与他人互动。

 Michael和Kickmeier探讨了一个以游戏为基础的虚拟现实训练方案,其在培训软技能、人际关系技巧与陈述性知识相结合领域里的效果。个人面对面(F2F)辅导被认为是培养人际交往能力的黄金标准,也是该领域最常用的专业培训方法。但传统的培训方式通常需要花费比较长的时间,学员非常容易感觉到疲倦和分心,这导致培训效果事倍功半。除此之外,典型的F2F研讨会元素,特别是角色扮演行为,有时会让人感到尴尬或不快。比如,当被要求和其他人(大多数是陌生人)进行角色扮演时,他们可能会感到不舒服。

为此,该研究团队探讨了高沉浸式虚拟现实培训解决方案是否是银行业专业培训的可行方法。高沉浸式虚拟现实培训,通过360度视频高清摄制的银行销售场景,并通过VR头戴式设备,提供沉浸式的技能培训体验,这种培训效率高且职员不会感到尴尬。他们对基于虚拟现实的培训方案和覆盖同一领域的面对面培训进行了比较,共有46名奥地利银行的银行顾问参与了这项研究,其中一组(34名参与者)接受传统的一天面对面现场研讨会(F2F组)的培训,第二组(12名参与者)采用高沉浸式虚拟现实训练游戏(VR组)进行训练,VR组采用360°交互式视频所组成的高沉浸感游戏式VR解决方案进行训练。

在这一虚拟现实的体验中,学员可以观察到银行的真实情况,例如,对进入银行的客户提供服务,或观察银行职员间的交谈等。与交互式游戏类似,受训者可以干预场景,并做出某些预设的决定,例如,选择银行职员对某些客户问题的回答,或将银行职员的注意力引向特定客户,所用的技术是在Unity3D中加入Oculus Rift耳机和触摸控制器。该培训结果表明:使用虚拟现实训练的受试者对训练更为满意,学习积极性更高,受试者认为虚拟现实培训更加浓缩和集中,且用户的行为和反应可能更加放松和不受约束。当将不愉快或破坏性的训练元素转移到虚拟世界中时,还可以保持心理优势,并减少心理障碍。

与银行职员相似,专业营养师不仅需要很强的医学专业知识,而且高超的社会技能也必不可少[24],因此,会话技巧训练在营养学课程中扮演着不可或缺的角色。然而,传统的教学方法受到环境条件的制约大,无法及时有效地满足所有人员的需求。头戴式显示器的出现,为营养师和其他保健专业人员在会话技能训练方面,提供了更好的培训机会。例如,可以将通常在教室中进行的角色扮演练习,转移到如医院这样具有高实用相关性的虚拟环境中。

除了以上示例之外,iLRN 2020会议还展示了应用360°VR模拟的社工专业社区互动培训[25]。还有纽约大学社会工作学院(SSSW)将VR模块整合到课程中,创建VEU框架为学生提供交互式体验,以磨练学生的社会工作实践技能,特别是与客户参与和评估相关的技能[26]。VEU采用多种软硬件来捕捉人的声音和动作表演,该框架能够适用于Oculus Quest耳机,这个虚拟环境能够实现对用户六个自由度的手跟踪,因此,学生可以通过手接触并以一种自我更直观的方式与环境互动。沉浸式虚拟现实在建筑教学中也大有用武之地,在VR-C3S中,学生利用模拟中可用的测量工具,评估模拟建筑工地的安全性[27]。VR-C3S利用一个独立的Oculus Go虚拟现实耳机,为建筑管理专业的学生提供了一个实践性学习体验,让学生参与到主动学习过程中,并获得具身化的知识感受。

(五)扩展现实将沉浸式故事融入学习

讲故事的历史非常悠久,人们也喜欢听故事。目前,讲故事已通过多种形式与XR联姻。当人们进入沉浸式技术所呈现的世界时,虚拟和增强现实将改变故事叙述方式。在传统的讲故事格式中,叙事结构被呈现给听众、阅读者或观看者。但在虚拟现实中,听众或参与者不再是被动的见证人。正如克里斯·米尔克(Chris Milk)所说:将来您将成为角色,这个故事将在您身上发生。Google Zoo战略计划负责人Abigail Posner表示,沉浸式叙事完全打破了讲故事的线性结构,并将其称为“讲故事的生活”。在翠贝卡电影节上,身临其境的故事被称为“storyscapes”[28]。

沉浸式叙事同时使用了360度视频和虚拟现实,视频使用360度摄像头捕获,而沉浸式计算机生成的VR世界,则是在Unity和Unreal等游戏引擎中开发的。参与者可采用不同的观点,有时甚至成为主角,可以走进故事并与虚拟世界中的人和物体互动。即在XR中的存在感改变了人们听故事的体验,参与者也成为环境的一部分,这激励人们对遇到的事件采取行动并做出响应。基于构建沉浸式叙事的理论,约瑟夫·布克纳(Josef Buchner)等人提出了增强现实(AR)书籍的ARI2VE模型[29]。这类书籍能够借助AR技术的潜能,在传统纸质书中加入互动元素和虚拟物体,为读者提供更直观和生动有趣的阅读体验,能够更好地理解文本,更积极地投入阅读体现。该研究将AR技术的潜力和学习、教学中的科学发现结合起来,构建了ARI2VE模型。该模型的组件包括互动(Interaction)、可视化(Visualization)、参与(Engagement)和相互作用(Interplay)。每一个组件都充分地将AR技术潜力与教学原则结合起来,最后融合成一个完整的模型,以实现AR支持学习和教学的最好效果。这里的互动包含与物的交互,也可实现人与人之间的交互;可视化则以多种媒体为技术基础,需充分考虑学习者的认知负荷是否过载,要使学习者完全理解学习内容并产生深度学习。

(六)扩展现实让学习者成为创意设计者和创造者

如今的学生不仅是新媒体形式的主动消费者,而且也是潜在的创造者。沉浸式技术激发了学生成为新媒体的创造者和积极探索者[30]。在堪萨斯州Emporia的Emporia州立大学,Joyce Zhou教授与市场营销专业的学生合作,帮助他们为自己的高端项目开发VR应用:学生使用WebVR和InstaVR平台来开发与区域企业相关的应用,通过创建引人入胜的360°导览,学生不仅可以自己学习这些新工具的应用,还可以帮助当地相关组织了解VR营销和公共关系的可能性。 

在布朗大学的格兰诺夫创意艺术中心,虚拟现实艺术家Adam Blumenthal与14位大学生合作,使用虚拟现实研究了美国独立战争时期的加斯佩事件。为了重现1772年这一事件,Blumenthal的独立研究小组重新创建了历史场景中的演员、3D建模和动画,他们使用Google Tilt Brush(一种房间规模的3D创新工具)在虚拟现实中对该项目进行故事讲述。这些学生来自计算机科学和视觉艺术等众多学科,他们扮演了各种各样的角色:从学习如何使用Google Jump VR摄像头(带有16个GoPro摄像头的装置,可以立体拍摄)和VR制作技术,到编写脚本和做导演、演员。Blumenthal认为,以VR形式重现或制作新场景,可帮助学生对学习材料进行批判性思考。

许多教育研究者在复杂的模拟和可视化信息的方式中,看到了VR和AR的应用价值。而且,随着沉浸式技术的普及,学生能够更方便的设计原型并创造自己的体验。这些新技术促使学生发明具有丰富意义的新型互动叙述形式,从而改变对世界的理解和体验。具身在这些混合现实世界中,将创造一种别致的存在和协同建构内容的体验,并为学生创造一个探索沉浸式技术的空间。这样,学生可自主设计新世界,当学生拍摄360°视频或编写虚拟体验代码,然后戴上VR头戴式耳机时,学生会感悟与思考未来世界的存在方式。 

(七)扩展现实助力STEM教育

目前在STEM教育中,可视化编程、AR应用并不少见,但在培养计算思维方面的研究,使用AR技术的文献仍然很少。由于教育增强现实是为实现教育目的而设计的AR可视化,允许用户感知投射在物理环境上的虚拟信息,可有效地降低学习过程中的认知负荷,从而提高对复杂、抽象学习内容的感知。因此,AR和XR能增强学习者在STEM领域的学习体验,尤其支持复杂概念的学习。 

来自亚利桑那州立大学的两位学者设计了一个基于CT框架和AR可视化的移动应用程序,在设置“调试自动直升机”的任务中,用户被要求修复一个坏掉的电脑程序,以确保它能让直升机飞越墙壁,同时在途中收集所有的旗帜[31]。该任务是基于已建立的CT框架中的关键组件精心设计的,包括抽象(提取相关信息)、分解(将问题分解为更小的部分)、模拟(模拟真实过程)、模式识别(观察规律)和算法设计(创建有序的指令系列)。

该研究还特别设计了增强现实学习体验(ARLE),包括VR和传统3D可视化所缺乏的用户与内容的交互,以及用户之间的交互。为进一步探索AR可视化是如何影响用户在调试任务中的协作问题,该研究将整个代码分为两部分,分别呈现在两个设备上,程序执行期间通过网络实现同步,有效地减少了二元工作负载不平衡现象。研究者以2019年秋季未毕业的计算机信息学课程的24名学生为研究对象,进行了对照实验研究。结果表明,使用了AR环境的学生与未使用AR的学生相比,任务的通过率更高,代码设计错误率更低,代码的编辑更有效,沟通也更多。这些发现,为AR技术支持CT调试任务提供了实证依据,并对算法设计产生了积极影响。在AR可视化的前提下,如果内容设计得当,AR可视化将有助于学生计算思维的培养,成为STEM教育的一个新途经。


5. 结语与展望
扩展现实(XR)支撑沉浸式学习的技术路径与应用模式

综上,我们可以发现:XR在创建上述七类沉浸式学习情境的过程中,也在不断融合与应用人工智能技术。可以说,人工智能(AI)成为塑造沉浸式体验的重要驱动力:首先,人工智能为扩展现实的实现提供了算法基础。XR需要将复杂的、多元的非结构化海量数据做集中处理,要应用边缘计算等人工智能算法以及相应的数据源平台,以减少终端设备的负荷。其次,XR营造的沉浸式环境,对用户的即时反馈和适应能力要求也在增强。iRLN 2020会议中AM培训导师,即是一个融合扩展现实和人工智能的典型示例[32],通过该交互式教学系统,学生或受训人员操作虚拟的机器,他们会获得在建立部件过程中是否采取了正确和合理的步骤与反馈,在使用各种工具时也可得到提示。最后,人工智能应用于XR环境,还能有效记录用户的行为,以用于存储和维护学习过程的记录和验证学习者虚拟化身的真实性。

近年来,与XR相关的技术发展非常迅速,2020年6月,Google的光场视频(Light Field Video)技术获得突破性进展,该技术具有记录、重建、压缩和提供高质量沉浸式光场视频的能力。该研究的领导者Michael Broxton说:“我们正在使这项技术变得实用,使我们更接近为更多的消费类设备提供真正的沉浸式体验”[33]。可见,开发XR教育资源的技术门槛正在降低,沉浸式学习环境的营造成本也在大幅减少,这为教育机构节省了大量的空间、时间和费用。另外,XR还能使相关的学习不再使用活体动物、没有辐射的风险或其他道德层面的限制。因此,如同人工智能应用于教育领域一样,扩展现实应用于教学,也将渐趋成为常态。

《第四次革命》的作者卢西亚诺·弗罗里迪(Luciano Floridi)曾经预言,每个人都将经历“线上人生”[34],这里的“线上”概念不再限于是文字界面或二维空间,而是包含有丰富情境体验的虚拟世界。XR的发展,正为学习者足不出户即能踏入广阔的实践学习空间,提供了坚实的支撑。正如著名作家马克·吐温(Mark Twain)所说:“当你的想象失去焦点时,你不能依靠你的眼睛”[35]。如今,借助扩展现实不仅拓展了感官体验,而且可使学习者的思维、视界与想象力无远弗届。

 

版权所有:教育部科技发展中心虚拟现实研究中心 京ICP备19006395号