虚拟现实:教育技术发展的新篇章——访中国工程院院士赵沁平教授

时间:2020-8-5

来源:电化教育研究

编者按:随着虚拟现实、人工智能、互联网、大数据、5G等新兴技术的组合创新对社会各个层面的深度渗透,当前的教育生态系统将迎来巨大的历史性变革。而每一项技术作为一种教育技术,其应用都将对学习环境、教学方式、实验手段、教学活动设计、学习评价等产生影响,从而引起知识生产观、知识生产方式以及教育者、学习者、参与者等多种角色的认知方式、行为模式发生变化。为深度探析技术变革教育的核心价值和挑战,本刊将陆续特邀虚拟现实、人工智能、互联网、大数据等专业领域的院士专家们,从技术变革教育的视角对智慧教育发展提出指导。

摘要:赵沁平院士从虚拟现实技术内涵、虚拟现实与人工智能技术的结合、虚拟现实在教育培训中的应用、技术实现路径、未来发展趋势几个方面提出了诸多有价值的建议。他提出,随着技术的发展,VR的3I特征已经演化为4I特征;与人工智能结合可能成为终极性的教育技术;VR技术构建的智慧学习环境,应建立在教学参与者较好的信息化素养基础上,具备体验性、交互性、可信性与可评价性等特征;深度结合教与学的过程要素,给出了VR+教育应用及研究的10个突破点。同时,呼吁研究者深入探讨VR教育活动中何以敬畏和坚持的伦理问题,从伦理层面对教育管理者、产业界和政策制定者等相关角色进行伦理规范。


关键词:虚拟现实;教育技术;虚拟仿真实验;智慧教育

 

1

虚拟现实技术的意蕴溯源及其发展现状

虚拟现实:教育技术发展的新篇章


访谈者:赵院士您好!很荣幸采访您。作为中国VR技术领域的第一位院士,请您先简要介绍一下VR技术及其特点。

 

赵沁平:我先简单谈谈VR的产生和发展的必然性。从人类探索自然界开始,模拟仿制真实世界中的对象,为人类生产生活所用,始终是人类实现进步的一个重要方式。比如,“草船借箭”“纸船明烛照天烧”,其中都讲述了古代人类用智慧进行简单的实物仿真。现代科学技术的发展,将人类的这一追求不断推向新的阶段和高度,如机电类仿真(早期的车辆驾驶仿真)、计算机数字仿真(早期的飞行模拟器)等。随着高性能计算、图形图像处理、人机交互等计算技术的发展,人类模拟现实世界所达到的新高度就是“虚拟现实”。关于VR概念的含义,具有代表性的是Wikipedia、Bryson、NASA等给出的定义。早年,我对VR是什么也给出过一种较为严谨的表述:虚拟现实是以计算机技术为核心,结合相关科学技术,生成与一定范围真实/假想环境在视、听、触感等方面高度近似的数字化环境,用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响,可以产生亲临对应真实环境的感受和体验[1]。VR具有4I特征,即沉浸感(Immersion)、交互性(Interaction)、构想性(Imagination)和智能化(Intelligence)。早期的VR主要具有前三种特征,智能特征是随着VR技术和人工智能技术的发展相互结合形成的。此外,常与VR同时出现的还有增强现实(Augmented Reality,AR)。增强现实是将计算机生成的数字化对象或环境叠加在用户感知到的现实对象或环境之上,向用户呈现出一种虚实混合的新环境;此外还有增强虚拟(Augmented Virtuality,AV)和混合现实(Mixed Reality,MR)等。广义的VR包括以上三者,通常人们使用VR的狭义概念,以便于和AR、MR等其他几类技术、设备及其不同的应用相区分。

 

VR的目标和技术特点,使其对现有技术形成一定的颠覆性:它致力于突破二维显示,实现各种机制的三维显示;突破键盘鼠标的传统输入方式,实现手、眼、行协调的人景自然交互;突破固定屏幕显示,实现眼镜式自由观看;突破时空局限,使体验者沉浸在历史或未来、宇观或微观的逼真虚拟环境中。VR技术的颠覆性会对人类社会和生产力产生重大影响,许多专家认为VR是继个人电脑、智能手机之后的新一代计算平台,是包括教育在内的各行业发展的新的信息支撑平台,是互联网未来的新入口和新的社交环境,也是一种新的媒体[2]。

 

访谈者:您从20世纪90年代初开始研究虚拟现实技术至今,虚拟现实有了很大发展,特别是2016年VR产业热,被媒体称作“虚拟现实元年”。请您谈谈虚拟现实的主要应用和对相关行业发展带来的影响。

 

赵沁平:所谓的“虚拟现实元年”,实际上是VR技术经过几十年的发展,一些新技术产品进入大众消费领域,新技术、新产品带来的新鲜体验促成了新的大众消费市场,巨大的商机引起产业界、投资界以及媒体的关注。因此,2016年应该是“虚拟现实产业元年”。实际上,早在30多年前,VR就在多个行业开始了高端应用,如今已经在军事、制造、医疗、教育等领域取得了很多应用成果。现在,“VR+”已经成为一个行业发展趋势。

 

军事是应用VR比较早的一个领域。现在VR技术已经全面应用于美军各军兵种及联合作战训练,作战规划、预演和决策。进入21世纪,行动更复杂、节奏更快速、空间更广阔的未来战争,对VR技术提出了更新、更高的需求。VR技术应用于装备制造,产生了许多新的制造技术,如沉浸式设计、虚拟样机与评价、虚拟组装、AR装拆导引,以及装备操作维护培训等。1992年,波音777的管线布局设计采用VR技术,缩短研发周期50%,降低成本60%。近年来,在制造业界兴起的数字孪生,将VR技术应用于装备从设计到操作培训、售后服务的整个生命周期。医疗健康是VR技术具有广阔应用前景的领域。为了降低手术技能培训对动物活体、尸体的依赖,并提高技能培训的有效性,如口腔手术模拟器、腹腔镜手术模拟器等VR智能医教系统已经批量应用于医学教学中;虚拟人体器官和虚拟人体的研究取得进展,将成为全新的医药研究、转化医学和医学教育培训的新平台,为手术规划、手术预演与评价、手术导航以及新药研发提供实验支撑,对医药行业的发展产生颠覆性影响[3]。

 

我们可以看到,VR在这些行业的应用,拓展了人类的感知能力,改变了这些行业的产品形态和服务模式,使这些行业得到升级换代式的发展。教育也是VR的一个极有生命力的应用领域,VR是新的强大的教育技术。

 

2

虚拟现实与人工智能相结合可能构成终极性的教育技术

虚拟现实:教育技术发展的新篇章

 

访谈者:您刚才说VR技术是新的强大的教育技术,是智慧教育的重要构成技术,依据是什么呢?

 

赵沁平:教育技术的内涵和外延,随着时代的发展会有一个不断丰富和更迭的过程。早期的教育技术主要体现在实物教学模型和相关教学辅助器具的设计和制作。计算机、信息技术的发展,特别是互联网、大数据、人工智能、虚拟现实等技术的出现,开创了教育技术的新领域,进入教育信息化发展的新篇章。

 

计算机、互联网为教育信息化提供了平台,VR则可以为教育教学情景设计、展示和教学的实施提供全新的平台和手段。VR校园是智慧校园的基础,可以随时随地线上漫游体验校园及其开放场所,对校园进行全景安全监控等;VR应用于教育教学,可以通过情境创设,使教师、学习者和参与者投入到可感知的逼真的学习环境中,如微观世界的分子、原子运动;人体三维器官及组织、循环系统;太空、太阳系;重大历史事件的场景等,在合理的认知负荷下,提升学生学习动机、投入度和学习绩效;基于VR技术可以进行可交互的实验教学和技能训练,特别是危险性高的一些实验操作(如某些物理电磁实验、激光实验、易燃易爆化学物质合成实验)或者现实生活中不可能真实开展的实验(如人体解剖、高空作业、体验相对论世界和黑洞等),从而大幅度提高学习的体验,强化“具身学习”,加速知识的建构。例如,目前,在实验教学改革进程中,教育部大力推进的国家虚拟仿真实验教学项目,利用网上做虚拟交互实验的方式,降低对实体实验室的依赖,就解决了许多因现实条件、资源不均衡等导致的实验教学问题。此外,VR/AR图书的出现,将传统纸质图书内容动态地、立体化地呈现给读者,形成对传统阅读方式的颠覆,极大地提升了图书的阅读沉浸感和理解效果。现在已经出现了一些VR/AR教育类图书,收到较好效果,这将对未来的教学用书和教学方式产生深远影响[4]。

 

综上可见,通过VR技术可以实现任何设想的教育教学环境,使学习者沉浸式体验学习对象和教学过程,拓展并深化教育信息化的维度和内容,同时,会催生新的教育教学模式和方法。因此,可以说VR开启了一种全新的教育技术。

 

访谈者:您多年前指出VR与AI相互渗透融合是必然趋势,VR的特征已经由3I发展为4I,VR+AI可能成为终极性教育技术。为什么会有如此判断?您认为VR+AI对未来教育会带来什么影响?

 

赵沁平:VR和AI技术有天然的关系,且呈现出“你中有我、我中有你”的融合趋势。随着VR应用不断拓展深化,越来越多地需要表现VR环境中各种自主个体和群体对象的信念、愿望、意图等高层次精神状态和复杂行为,于是引入了AI中关于Agent的建模方法。此外,随着VR技术和AI技术的不断发展与相互渗透,VR交互的智能化和VR对象及内容生产的智能化、自动化也在不断增强。VR与AI的这种融合,非常适用于分布式虚拟仿真条件下的教育场景应用。可以实现虚拟课堂、虚拟实验、虚拟培训场景中的智能化交互,促进高阶的探究式、自适应学习,对未来教育产生深刻影响。

 

已经出现和将要出现的VR+AI教育应用系统,采用大数据分析,可以实现VR+AI辅助的以学生为中心的情景化、个性化学习,使得“因材施教”成为可能。VR与AI、云计算等技术的结合,可以构造虚拟类人教师,并可以实现学生在类人教师陪伴、指导下的泛在学习。作为人工智能与新闻采编融合的产物,我国首个AI合成的主播“新小萌”已经出现在两会会场,进行新闻报道。能够自动完成语音识别,回答多种类型知识问题的智能机器人大量上市,带给人们智能化教学的初步体验。相信不久的将来,足以乱真的类人教师就能够和学生进行实时交互、开展教学活动,其海量知识和快速解题速度可成为人类教师的搭档,或部分取代人类教师。从此种意义上讲,VR+AI将成为终极性教育技术。再继续发展,就是将各种电脑芯片直接植入人脑,但这已不是教育技术,而是人工智能领域的脑机技术了。

 

访谈者:VR/AR应用教育的场景是广泛的,在终身学习的时代,您认为依托VR/AR技术构建的学习环境是怎样的?应具备哪些基本特性?

 

赵沁平:终身学习非常重要,建设终身学习体系和环境是我国的基本国策,我对此研究不多。不过,我深信随着5G、AI、互联网VR、边缘VR/AR等技术的发展,VR将成为互联网的新入口和新的社交环境,从而使终身学习体系的内涵和效能得到丰富和提升。

 

首先,VR/AR的重要特征是交互,强调用户体验,在教育的语境中,就是注重通过多感知通道、自然化的交互来全面提升学习者的学习体验。作为一名教育工作者,我深有体会,教师在设计传统课堂教学时,都会考虑学生对学习内容的感受和体验,但限于传统教学环境和条件,只能通过语言表达、互动问答和实物展示等方法进行课堂教学。而VR/AR学习环境可以真正成就“翻转课堂”,使得教学过程以学习者为中心,学习者可以发挥主体作用,充分体验教学内容,并与之进行交互。学习者还可以围绕教师提出的某一个问题,分小组协作探究,得出开放性的答案。整个课堂是“活”的,而不是事先预定好的“规程”。所以,VR技术构建的智慧学习环境,应该建立在教学参与者较好的信息化素养基础上,具备体验性强、交互性强的特征。其次是可信性与可评价性。一个完善的VR学习环境和一门好的VR课程必须由VR研发人员和教师密切合作、充分沟通,共同完成。真正有效的VR/AR教学资源和学习环境应当具有可信性和可评价性。可信性是指VR教学环境中各种VR对象模型及其对交互响应的可信度,也即与相应真实事物的吻合程度,可信性度量是目前VR研究领域尚未完全解决好的一个问题。

 

许多难以建模的复杂事物,将其影响因素简化后都可以进行建模,现有的绝大多数VR教育应用对象模型都是简化后得到的。问题是,将事物简化以后得到的模型在多大程度上可信,在什么范围可用,这就是VR对象模型的可信性的评价度量问题。与此相关的问题是,应该如何结合具体的VR教育应用,确定对模型可信性的期望值,以及平衡模型的复杂性和可用性两者的关系。可评价性是指对学习者学习体验、学习投入度和学习绩效等的自主量化评价。这也是目前AI领域的重要研究内容,比如,通过眼动追踪技术对学习者的学情进行实时评价和反馈等。

 

3

“VR+教育”应用系统的实现技术及未来发展趋势

虚拟现实:教育技术发展的新篇章

 

访谈者:实现一个VR教育系统需要掌握哪些技术?还存在哪些有待解决和发展的关键技术问题?

 

赵沁平:设计与实现一个VR教育系统和实现一般VR系统一样,大体需要数据采集、分析建模、绘制呈现、传感交互四个方面的技术。第一,数据是VR建模和构建VR教育系统的基础。数据获取设备有VR通用型和领域专用型两大类,前者如照相、摄像、3D激光扫描等,后者如医学领域的CT、核磁等。数据获取的准确性直接决定了VR技术在教育等各行业的应用效果。第二,建模是现实世界中的对象在计算机数字空间中的数据表示。就是利用数学、物理以及各种数字化技术将现实世界中的对象及其相互关系、相互作用及动态变化规律映射到数字空间中的静、动态数据表达。第三,虚拟环境对象的呈现和感知,包括视觉、听觉、触觉、嗅/味觉等多个方面。VR呈现技术将虚拟环境中的各种对象模型通过不同的表现形式和方法绘制在输出设备上,以沉浸方式呈现给用户。表现方法和对象模型与输出设备直接相关。第四,人对虚拟世界中对象的操作,以及虚拟世界中对象对人的感知和反馈,也就是VR的自然交互问题。上述四个方面的技术均涉及硬件装置(如数据采集、头戴显示、裸眼3D、定位跟踪、体感交互设备等)、芯片器件(如GPU、PPU、专用芯片、传感器等)、软件平台(如图形引擎、物理引擎、建模、视频图像处理等)、标准规范,以及不同学科教学中的VR内容设计与制作。VR是多学科高度融合交叉的科学技术领域。

 

囿于人类认识世界的局限性以及现实环境形态的复杂性、变化的无限性,数据获取、建模、交互等成为VR领域永不枯竭的研究热点。经过几十年的发展,VR技术取得巨大进步,但是仍然存在许多有待解决的问题,同时,新的问题也在不断涌现。对于VR教育教学系统及应用来说,如下一些问题的进一步突破会带来VR+教育的巨大发展:VR教育应用的需求调研分析、基于VR的教学方案及学习活动创意设计、与教学内容相关的新概念数据获取机制与设备、与学习过程相关的新交互机制与设备、多源数据/模型的无缝融合、学习对象的物理、生理建模以及对象的自由交互与实时逼真响应、教育教学应用中人的行为模型、模型的可信性度量、VR教育教学应用效果的评价[5]。

 

访谈者:5G的普及将解除制约VR发展的数据传输瓶颈,您认为VR在教育领域的一些重要平台和关键技术将取得哪些突破性进展?

 

赵沁平:5G的普及,将解除制约VR发展的数据传输瓶颈,VR教育领域的一些重要平台和关键技术将取得突破性进展。目前,进入校园课堂的VR教学应用产品,能做到的主要是对一些科普内容的VR体验,能够真正深入进行课程教学的并不多,且缺少有效性评价。其原因是多方面的,除了前面谈到的许多核心关键技术尚需突破以外,VR教学内容需要快速从云端向大量智能终端传输也是一个重要问题。5G的出现使这一问题迎刃而解,大体量、多内容、高质量的VR教育云平台和基于边缘VR计算的“AR/VR智能终端”将得以快速发展;相应的教育内容构成数据和对象单元模型库会大量出现,以满足不断增长的VR教育教学资源建设和内容开发需求。这又进一步带动新概念数据获取机制与设备、高度自然的VR/AR交互,以及多源数据—模型的无缝融合、设备实时逼真响应等技术的发展,实现交互式学习。大量优质VR教育教学系统在教育教学过程中的应用,会催生基于VR教育环境的教学方法,推动教育改革的发展。

 

访谈者:虚拟和现实之间的对象高度融合,将随着技术的飞速发展变得虚实难辨。AI存在伦理问题,那么VR呢?可以采取何种VR教育应用的伦理构建原则?

 

赵沁平:随着VR教育应用的多样化,所带来的一些伦理问题也日渐引起人们的重视。AI技术在教育中的应用所带来的伦理问题是显而易见的,例如,AI教学机器的身份与权力边界认定等。对于VR教育应用来说,我认为首先值得研究的是对VR教育受众的心理影响和可能的负面作用。例如,对幼儿来说,在他们需要接触现实世界、与同伴交流互动的发育阶段,采用VR教育环境和手段是否会产生负面作用?虚拟环境的发展是否会加重“宅害”,带来一定的社会问题?所以,我一直希望教育界的学者们未雨绸缪,开展VR心理学和VR社会学研究。

 

同时,也要对VR教育应用可能带来的伦理问题进行研究,明确其可能产生的伦理失范以及导致伦理失范的根源。VR教育可能表现出内容与形式的致瘾性、虚实边界模糊导致道德失范、VR教育活动忽视人的主体性等问题,不可避免地会涉及技术层面和人类主体性层面的伦理问题,如虚拟世界中生命的有限性与无限性、虚拟教育活动主体的尊严与生命性、虚拟世界中的主体认同与本体性安全、数据隐私安全等伦理问题。此外,当前的VR教学产品设计与开发不成熟,虚拟和现实的偏差导致了学习者谬误,即虚拟和真实之间的失切性导致学习者产生认知偏差,比如,虚拟情境与真实世界参数表征的差异性,导致学习者对客观知识的记忆性错误、操作经验结果分析的错误等。这就需要在VR应用于教育时,深入探讨VR教育活动中何以敬畏和坚持的伦理问题,对教育管理者、产业界和政策制定者等相关角色进行伦理规范。

版权所有:教育部科技发展中心虚拟现实研究中心 京ICP备19006395号