基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

时间:2021-2-19

来源:MOOC

随着新技术的迅猛发展,“大数据+AI”已成为现代社会一种新的驱动力和思维方式。一种可有效实现物理世界和信息世界智能互联与交互融合的新技术——数字孪生应运而生。基于数字孪生技术,可构筑联通现实教学空间与虚拟教学空间的数字孪生讲台,并成为在线教学空间的“数字大动脉”。数字孪生讲台可分为在线学习特征分析技术和虚实教学空间融合分析技术,通过“在线教”与“在线学”间的深度融合、映射与镜像,能为在线沉浸式教学注入新的数字生产力。基于此,从教学、技术两方面,探索数字孪生讲台的在线沉浸式教学流程设计与技术运用,即基于混合式平台的教学数据采集与管理,基于多维分析的教学数据分析与建模,基于精准教学和精准管理的数据应用,基于增强现实技术的在线沉浸式教学体验,进而设计其教学流程。旨在通过数字孪生讲台的多源数据融合、虚实融合映射、教学服务融合优化,促进数字化、智能化课堂的形成,推动数智融合在教学方面的创新性应用,从而形成一种基于大数据的课堂数据互动、映射的新形态,进而革新与重塑现代教育体系。


关键词:大数据技术;人工智能;数字孪生技术;数字孪生讲台;在线沉浸式教学;虚实融合

 

1引言


基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

教学信息化改革是教育现代化的重要任务,而在线教学是教学信息化改革的重要形式之一。中共中央、国务院印发的《中国教育现代化2035》提出,“加快信息化时代教育变革,建设智能化校园,统筹建设一体化智能化教学、管理与服务平台”[1]。近年来,随着教育信息化从1.0迈向2.0,我国在线教育无论从数量、质量还是到内容与形式,都获得了长足的发展与进步。但这种快速发展的同时,自然也存在一些急需解决的问题。尤其是2020年突如其来的新冠疫情,给我国在线教学带来了前所未有的挑战,主要表现为:在线教学质量参差不齐,学生在线学习效果差强人意,学生自主学习能力良莠不齐。教师信息化素养与技术的落后,成为制约在线教学改革的重要瓶颈。在现实教学中,在线教学大多数情况下仅作为线下教学的补充,并没有推广应用以形成教学常态,这使得在线教学无法避免陷入“浅层学习”的困局。

 

那么,解决或缓解这一困局的出路何在?我们认为,还在于充分研究与应用新技术来改进与提升教学效果。尤其是在“大数据+AI”融合的大趋势下,数智驱动下的新技术日益融入在线教学的今天,我们更需要深入探究新技术应用于在线教学的可行性。

 

一方面,随着XR、全息、仿真技术等不断成熟与应用,在线沉浸式教学成为国内外学界日益关注的课题。在线沉浸式教学以其深度的沉浸性、远程高效的交互性、优质的体验感以及高保真度而深受广大师生青睐,它能够提高学生在线学习的积极性、主动性,使学生由“浅层学习”向“深度学习”演进。在这一过程中,提高教育信息化水平,促进教育信息技术的更新迭代,成为在线沉浸式教学的关键[2-4]。

 

另一方面,随着计算机、互联网技术的迅猛发展,“大数据+AI”已成为现代社会一种新的驱动力、思维方式和解决问题的方法[5]。当下,“大数据+AI”在教学领域的探索已进入进行时态,但具体该运用哪些大数据技术,如何应用大数据技术来解决制约在线教学的诸多难题?仍值得我们深入探索。

 

近年来,许多学者致力于“大数据+AI”在在线教学中的运用探索。郑思思、陈卫东等提出,在教育教学中,借助图形化大数据,能够帮助教学和管理者跟踪变化、理解变化背后的成因,促进课堂新生态的形成,并优化教与学的全过程;基于此,他们提出运用“5G+全息技术”构建全息课堂的新理念[6]。刘艳华、徐鹏基于美国普渡大学在线课程信号项目,进行大数据挖掘分析与预测[7]。肖君等以开放学习分析架构为基础,设计了一套基于用户画像的在线学习者画像构建流程[8]。黄昌勤等运用行为大数据的可视化技术,动态呈现学习者在云空间的行为关联大数据,以改善在线学习环境[9]。虽然上述探索很有借鉴价值,然而,目前在线教学中诸多问题的解决,依然需要探索一种复杂信息的集成管理工具,一种基于“大数据+AI”的智能化解决方案。

 

当下,一种可有效实现物理世界和信息世界智能互联与交互融合的新技术——数字孪生应运而生。数字孪生是一种以数据可视化方式管理复杂信息的工具,其可为个体、组织甚至系统提供实时、高效、智能的服务方案[10]。数字孪生技术的核心特征是“以虚映实、以虚控实、虚以实用”[11]。当前,已有一些学者对数字孪生技术应用于未来教育和学习的特征、场景、发展趋势进行了初步探讨[12-14]。褚乐阳、陈卫东等的研究指出,数字孪生技术可优化远程教学过程,为学习者提供优质的远程学习体验[15]。朱珂指出,“数字孪生技术+智慧课堂”的探究应该予以更为深入的构建与解析,例如,对其运行机制、框架、功能及教学内容、教学设计等的探讨[16]。

 

基于此,本研究尝试构建联通现实教学空间与虚拟教学空间的“数字孪生讲台”:从体系构建与核心技术入手,创新性构筑在线教学空间的“数字大动脉”;以“大数据与智慧物流”课程实验为例,围绕“在线教”与“在线学”的深度融合,通过在线现实教学空间和在线虚拟教学空间的映射与镜像,综合运用大数据可视化技术[17-18]、用户画像技术[19]、行为大数据分析技术[20]、机器学习算法(包括传统的机器学习算法[21]和高级的机器学习算法,如,深度学习[22])、关联规则[23]、文本挖掘[24]、增强现实[25]等技术;以在线学习特征分析技术和虚实教学空间融合分析技术为核心,展开教学流程设计与技术分析。旨在为在线沉浸式教学注入新的数字生产力,以培养人工智能时代发展所需要的创新性人才[26-27]。

 

2基于数字孪生讲台的在线沉浸式教学体系之构建


基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

基于现有的相关研究,我们尝试将数字孪生技术应用于在线教学领域,探讨并初步构建数字孪生讲台。所谓数字孪生讲台是数字赋能于在线虚拟教学空间,通过与现实教学空间、虚拟教学空间的一一对应、相互映射、协同交互,所构建并形成的虚实融合的复杂教学系统。具体而言,数字孪生讲台,可分为在线学习特征分析技术(即如何利用技术为学习者提供适切性的学习支持[28])和虚实教学空间融合分析技术(即如何弥合虚拟与现实世界之间的界限),旨在不断提升学习者的沉浸式学习体验[29]。

 

在线学习特征分析技术是将学生的专注力及自律性(虚)与教师的教学资源(实)相融合,将学生的认知水平与成长过程(虚)与教师的个性化指导方案(实)相集成,将学生的技术水平与理解能力(虚)与课堂教学的讲解要点、讲解方式(实)相交互,从而真正实现在线教学全过程的精准教学和精准管理,进而实现在线教学决策的数字化、智能化驱动。虚实教学空间融合分析技术是指在网络空间中通过大数据建模、仿真、可视化等技术,构建一个与之对应的孪生教学空间,以实现教学空间全要素的数字化和虚拟化,教学空间全状态的实时化和可视化,即搭建数字化的虚拟教学空间。

 

因此,数字孪生讲台的在线沉浸式教学体系,从基础的数据采集层到顶端的应用层,依次可分为数据支持层、建模计算仿真层、功能层和沉浸式体验层,体系的各层级紧密相关、层层递进,每一层都是对前面各层功能的拓展与丰富,具体如图1所示。

 

(一)数据支持层

 

数字孪生讲台离不开现实教学空间与虚拟教学空间的虚实互动与物联感知。因此,基于数字孪生讲台的在线沉浸式教学体系构建,首先要由实入虚,运用全域感知设备,例如,摄像头、智能手表等,实时采集、捕捉数据信息,从而实现虚实教学空间之间的精准映射。数据支持层是实现全域立体感知的关键所在,它是整个在线沉浸式教学体系的基础,其主要由高性能传感器数据采集、高速数据传输、全生命周期在线教学数据管理三部分构成。

 

1)高性能传感器数据采集部分,通过可穿戴设备与情感计算模型,比如,通过学生的智能手表等可穿戴设备,采集、追踪学生的生理体征、语言等数据;通过电脑、手机上安装的摄像头等设备,捕捉、采集学生的表情、肢体等数据信息,辅以签到率、问卷调研等工具,以全面、深入地采集学生学习特征数据。高性能传感器数据采集是数据支持层的核心技术,它通过其智能感知体系,能够智能化“读写”真实的现实教学空间[30]。它是数字孪生讲台中实现现实教学空间到虚拟教学空间转化的“连接器”,是数字孪生讲台的“神经系统”,也是实现数字孪生讲台全域智能的基础。

 

2)高速数据传输部分,运用高带宽光纤技术,将表情、肢体等数据实时传输给教师。同时,数据支持层突破传统的听觉和视觉感知,运用传感器、物联网等技术,将多种感知信息融入其中。数字孪生讲台是现实在线教学空间的实时动态映射,因此,数据的实时采集传输与动态更新,对其具有重要意义。

 

3)全生命周期在线教学数据管理部分,分布式云服务器存储技术的发展,为数据的存储和管理提供了技术保证。其高效的存储结构和数据检索结构,为海量、异构历史数据的存储和快速提取提供了重要保障[31]。而海量、多源的历史运行数据,也为建模计算仿真层提供了丰富的样本信息,以全面实现数字孪生讲台的超现实属性,构建起贯穿全生命周期的数据管理体系。

 

总体而言,数据支持层实质上是基于全域立体感知体系的数据采集系统,它实现了教学数据的全方位、立体化、深度化的采集。

 

(二)建模计算仿真层

 

实时计算仿真能力是数字孪生技术的真实价值所在,而建模计算仿真层是实现这一价值的关键。建模计算仿真层主要由建模算法(以数据驱动模型为主)、一体化计算平台和虚拟仿真技术平台三部分构成。建模算法和一体化计算平台主要用于实时建模,虚拟仿真技术平台主要用于虚拟仿真和虚实融合。

 

1)建模算法指利用AI技术,实现在线教学系统数据的特征识别、提取和建模,并通过采用多物理、多尺度的方法,对数据支持层所提供的数据进行多维度、多层次的数据解析,以挖掘其中蕴含的主要特征和逻辑关系,从而实现对在线教学系统超现实状态的建模和表征[32]。即打破传统大数据的解读障碍,运用建模计算仿真技术辅助教师进行数据驱动决策。

 

数字孪生讲台的建模方法为多物理、多尺度的融合建模,即需要从不同领域、深层次机理层面,对现实教学空间进行跨领域的建模设计。其核心为数据关联分析,目的是基于“数据关联”实现虚实教学空间的深度融合。

 

2)数字孪生讲台复杂功能的实现,很大程度上依赖于一体化的计算平台,而在线沉浸式教学体系的实时分析和计算能力,是一体化计算平台应用的重要内容。在线沉浸式教学所具有的深度沉浸性、共享性、交互性、时效性和开放性[33],对一体化计算平台的实时性分析与计算,提出了极高的要求。因此,一体化计算平台需要不断优化算法设计,提升计算能力,以实现或优化在线沉浸式教学体系的整体性能。可见,一体化计算平台是建模计算仿真层的关键。它是数字孪生讲台构建的效率保障,为基于数字孪生讲台的在线沉浸式教学体系的构建,提供了算力基础。

 

“数据+算法+算力”是建模计算仿真层的三大要素,其中,算力是数据与算法的重要支撑。数字孪生讲台的一体化计算平台包括云计算和边缘计算两部分,二者通过紧密协同来满足各种教学及智慧物流场景。它区别于传统大数据相关的一体化计算平台的最大优势,在于能够更快、实时地处理数据,可实现离线运行并支持断点续传[34]。

 

3)虚拟仿真技术平台是实现现实教学空间与虚拟教学空间虚实融合的关键。其中,虚拟教学空间是现实教学空间高度真实的数字刻画、仿真和模拟。虚拟仿真技术平台的主要任务,在于实现建模计算与现实在线教学空间的融合。应用数字虚拟仿真技术使“在线教”与“在线学”虚实深度融合,从而促进在线沉浸式教学过程不断优化。即虚拟仿真技术使得现实教学空间与虚拟教学空间,同时并行存在、相互对应、共同优化。

 

(三)功能层

 

如上所述,数字孪生讲台是现实教学空间在虚拟教学空间中的真实映射,其功能层包括三个维度:

 

一是虚拟教学空间与其映射的现实教学空间,在内容、性质等方面基本完全一致,能够多维、动态、可视化呈现现实教学空间的真实状态。二是对学生学习状态与环境等进行多尺度、集成化描述,实现对学生在线学习状态和环境的动态、可视化写实。即“人”(包括教师和学生)—“机”(包括电脑和其他相关教学设备)—“物”(包括教材、PPT等教学资源)—“环境”(主要指在线学习环境)多系统模型的计算仿真结果的拟实化、集成化,它是数字孪生讲台功能层的主要功能。三是运用多种大数据可视化技术,将现实运作场景多维度、动态化、智能化呈现于虚拟教学空间,实现现实运作场景(如,智慧物流场景)与虚拟教学空间的映射与镜像。

 

上述三个维度相辅相成、互相促进。其中,大数据可视化是贯穿这三个维度的关键技术。大数据可视化指将数值型数据以图形的方式展现出来,以帮助人们理解数据,观察数据与数据间的结构关系,可用于对教学中客观环境数据的展现等过程[35]。数据可视化是人们认识世界、与世界对话的重要媒介,正所谓“一图胜千言”[36]。而数字孪生技术正是一种以数据可视化的方式,管理复杂信息的工具。因此,数字孪生讲台可以动态、多维呈现教学内容,支持对学生认知、学习状态的建构,并对“人—机—物—环境”多系统集成模型的计算仿真结果予以动态呈现,使结果更具说服力。

 

总的来说,功能层主要面向实际的在线沉浸式教学系统进行动态写实(模拟、镜像、拟实)、集成、决策(协调)、监督和辅助决策(维护)。其中,拟实化、集成化、协调化也是数字孪生讲台最直接的价值体现。针对不同专业、不同课程的在线教学体系,数字孪生讲台的功能层可以给予不同的高拟实化、高可靠性、高实时性、高协调性的智能服务决策。

 

例如,通过实时掌控学生的在线学习状况,辨析学生在线学习行为的差异化特征,将这些特征集成化和聚类分析,再结合学生不同学习环境和成长过程信息的集成,进行具体、深入、动态的分析,以跟踪、追溯学生学习过程中的困难及其原因;通过对学生需求信息进行充分挖掘,可以结合AI进行“因材施教”,有的放矢地完善教学方法,挖掘更适合学生的教学方式,进一步智能化地完善虚拟教学空间,改进乃至重塑现实教学空间,实现精准教学与精准管理。

 

(四)沉浸式体验层

 

在线沉浸式教学体系的关键,在于让学生从视觉、听觉等感知和体验方面,提供沉浸式的虚拟现实体验。因此,沉浸式体验层是基于数字孪生讲台的在线沉浸式教学体系之关键。它是直接面向教师和学生的层级,以师生的高沉浸感、高体验度、高交互性、高保真度、高创造性为主要参考指标。沉浸式体验层主要通过用户交互界面,为师生提供良好的人机交互使用环境,让使用者能够获得“身临其境”般的感官体验。它包括三个维度:

 

一是教师通过大数据可视化、AI和智慧云体系,全面、立体展示现实教学空间的全貌。二是学生通过远程协作,基于智慧云体系让教师沉浸于体验学生的学习和成长过程。三是教师综合运用大数据建模、仿真、可视化等技术,结合增强现实技术,实现现实运作场景的高度可视化,并将其无边界、全方位呈现于虚拟教学空间;使学生身处高互动的学习环境,基于增强现实技术,通过远程操控,结合多种“大数据+AI”平台和分析软件,数字化操控现实运用场景在虚拟教学空间中的映射和镜像,实现师生间数字化、无障碍的交流互动,实现以虚控实、虚以实用,从而达成基于数字孪生讲台的创新性教与学活动的目标。

 

上述这三个维度层层递进、互相协同,而“大数据+AI”(如,“大数据+3D建模”“大数据+虚拟现实技术”“大数据+增强现实技术”)是贯穿三个维度的关键技术。

 

可见,在沉浸式体验层,“大数据+AI”让数据以“会自己说话”的方式,自动介入到课堂教学的治理中(即“以虚映实”),生成新的课堂治理机制[37],实现数据与行动的一体化、校企合作的协同化、师生互动的全面化。多种AI技术通过“多模态资源+多方式共享”的形式,创设多种教学情境/智慧物流场景,调动学生的多感官共同参与和构建虚拟教学场景/平台,从而实现“校”(包括教师与学生)“企”(包括大数据工程师与技术总监)之间的沉浸式虚拟合作,以达到共同搭建虚拟教学空间的目的。

 

3基于数字孪生讲台的在线沉浸式教学流程设计与技术分析


基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

(一)在线沉浸式教学总体教学流程设计与技术分析

 

本研究以“大数据与智慧物流”课程作为实验课程,对在线沉浸式教学流程设计与技术运用进行分析。2020年疫情期间,该课程采用网络方式小班授课,共有12位研究生参与学习,均来自管理科学与工程学科。实验课程采用在线沉浸式教学模式,主要利用在线学习特征分析技术与虚实教学空间融合技术,进行教学流程设计。前者用于分析学生的在线学习特征,为学习者提供适切性的学习支持;后者主要基于数字孪生讲台,高交互性、高创造性、在线沉浸式改进具体教学、智慧物流等场景的映射与镜像,以弥合虚拟与现实世界之间的界限,提升学习者的体验。

 

因此,总体教学流程设计包含两条技术主线,即在线学习特征分析技术和虚实教学空间融合分析技术。在线学习特征分析主要是为了实现“在线教”与“在线学”的深度融合,而虚实教学空间融合分析,主要是为了实现在线现实教学空间与在线虚拟教学空间的映射与镜像。

 

(二)基于混合式平台的教学数据采集与管理

 

1.在线学习特征的采集与管理

 

1)图像采集与识别技术。实验课程基于“腾讯课堂+中国大学慕课”混合式平台进行授课。在线课堂一般利用多技术采集学生的在线学习特征数据,图像数据采集由摄像头及面部表情、肢体行为识别技术予以完成。在本研究中,“腾讯课堂”在教学时让学生打开摄像头,在摄像头前设置手机定时拍照,运用深度学习中的卷积神经网络,对学生进行面部表情及肢体行为的图像识别;再运用BP(Back Propagation)神经网络,对图像进行分类。

 

实验课程基于长风大数据提供的PMT大数据分析与挖掘平台,进行图像数据识别与分类:①进行图像向量化分析;②运用深度学习模型(卷积神经网络)提取每个图像的特征向量;③对表情图像进行混淆矩阵和图像可视化分析,以剔除识别错误的图像,再将图像引入距离方程,进行特征选择和层次聚类分析;④基于学生的面部表情及肢体行为,将学生的课堂表现分为高度认真型、相对认真型和不认真型三类。

 

对这三类学生,我们采取不同的策略。针对高度认真型,鼓励其多思考、多提问,在教学过程中以培养其创新精神为主;针对相对认真型,在教学过程中引导其以思考为主,培养解决问题的能力,提高思维能力;针对不认真型,运用多种互动模式,例如,让学生举例说明大数据的应用场景等,引导其融入线上教学。

 

由于现有表情识别技术对笑容等较为夸张的表情识别率较高,而对面部变化不大的表情识别率较低[38]。所以,在图像采集与识别过程中,我们以学生肢体行为的采集与识别(例如,记笔记、提问、回答问题等)为主,面部表情识别(例如,遇到感兴趣话题时的笑容)为辅,针对不同类型学生制定不同的课堂教学策略。(2)评价文本的采集与分析技术。运用大数据文本挖掘技术进行教学评价分析,以识别学生对课程反馈意见的类别及其情感,是教育文本挖掘的典型应用[39-41]。本研究运用中国大学慕课平台对学生签到率进行统计;借助问卷星在线调研平台设计相关教学评价问卷,对课程进行评价;运用大数据文本挖掘,对每堂课评价进行结巴分词、词频分析和舆情分析,并运用情感分析技术,将学生的评价分为肯定与建议两部分,以优化在线课堂教学设计,提升教学效果。

 

经统计,学生对“大数据与智慧物流”课程总体评价较好。其中,学生对课程最突出的评价是“幽默、生动,能够开拓思维,课堂案例多、干货多”,但学生对于现实中的落地问题及实验平台在线使用问题存在疑虑,这也是实验课程需要加强的关键。因此,我们在课程后半段通过实验平台改进(如,添加技术支持小助手QQ的实时在线答疑环节),对学生提出的建议予以响应和改善,并通过与泰迪科技和长风大数据搭建“智能工作室”,提高学生的技术和创新水平。

 

以上所采集的数据主要用于分析学生的在线学习情况,挖掘不同学习行为、生理状态参数(如,面部表情、肢体行为等)之间的关联指数,以构建针对不同学生的学习者建模,从而实现全部教学要素和整个教学流程的定量化、透明化管理。基于此,实验课程实现了自动识别、实时跟进、及时反馈学生在线学习情况的各种行为数据,以有效监控学生的在线学习状态等,从而真正全方位地实现基于数字孪生讲台的在线沉浸式教学。

 

2.虚实教学空间融合的数据采集与管理

 

该阶段数据主要用于在线现实教学空间的虚拟建模,利用所获取的数据构建与现实教学空间相对应的在线虚拟教学空间。所采集的数据由长风大数据提供的PMT大数据分析与挖掘平台,进行在线教学空间全生命周期数据管理。在本研究中,实验课程对虚拟建模数据进行数据分析,包括结构化数据(例如,用于建模的物流数据等)和非结构化数据(例如,演示视频、操作视频、电子教案文本、PPT等),其中,以非结构化数据为主。

 

这一阶段的实验课程,主要使用大数据文本挖掘及大数据可视化技术,分析虚拟建模数据的内在信息[42-43],进一步探寻教学过程中虚拟建模数据与科学研究之间的关系[44]。实验课程运用大数据文本挖掘软件Nivio对虚拟建模数据进行文本挖掘,并运用大数据可视化技术绘制词云图,以从中挖掘现有教学素材等虚拟建模数据存在的问题。

 

总体来看,实验课程的教学素材主要集中在物流方面的挖掘与应用,对分析、挖掘、应用论述得较多,对大数据建模、仿真、可视化等技术涉及较少,且没有由浅入深地进行技术讲解,课件、教案中仍需对大数据技术予以细化。这也进一步解释了为何学生会觉得课程技术难理解。针对此问题,我们对课件、电子教案予以知识点分类,将大数据技术由浅入深地分为基础知识,大数据分析技术(即初级技能),大数据挖掘、建模、仿真与可视化技术(即中级技能),以及“大数据+AI”(即高级技能),并对不同类型学生进行针对性的讲解

 

经上述改进后,学生全部成长为高度认真型和相对认真型,其中,高度认真型占83.3%(10/12)。之后所有学生进入智能工作室,开展高级技能学习。

 

(三)基于多维分析的教学数据分析与建模

 

“大数据与智慧物流”实验课程中的多维数据分析,主要用于在线学习特征分析与挖掘,包括用户画像和行为数据分析;多维数据建模主要用于虚实教学空间融合建模与仿真,包括实时建模技术、虚拟仿真技术和虚实融合技术。该阶段隶属于数字孪生讲台的建模计算仿真层。

 

1.在线学习特征的分析与挖掘

 

实验课程运用数据特征识别(例如,性别、年龄、地域等)、数据解析、数据分析与挖掘、数据关联分析,基于用户画像和学生行为数据,构建了学生画像模型(如图4所示)。其中,学习积极性主要分析指标是学生课堂提问和学生回答问题的次数。我们将“大数据与智慧物流”24个学时的课程分为前后两个半段进行分析,经过基于数字孪生讲台的在线沉浸式教学体系改革,学生在后半段学习积极性明显提高。

 

2.虚实教学空间融合的建模与仿真

 

“大数据与智慧物流”实验课程中的多维建模,包括实时建模技术、虚拟仿真技术、虚实融合技术,旨在打造虚实教学空间的互联与融合。实时建模技术是虚拟仿真技术与虚实融合技术的基础,它与虚拟仿真技术相结合,可以通过“大数据+AI”,对虚实教学空间进行大数据可视化分析。运用“实时建模技术+虚拟仿真技术”,对12位来自不同城市的学生,与教师、技术支持小助手之间的课堂问答情况,以及学生之间的交流情况,进行大数据地理拓扑可视化,以反映不同学生与教师的课堂问答交流情况,以及不同学生之间的讨论情况。由分析可知,学生与教师之间的课堂问答交流较多,而学生间的讨论相对较少,需进一步通过分组讨论形式予以加强。因此,在课程后半段,我们针对案例、实验设计、技术分析等开展多种讨论模式,如,学生分组讨论、师生实验设计探讨、校企远程技术讨论等,在提高学生积极性的同时,可有效解决学生多种学习困难。

 

实时建模技术与虚实融合技术相结合,主要是通过大数据分析、挖掘与建模技术,对虚实教学空间的关联进行基于多种算法的关联规则分析,以深入剖析虚实教学空间之间的关联,并围绕关联,再促进虚实教学空间的融合。数字化虚拟教学空间的构建,主要是基于现实教学空间进行建模,但建模的基础是虚实空间之间的关联。为此,我们通过现实教学空间的关键词或特征提取,依据教育学、心理学的基本原理,对现实教学空间中的不同要素进行标注,再利用机器学习方法构建相关特征模型。例如,运用大数据文本挖掘,对教学材料进行结构分析及内容可视化;通过矩阵关联算法,构建虚实教学空间要素与要素之间的关联[45]。

 

(四)基于精准教学和精准管理的数据应用

 

1.在线学习特征应用

 

在线学习特征主要功能包括在线教学系统过程监控与辅助决策服务设计,其包含自然属性分析技术(包括地域、性别、年龄等)、专业能力分析技术(包括实验报告成绩、技术和创新水平等)、自我管理分析技术(包括智能工作室学习情况、MOOC学习情况等)和学生群体聚类分析技术(根据以上分析,运用K-means聚类将学生分为成长优秀型、成长良好型、成长合格型三类,与高度认真型、相对认真型和不认真型基本对应,如表2所示)。基于专业能力、自我管理等分析结果,运用机器学习算法组合——“可视化树模型(毕达哥拉斯树)+决策树可视化”,呈现学习成长过程优秀、良好、合格的过程分析结果。在本研究中,学生大多为成长优秀型,学习勤奋,成绩优异。

 

基于机器学习算法组合的学生学习成长过程分析,可以实现动态的因材施教,即根据学生的成长过程和进步速度,动态调整因材施教策略。例如,有的学生最初属于成长合格型,课堂表现为不够认真;但是经过精准教学与管理策略后,可能会演变为成长良好型甚至成长优秀型学生。基于机器学习算法组合的学生学习成长过程分析的价值,在于能够动态、可视化展示学生的成长过程和进步速度,使得可以真正实现精准教学的动态管理,进而实现因材施教的动态化、可视化管理。

 

2.虚实教学空间融合应用

 

虚实教学空间融合应用,围绕现实教学空间与虚拟教学空间的互联与共融展开,主要功能包括在线学习特征创新和虚实教学空间融合应用,均归属于功能层。其目的是实现虚实教学空间的映射、镜像与协同。

 

在实验课程的具体运用中,我们利用多种大数据可视化技术,将现实物流世界中的场景,智慧化、可视化地呈现于虚拟教学空间中。例如,运用散点图、箱线图、马赛克图等多种可视化图形,多维度、动态化展示教学过程中的智慧物流场景,实现现实教学空间中,多种虚拟建模数据之中的教学过程数据(物流大数据分析与挖掘过程演示+物流大数据可视化演示+智慧物流场景)与教学素材(教材+课件+电子教案+智慧物流实例)的融合,以及智慧物流场景与虚拟教学空间的映射与镜像。如此操作的目的,在于帮助学生从多维度视角,理解智慧物流的场景及动态演化过程,以加深学生对智慧物流场景的理解,触发学生的创新灵感与参与积极性。

 

(五)基于增强现实技术的在线沉浸式教学体验

 

1.在线学习特征的创新

 

在线学习特征的创新主要通过校企合作、师生共建。即基于理论教学空间和实验教学空间,通过智能工作室创建虚拟教学空间,进而重塑现实教学空间)。

 

理论教学空间主要通过校企人工智能工作站的云合作,实现校企共建立体化的教材和教案,并同时实现校企共创的智慧物流场景以及课堂案例的可视化呈现。在此基础上,实现师生共同创建虚拟理论教学空间。在创建过程中,智能工作室通过企业沉浸式合作、学生沉浸式参与,使虚拟理论教学空间更加全面、立体地展示现实教学空间的全貌。在师生共建、师生共创虚拟理论教学空间的过程中,教师能感知学生的沉浸式体验与提出的相关建议。

 

实验教学空间主要通过校企合作实现实验、技术、软件的在线演示(包括平台、技术和设计演示),在线技术支持(包括技术指导、技术协作等),远程操作(包括远程操控实验平台、远程辅助实验设计等),远程控制(包括远程控制实验平台、远程控制实验教学空间等)和远程协作(包括远程采集技术反馈以更新平台、软件、技术设计,远程参与实验讨论),最后通过创新实验设计和AI技术创建虚拟实验教学平台。教师通过用户交互技术,在师生共建、共创虚拟教学空间的过程中,实现对实验教学空间中学生感知、体验、反馈、讨论数据的全面采集,体验学生的沉浸式学习和成长过程。在本研究中,师生共同创建智慧物流场景并进行案例可视化呈现的主要工具,包括Python、R语言、Echarts等。

 

智能工作室实行“晋级式管理”,对学习进度快、任务完成好的学生,实行多种奖励:(1)学生可由技术员晋级为技术总监;(2)学生所在工作室可由A级晋级为B级,甚至C级(最高级);(3)学生除了完成创新实验设计、实验报告任务等课程任务之外,还可以获得企业颁发的实习证明和大数据分析工程师(基础级)技能证书(由泰迪智能研究院国际培训中心颁发)。由于当前各行各业对“大数据+AI”人才的需求较为旺盛[46],学生的积极性普遍较高,所完成的创新实验设计共有12件,教师与大数据工程师的评分平均为91.08分。

 

2.虚实教学空间的融合创新

 

虚实教学空间的融合创新,主要是通过各种感知与体验的融合创新,运用三维虚拟建模与映射技术、增强现实技术等,将数字化的虚拟教学空间呈现给师生。因此,其仿真模拟的事物,不仅局限于基于三维建模的在线沉浸教学模式中的真实感实时绘制(通过视觉绘制和并行绘制予以呈现),以及三维建模技术构建的三维立体模型;而且还包括基于三维虚拟声音技术的听觉模型(通过声音渲染技术予以实现),以及基于大数据建模的智慧物流场景可视化,让学生真正实现基于“身临其境”和“声临其境”深度沉浸。其中,三维虚拟声音技术能够在虚拟场景中运用数字孪生技术,重现真实的三维空间声音。这些声音来源于数据支持层所采集的自然界中的各种声音,之后通过视觉绘制、并行绘制、声音渲染等模式,以及大数据建模、仿真、可视化等技术,重现于虚拟教学空间。

 

在融合创新过程中,为了实现智慧物流场景的高度可视化,实验课程使用“增强现实技术+数字孪生技术”,让虚实空间实现了实时交互与共融。我们将视觉、听觉与数字化进行叠加,呈现出一种无边界、全虚拟、高互动的智慧化场景,让学生如同具身于智慧物流场景之中,运用大数据建模、仿真、可视化及机器学习等AI技术,与智慧物流场景能产生的数据进行全方位、无障碍交流;并通过数字孪生讲台,控制数字化的智慧物流场景在虚拟教学空间的映射与镜像,真正实现以虚控实、虚以实用。

 

4基于数字孪生讲台的在线沉浸式教学体系教学效果分析


基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

在实验课程结束后,我们运用问卷星在线调研平台,对课程教学效果进行调研。调研分学生问卷和企业问卷两个阶段展开。第一阶段为学生问卷,主要为学生对教学效果的调研,该问卷使用李克特5级量表进行评价(1表示很不喜欢,5表示很喜欢)。学生问卷包括四个部分,即喜欢程度(包括课堂教学和实验教学两个维度)、理解程度(包括理论和技术两个维度)、教学效果(包括课堂教学和实验教学两个维度)、帮助程度(包括对专业学习的帮助和对以后工作的帮助两个维度)。参与学习的12个学生对课程效果的评价都较高,四个部分的平均分基本都在4.5分以上。

 

第二阶段为企业问卷,主要调查参与课堂教学的企业大数据工程师,在学生完成课程任务和实验设计后,对其技术水平和创新能力的评价,该问卷使用李克特5级量表进行评价(1表示很不满意,5表示很满意)。企业问卷分为三个部分,即理论水平(包括理论掌握程度、理论应用程度、理论创新程度)、技术水平(包括基础知识、初级技能、中级技能、高级技能四个掌握程度)、创新水平(创新思维、创新设计、创新技术、创新应用)。参与调查的5位企业技术人员对学生课程任务和实验设计的评价较高,三个部分的评分大多都在4分以上。

 

这一课程实验表明:传统在线教学容易引起“浅层学习”“高耗低效”“被动吸收”等诸多问题[47]。与传统在线教学体系相比,基于数字孪生讲台的在线沉浸式教学体系的最大先进性在于:通过以虚映实、以虚控实、虚以实用,有针对性地为学生提供适切性的学习支持(包括教学决策、讲解方式、讨论模式等),较好地提升了学生的学习体验(包括多维可视化、理论应用智慧化场景、理论应用案例可视化、“大数据+3D建模”、“大数据+虚拟现实技术”,以及“大数据+增强现实技术”等在教学过程中的智慧化应用),并通过校企合作、师生共建与共创,大大提高了学生主动性和积极性,引导学生由“浅层学习”走向“深度学习”,从而实现主动探索与创新,大大提升了学生技术水平和创新能力,进而实现培养适应人工智能时代发展需要的创新性人才目标。

 

5结语与展望


基于数字孪生讲台的在线沉浸式教学体系分析与流程设计

数字孪生讲台作为“大数据+AI”时代新技术的代表产物,正在重塑我们的教学感知与体验方式,也正在改变我们解决问题的思维方式。它实现了在线教学全数据驱动、全领域量化、全数据可视化的颠覆性变革。数字孪生讲台是教学信息化推进过程中,在线沉浸式教学方式创新的一种重要手段,也是“大数据+AI”在在线教学改革中的重要创新应用。在“大数据与智慧物流”实验课程中,我们初步构建了基于数字孪生讲台的在线沉浸式教学体系,并运用数字孪生技术设计具体的教学流程。当然,这仅仅是我们在数字孪生领域和智慧教学领域的初步探索,后期还将进一步提高“大数据+AI”的融合水平,并对该教学体系及教学流程设计予以迭代与完善,并针对更多的课程与学生样本进行实证分析。

 

我们认为,数字孪生讲台探索的价值在于:一方面,通过多源数据融合、虚实融合映射、教学服务融合优化,能够高效促进“在线教”与“在线学”的双向深度融合,提高了学生的在线学习积极性;另一方面,数字孪生讲台还可以实现对学生表情、动作的深入刻画,智能识别学生的个性化需求,让在线沉浸式教学真正做到“因材施教”。因此,数字孪生讲台在未来将进一步引导在线教学走向数字化、具身化、智能化。而随着数字孪生技术的不断成熟,它还将继续赋能与优化“在线教”与“在线学”的全过程,推动教学形态的拓展与丰富,促进数智融合在教学方面的创新性应用与发展。自然,这种创新性应用与发展将形成一种基于大数据的课堂互动新形态,引领新一轮的课堂教学变革,进而影响现代教育体系的革新与重塑。

版权所有:教育部科技发展中心虚拟现实研究中心 京ICP备19006395号