您的当前位置:首页课堂教学环境下学生学习兴趣智能化分析

课堂教学环境下学生学习兴趣智能化分析

来源:小侦探旅游网
课程与教学 课堂教学环境下学生学习兴趣智能化分析 陈靓影,罗珍珍,徐如意 (华中师范大学国家数字化学习工程技术研究中心,湖北武汉430079) f摘要】学习兴趣影响学习发生的方式和学习过程,是提高学习效果的重要因素。目前对教学环境下学生学习兴 趣的研究大多采用传统的问卷调查或案例分析等方法,不利于教师对课堂中学生学习兴趣的及时获取以便有效改善 教学行为。因此,本文基于多模态自然感知技术展开对学习兴趣的智能化分析研究,提出了三维学习兴趣模型,通过 对头部姿态、面部表情、课堂互动多模态信息识别与融合,从认知注意力、学习情感与思维活跃度三个维度综合理解 学生的学习兴趣。实验结果表明,该学习兴趣智能化分析方法能真实反映学生的学习兴趣状态,为教师改进教学方 法、提高教学效果提供客观依据及有效手段。 『关键词】课堂环境;学习兴趣智能分析;多模态融合;自然感知技术;学习兴趣模型 【中图分类号】G434 【文献标志码】A 【作者简介】陈靓影(1973一),女,湖北武汉人。教授,博士,主要从事教育信息化、特殊儿童教育、人机交互、机器学习 等方面的研究。E—mail:chenjy@mail.CClIU.edu.cn。 技术 也可用于兴趣状态分析,生理信号如心率、血 一、引 言 压、皮肤电活动以及脑电波信号也可用于预测学习者 学习兴趣是指“个人对学习活动的一种积极认识 的兴趣状态嘲。各种单一模态的方法有各自的优势与 倾向和情绪状态”IlI。研究表明[21,学习兴趣影响学习发 劣势,基于单一模态的方法不足以全面地反映研究对 生的类型或方式,也影响学习的过程或机制。学习兴 象的状态。而多模态的方法能更有效地表达研究对象 趣对学习目标的完成质量有重要影响,是提高学习效 的状态。例如。Kapoor等融合来自摄像头、压力椅、压 果的重要因素。因此,对教学环境下学生学习兴趣的 力鼠标和心理信号传感器多模态信号来检测学生在 分析研究十分有意义。学习兴趣状态包含了学习过程 学习过程中的受挫状态,发展基于决策融合的高斯过 中的认知活动和心理活动[31。随着自然感知技术的快 程分类方法。识别率达79% 。Nosu和Kurokawa融合 速发展.教学环境中的学生学习兴趣智能化分析成为 了表情识别与心率、呼吸频率、手指温度生理信号识 可能。学习兴趣智能化分析研究大致可分为单一模态 别推测学习者心理状态『l01。总体而言,基于多模态信 的方法和多模态的方法。单一模态的方法是针对单一 息的学习兴趣分析比单一模态能获得更丰富的信息、 感官的信息处理。多模态的方法是同时处理来自多个 识别率显著高于单纯依赖表情识别的方法fll】。 感官的信息。 目前学习兴趣的智能化研究侧重于对学习情绪 单一模态方法的代表是基于面部表情识别与头 或者认知注意力的分析,并未综合考虑学习过程中的 部姿态估计的方法。面部表情是反映人情绪状态的最 认知活动和心理活动,不能全面反映学生的学习兴趣 自然的途径之一 。头部姿态能估计人的注意方向[51, 状态。因此。我们首先从教育心理学的角度提出了包 是学习兴趣表现的重要因素。此外,语音识别同、触屏 含认知注意力、学习情感与思维活跃度的三维学习兴 基金项目:国家重点研发计划:“教育大数据分析挖掘技术及其智慧教育示范应用”(项目编号:2O18YFB100 500,2018YFB1004504); 中央高校基本业务费:“特殊儿童教育信息化研究”(项目编号:CCNU17ZDJC04) 91 电化教育研究 趣模型,分别反映认 注意与过程、正负情绪、课堂参 与程度与认知水: .从多个维度捕述学生的学习必 趣。然 通过埘头部姿念、面部表情、课堂互动多模态 信息的识别与融合,综合理解学生在教学环境中的学 习必趣 虽然日前关于多模态信息的学习兴趣分析已 取得r不错的进展, 是仍然缺乏教室大场景下多人 学习兴趣的-'…H Ij与理解方法。因此,我ffJ提 了教室 自然场景下的学生注意力与情感识别方法。以及基于 维学习必趣模型指导的多模态信息融合方法 、 二、三维兴趣模型的构建 认知心理学家AinlevI 】指出,兴趣包含认知与情 感以及二者之间的相互作用 德国心理学家Krapp E 从教育心理学的角度分忻了影响学习兴趣的因素,例 如学习的动机、情感、思维以及行为等,并指出影响学 习兴趣的因素是相瓦关联的,不能片面地从单一角度 来捕述学生的学习兴趣。同时也有一些研究者通过实 证研究 I发现学生的学习兴趣与课堂的参与程度、思 维活跃程度密切相关 基于以上研究基础,我们提出 了包含认知注意力、学习情感与思维活跃度的 维学 习兴趣模型,如 l所示,颜色越深代表兴趣程度越 高,认知注意力反映了重要的动机和认知取向.学习 情感描述了学习过程f{】情绪体验.思维活跃度体现了 课堂参与程度与认知水半。 维活跃度 图l 三维学习兴趣模型示意图 (一)认知注意力 注意力是心理活动对一定对象的指向和集中 是 伴随着感知觉、记忆、思维、想象等心理过程的一种共 同的心理特 】。研究表明.人类的关注方向是环境 中的参与者重要的动机和认知取向。它反映参与者将 新奇和有趣的线索联系在一起ll6l。课堂中学生的头部 姿态方向r叮反映学生的关注方向。因此,学生的认知 注意力可以通过检测学生的头部姿态方向米估计 研 究表}JJ],人类水平头部姿态在注意力方向中的贡献占 92 40.3%,而竖直头部姿态 注意力万向t{】的贡献为 28.4%,眼球的方向占31.1%_I71 【夫]此,小=史采用基于 头部姿态估计的检测方法柬估汁课常教学场景下学 生的注意力118I (二)学习情感 情感是人对客观事物是否满足一已的需要而产 生的态度体验。人的情感体验可以通过 郎衷情来表 达, 人的表情具有灵敏度高的特点 能把具有各种 复杂,受化的内心世界充分表现…米 研究表叫.人类 情感传递的过程中,语言f 7%,语气I 38%.面部 表情占55%t I。尤其在特定的应jH场景l}_l,人脸面部 表情会隐含一些特殊的含义 比如,存I 课过程中.教 师可以通过学生面部表情掌握学生对教学内容的必 趣程度。课堂中,学生的笑脸表情能反映学生的愉悦 状态以及是否对课堂学习内容感必趣等、 此,笑脸 是反映学生课堂学习兴趣程度的一种重要表情 为了 检测课堂中学生的自发笑脸表情,本文采川了基于条 件随机森林的自然笑脸检测方法 I .(三)思维活跃度 思维活跃度反映了学生的课堂参与 度与认知 水平,即是否同绕课堂问题积极思号参 动答题、 观点是否正确等。互动答题包含学q二#富的思维活跃 度信息l2】1 课堂中的互动不仅能反映学, 良好的课堂 适应性、思维的灵活性,还能反映学q三对问题的处理 解决能力 例如,学生干jI橄参与课堂答题,表明学生 对话题感兴趣。学生的课堂答题还能反映学生对问题 的思号深度、概括,抽象 辑推理学 的能 J 、反之. 思维活跃度很低的学生.可能是知识掌握程度不足或 埘学习内容不感必趣等。因此,师生互动答题是课堂 中检测学生思维活跃度的一项晕要手段 为了实时记 录学生的课堂互动答题频率与j 确率,本史开发r基 于云平台的师生互动系统 三、学习兴趣智能化分析方法 为了不影响学生的止常上课,我f『J采jfJ r非侵入 式、自然感知技术,通过摄像头币"师,¨ 动、卜台,首先 分别获取学生面部特 和互动信息,然 进行多模态 信弓‘识别:头部姿态估计与嘶郜表情识》j1j、 动信息 分析,预测学生的认知注意力、学爿情感和J思维活跃 俊,最后基于提出的 维学习必趣模 融合多模态信 号以别结果全面理解其学习必趣状态。 (一)头部姿态估计 头部姿态可反映学乍的课 注意力力‘阳、然而, 于人场景自然环境下的头部姿态f f‘受到儿何形 201 8年第8期(总第304期) 变、背景光照变化、前景遮挡问题和低分辨率等因素 的影响,导致头部姿态估汁一直是计算机视觉的难 为若干不相干的数据子集,使得各数据子集的类内篪 异比整个数据集类内差异有所降低 、冈此,夺义白 以头部姿态作为隐含条件.将样本数据空间划分为一 90。、一45。、0。、+45。、+90。不同的了集空问.然肟采川基 点。本文为解决课堂自然环境下学生头部姿态估计的 问题,采刚了基于树结构分层的随机森林头部姿态估 计方法,来分析教室中每个学生的注意力1181、将头部 姿态估计分为两层,首先基于树结构分层随机森林. 将水平头部姿态分为 类:左、正前、有。其次,根据上 一于条件随机森林的自然笑脸检测方法l1(】l,笑脸识别结 果如图3所示 ~ (三)师生互动信息分析 层结果将其再次二分类,得到水平五个姿态:一90。、 45。、0。、+45。、+90 I }。最后,结合人脸在教室内的j= 在教学活动中,教师和学生郜是主体,教学内容、 教学1 具等是教学活动中的客体。教学过 就址教学 一维空间位置和头部姿态,根据空间几何位置关系和课 堂环境先验知识,得到学生视觉注意力区域,检测结 果如图2所示 图2注意力检测结果例图 (二)表情识别 图3 自然笑脸表情识别结果例图 笑脸表情是课堂中最常见,且最为广泛理解的正 向表情.它是反映学牛课堂愉悦状态的关键信息。然 而.南于受到头部姿态多样性、光照变化、遮挡和低分 辨率等冈素的影响,大场景下多头部姿态的笑脸表情 识别问题也是计算机丰见觉领域的研究难点。南于条件 随机森林具有能从训练数据中快速学习,获得高精 度、鲁棒性好的分类能力~因此,本文采用了基于多头 部姿态估计的条件随机森林方法实现自然笑脸表情 的识别 由于条件随机森林能将数据状态空间划分 主体之间、教学主体与教学客体之问的 动 帅,f 动平台是实现课堂教学实时交互的一种有效方 0 本文采JH师牛互动平台记录课堂I 教帅和学,{ 之 的学习交互行为。例如,教师设计‘互动应答问题,学生 用移动智能终端将答案提交到教师端.教师端收集划 反馈信息后进行统汁分析 从 帮助教师掌握 :生的 认知水平。为方便学生与教师的课堂交互,交日 、 台 分为教师端APP和学生端APP,如冈4所爪 '墨 图4师生互动平台 (四)多模态信息融合 信息融合是指利用计算机技术.对按时序获得的 多模态信息在一定准则下,对具有卡H似或 旧特 模 式的信息进行处理,以获得比任何单个多模态信息蜓 有价值的信息[241。目前对多模态信息融合的研究通常 分为特征层和决策层融合。不同的融合方法各 优 势,特征层融合实现方便.而决策层融合根槲小同模 态的特性选取合适的分类器,具有更高的灵活 冈 此,本文采用了基下 维兴趣模型指导的特 层与决 策层相结合的分层融合策略求实现学生学 必趣分 析.如罔5所示 根据数据来源和时序间步性.将所何 融合因素分为两层、头部姿态估计的数据币¨表情} }{别 的数据米自于对教室视频监控数据的分析,}{.存时 上是同步获取:而答题频率和答题 I 确率求 f课常 交互数据,二者在时序上是同步获取的.交 数据币1】 教室视频监控数据分析在时序上并不M步 此,将 来源相同、时序同步的两组数据作为第一层融合 时考虑到客观赋权法和主观赋权法各自的优缺点,我 们根据不同的数据源采用了主客观相结合的综合方 法,其中,对于课堂交互数据采川客观赋权法进行融 合,即通过熵权法 对答题频率和答题正确率进行特 征融合后来估计学生的思维活跃度。对于视频监控数 据,首先通过头部姿态分类器和表情识别分类器分别 获取认知注意力和学习情感,然后进行决策融合。输 出结果与思维活跃度进行第二层决策融合,最后得出 学生的学习兴趣程度。这里的决策融合采用了主观赋 权法[7.61 出的表情识别方法获取的学生在注意力集中时笑脸的 时长;学生的认知水平和参与程度,分别用师生互动平 台问答环节中学生的答题正确率和答题频率来表示。 三维模型各维度及其对应的属性和特征见表1。 根据表1.对课堂上8位学生采集相应的特征, 采集结果见表2。可以看出,不同学生在相同的学习 情境所表现的认知注意力、学习情感和思维活跃度各 不相同.且个体差异性明显。说明本文采用的指标能 较好地反映学生学习状态的差异性。 表2 学生编号 注意力集中 8位学生各维度特征采集结果 No.1 No.2 No.3 No4 No.5 No.6 No.7 NO.8 475 235 370 43O 485 435 450 380 注意力不集中 25 265 130 7O 15 65 50 12O 图5三维兴趣模型指导的学习兴趣智能化分析框架 正面情绪 负面情绪 l1O 210 12O 11O 60 70 135 285 365 25 250 320 425 365 315 95 O O o.1 0.5 O.7 O4 0.8 O.3 0.6 1 n9 0.9 0.8 o.9 0.9 1 四、应用案例 基于上文提出的三维兴趣模型、自然感知技术和 多模态信息分层融合策略,在教室场景下作了应用案 例分析.教室场景如图2、图3所示。本案例截取教室 场景一段时长为500秒的课堂教学过程,采集课堂上 认知水平 参与程度 (二)分层融合 为了分析8位学生的学习兴趣度,我们考虑表2 中的4个指标:注意力集中时长、正面情绪时长、认知 水平以及参与程度,通过分层融合得出学生的学习兴 趣度。具体过程如下: 首先。采用熵权法[卿估计学生的思维活跃度。熵 8位学生的多模态信息。根据提出的多模态融合方法 分析学生的学习兴趣。具体过程如下: (一)特征选择与采集 表1 维度 认知 估计学生学习兴趣各维度及其特征 属性 特 征 权法能够从数据样本出发,根据数据的变异性客观估 计不同学习情境下的思维活跃度融合权重。在本案例 中,分别计算8位学生答题正确率和答题频率的信息 熵 和睇,然后按照公式(1)计算权重: w =注意力集中 注意力区域在教学双板上的时长(单位秒) 注意力 注意力不集中 注意力区域不在教学双板上的时长(单 位秒) 学习 情感 正面情绪 注意力集中时笑脸的时长(单位秒) 负面情绪 注意力集中时的非笑脸的时长(单位秒) 赫商 ∈, ∈ I…n,tq’ L2 得出的答题正确率A 和答题频率AF的权重关 系分别为0.6530,0.3470。思维活跃度M可表示为: M=o.653OxAR+0.3470xAF 思维 答题正确率:在问答环节.学生答题正 认知水平 确与答题总数的比例 参与程度 答题频率:在问答环节.学生答题数占 总题数的比例 活跃度 其计算结果见表3。 然后,采用主观赋权法[ 对认知注意力、学习情 本案例根据学生的认知注意力、学习情感以及思 感和思维活跃度三个指标分配权重并估计学生的兴 趣度。具体计算步骤如下: 1.数据归一化 维活跃度构建学习兴趣模型。我们用注意力集中的时 长来估计学生的认知注意力,用正面情绪的时长来估 计课堂学生学习情感.用学生的认知水平和参与程度 对注意力集中时长和正面情绪时长两个指标进 来估计学生的思维活跃度。其中.注意力集中的时长. 是由提出的头部姿态估计方法分析得到的学生的注意 力区域在教学双板上的时长;正面情绪的时长,是由提 表3 学生编号 思维活跃度 行数据归一化。 2.构建判断矩阵 通过对2O位专家的调查问卷给出三个指标两两 NO.4 No.5 0.5388 8位学生的思维活跃度 N0.1 0o000 No.2 04123 NO.3 0-6388 No.6 0.8347 No.7 0.5082 No.8 0.7388 0-7694 表4 8位学生的学习兴趣度 学生标号 NO.1 No.2 No.3 No.4 No.5 No.6 NO.7 No.8 兴趣度 0.2705 04280 O.6lO5 0.7l8l 0.5915 0.7497 0.5753 0.7213 之间的重要性程度,对2O位专家的调查结果取平均 值定义为有兴趣,低于兴趣度均值定义为无兴趣。同 值并构建判断矩阵A=[aJ,J≤j,J≤3。其中, 表示第 时将课堂教师对学生的评判结果和学生自评结果分 i个因素对第i个因素的重要程度。 别作为学生学习兴趣度的客观真值。然后将所提方法 3.权重计算 对学生学习兴趣的检测结果与客观真值进行比较,最 根据判别矩阵计算特征值和特征向量,最大特征 终得到所提方法的识别率,结果见表5。说明本文所 值对应的特征向量经过归一化后即为三个指标所分 提方法能较好地反映学生的学习兴趣。 配的权重。 表5 兴趣分类识别率(%) 4.一致性检验 方法 自评 教师评价 平均识别率 为了确定专家主观的经验和判断所获得的判断 识别率 75.oo 87.50 81.25 矩阵是否具有客观一致性,需要对计算所得的权重进 行一致性检验。以确定矩阵是否满足一致性要求。 五、结 论 根据以上步骤,可得到认知注意力、学习情感和思 本文从描述学生学习兴趣的主要因素人手,分别 维活跃度的融合权重分别为0.2534、0.1352、0.6113。 从学生的认知注意力、学习情感以及学生思维活跃度 其中认知注意力和学习情感属于第一层同步决策融 来构建三维兴趣模型,通过对课堂教学过程的视频与 合.融合的结果再和思维活跃度进行第二层异步决策 互动数据进行挖掘,采用基于树结构分层的随机森林 融合。总的学习兴趣度L可由公式(3)计算得到: 算法估计学生头部姿态分析注意力.通过条件随机森 L=D.2 4xTc+0.1352xT ̄-O.61 J3xM (3) 林算法识别面部表情估计学生的学习情感。以及采用 其中, 和 分别表示归一化后的注意力集中 云平台技术通过课堂互动来综合分析学生的学习兴 时长和正面情绪时长。8位学生的学习兴趣度见表4。 趣。最后通过分层融合策略来实现学生的学习兴趣智 本融合方法的检验一致性系数为0.019,满足一致性 能化分析。 检验要求.说明该方法的权重符合客观标准要求。从 通过案例分析表明。本文将检测到的学习兴趣分 本案例可以看出,不同的学生在相同的学习情境下, 别与学生自评和课堂教师对学生的评价进行比较,验 学习兴趣度的分布各不相同。 证本文方法对学习兴趣检测的可行性。未来,我们 (三)定量分析学习兴趣 将继续探索本文方法以学时为单位的课堂学习兴趣 我们将学生的学习兴趣分为两类:高于兴趣度均 分析,同时利用教学大数据提高分析的准确性。 『参考文献] 【1】顾明远.教育大辞典【M】.上海:上海教育出版社.1998:1820. 【2】赵兰兰,汪玲.学习兴趣研究综述[J].首都师范大学学报(社会科学版),2006(6):107—112. 【3】HIDI S.Interest and its contirbution as a mental resource for learning[J].Review of educational research,1990,60(4):549—571. [4]CHEN J,LUO N,LIU Y,et a1.A hybrid intelligence-aided approach to affect-sensitive e--learning[J].Computing,2016,98(1—2):215-233. 【5]FANELLI G,GALL J,VAN GOOL L.Real time head pose estimation with random regression forests【cl//Computer Vision and Pattern Recognition.Washington DC:IEEE,201 1:617—624. [6】SEZGIN C,GUNSEL B,HACIOGLU C.Audio emotion recognition by perceptual features[C]//Signal Processing and Communications Applications Conference.Washington DC:IEEE,2012:1--4. [7]CELINE COUTRIX,MANDRAN N.Identifying emotions expressed by mobile users through 2D surface and 3D motion gestures[C]// ACM Conference on Ubiquitous Computing.New York:ACM,2012:311-320. [88] SHEN L,WANG M,SHEN R.Affective e-Learning:using “emotional”data to improve learning in pervasive learning environment [J].Journal of educational technology&society,2009,12(2):176—189. [9】KAPOOR A,BURLESON W,PICARD R W.Automatic prediction of frustration[J].Intenrational journal fo human—computer studies, 95 2007,65(8):724-736. 【10]NOSU K,KUROKAWA T.A multi-modal emotion—diagnosis system to suppo ̄e—Learning【C]//International Conference on Innovative Computing,Information and Contro1.Washington DC:IEEE,2006:274-278. 【1 1]MENG H,BIANCHI-BERTHOUZE N.Affective state level recognition in naturalistic facial and vocal expressions[J].IEEE transactions on cybernetics,2014,44(3):315—328. 【12】AINLEY M,HIDI S,BERNDORFF D.Interest,learning,and the psychological processes that mediate their relationship[J].Journal of educational psychology,2002,94(3):545-561. [13】KRAPP A.Interest,motivation and learning:an educational-psychological perspective[J].European joumal of psychology of education,1999,14(1):23—40. 【l4]施建农,徐凡.超常与常态儿童的兴趣、动机与创造性思维的比较研究[J].心理学报,1997,29(3):271—277. [15】李卉,王蔚.基于Kinect体感交互的儿童注意力测评系统[J].现代教育技术,2014,24(7):120—126. [16】POSNER M I.Attention in cognitive neuroscience:an overview[J].M.s.gazzaniga the cognitive neurosciences,1995:615-624. 【17]PROUDLOCK F A,SHEKHAR H,GOqTLOB I.Coordination of eye and head movements during reading[J1.Investigative ophthalmology&visual science,2003,44(7):2991. 【1 8】LIU Y,CHEN J,SU Z,et a1.Robust head pose estimation using Dirichlet—tree distribution enhanced random forests【J]. Neurocomputing,2016,173(P1):42—53. [19】DARWIN C.The Expression of the emotions in man and animals[M].Cambridge:Cambridge University Press,2009:692—696. [20】罗珍珍,陈靓影,刘乐元.基于条件随机森林的非约束环境自然笑脸检测方法[J].自动化学报,2018(4):696-706. 【21】林崇德.思维心理学研究的几点回顾[J].北京师范大学学报(社会科学版),2006(5):35-42. [22】韩后,王冬青,曹畅,等.数字化环境下课堂教学互动行为的分析研究【J]_电化教育研究,2015,5(36):89—95 [23]王晓晨,江绍祥,黄荣怀.面向智慧教室的中小学课堂互动观察工具研究[J].电化教育研究,2015,9(36):49-53. 【24]管清云,陈雪龙,王延章.基于距离熵的应急决策层信息融合方法[J].系统工程理论与实践,2015,35(1):216-227. 【25】谢赤,钟赞.熵权法在银行经营绩效综合评价中的应用【J].中国软科学,2002(9):108-110. 【26】贺涛.主客观赋权法在网络教学评价中的应用[J].价值工程,2012,31(13):163-164. Intelligent Analysis of Students Interest in Class CHEN Jingying,LUO Zhenzhen,XU Ruyi (National Engineering Research Center for E—Learning,Central China Normal University,Wuhan Hubei 430079) [Abstract]Learning interest,which affects the way and process of learning,is an important factor to improve the learning effect.At present,the study on students learning interest in class mostly adopts traditional methods such as questionnaire survey,case analysis,which are not conductive for teachers to know students interest timely and improve their teaching behaviors effectively.Therefore,this paper conducts an intelligent analysis of learning interest based on multi-modal natural perception technology, and proposes a three-dimensional learning interest mode1.Owing to this model,through recognition and fusion of multi-modal information of head posture,facial expression and classroom interaction,students learning interests can be comprehensively understood from three dimensions of cognitive attention,learning emotion and thinking activity.The experimental results show that the intelligent analysis of learning interest can be used to reflect students learning interest,which provides objective basis and effective means for teachers to improve their teaching methods and teaching effect. [Keywords]Classroom Environment;Intelligent Analysis of Students Learning Interest;Multimodal Fusion;Natural Perception Technology;Learning Interest Model 96 

因篇幅问题不能全部显示,请点此查看更多更全内容