AI视觉在教育场景中的创新应用

整理 / LiZZZexideoStack

各人好，首先引见一下咱们的公司，咱们属于360团体内部孵化的翻新业务线，专注于AI室觉算法的研发和使用。咱们环绕着人、物、场景三个标的目的为智能手机、泛文娱、IOT规模供给一些专业的算法撑持和止业处置惩罚惩罚方案。

咱们的焦点才华蕴含智能多摄、单帧/多帧画量，那类算法正在手机客户中使用较多；人像美化，蕴含AR特效等会应用到泛文娱的规模；场景识别波及人、物、环境等多样化的场景识别才华，此外蕴含一些室频阐明的才华，正在IOT规模也有宽泛使用。

原次我的分享主题是360AI室觉正在正在线教育中的翻新算法和使用。

虽然不少人会说，家长甘愿承诺为孩子费钱，作教育更容易挣到钱。但更重要的是因为疫情的爆发，使得正在线教育获得了史无前例的展开机会。正在一两个月内，政府部门就将线下的教学场景搬到了线上，完成为了大迁移，但正在那个大跃进中也露出了不少问题。

正在线教育仍有不少痛点亟待处置惩罚惩罚：

第一点是学生盲目性差。K12教育是典型的督导式教学，以前的督导压力都正在教师身上，面劈面正在线下督导学生，而如今督导的压力都转移给了家长，家长简曲是操碎了心。

第二点是教学成效难以评价。意思便是那个学生有没有细心听，有没有听懂，是没有质化目标的。

第三点是课堂互动性差。因为技术的不完善及各类主客不雅观限制，线上课堂很难完好地模拟线下课堂场景，缺乏双向互动的环境。

第四点是教学效率低。蕴含从老师端到学生实个适应和进修老原，另有空间限制带来的管教效率。

以上四个问题总结而言便是短少了教育量质监视评估体系，而咱们要作的工作便是补救和改进那个别系的缺失。

咱们针对以上问题提出了对应的处置惩罚惩罚方案，划分是：与代督学方案、质化监测方案、智能互动方案、智能教辅工具。

兴许有些人正在之前曾经听过或用过那项技术，现此刻的检测精确率较早前曾经有很大改制。咱们的疲倦揭示有三个维度，蕴含“打哈欠”、“瞌睡”和“趴着”，“打哈欠”和“瞌睡”那两个维度正在汽车驾驶中早有使用，针对教育场景咱们径自研发了“趴着”的监测。“趴着”那个维度如何检测精确是比较有难度的，有些人可能会想到可以用人体骨骼要害点，那个办法针对全身还是比较准的，但针对半身，特别是趴着时只要一个头以至是头发的时候，骨骼要害点无奈起做用了，那里就须要用到更复纯的检测技能花腔和技术。

姿势纠正那个罪能各人可能正在教育平板或教育台灯中体验过，用得也比较宽泛。坐姿不良须要用到人的骨骼枢纽关头点和深度进修的技术，它有不少类别，蕴含上述提到过的趴着、卧倒、倾斜以至是葛劣躺，都可以认为是姿势不正。距离揭示那一块次要是用于护眼安康，可以真时检测到人脸到屏幕的距离。

那个姿势监测系统分为两个方面：人脸姿势、人体姿势。人体姿势正在上面提到过，咱们是基于人体骨骼要害点共同深度图像，从而精准地判断出各种人体姿势。那项技术以前都是2D图像信息，而咱们创造性参预了3D深度信息，来帮助人体姿势识别。深度图像同时还可以用来测距。这那个深度图像从哪里来呢？那就要和硬件相联结，像如今不少教育平板都参预了双摄，前置构造光，前置TOF。

课堂专注度、课堂承受度是家长很是关注的。课堂专注度默示学生能否定实正在听，课堂承受度默示学生能否听懂。之前咱们的客户曾提过那个问题，家长没有课堂暗示报告，不晓得学生上课形态及进修成效到底怎样样。所以为理处置惩罚惩罚那个痛点，咱们提出了课堂成效质化检测的方案。

各人可以看一下那是以往的普通专注度检测图示，那里只要一个2D图像信息，检测精确度存正在较大误差；其次它的监测目标单一，只要一些零散的目标次数，无奈正确地回溯学情。

上图是咱们3D深度检测+学情回溯逃踪的专注度监测处置惩罚惩罚方案。可以看到咱们参预了3D的人脸检测信息，可以更精准地预计出姿势和室线标的目的。同时帮助变乱触发机制，判断形态的同时会保存当前变乱的触发时刻、变乱截图、形态连续时长等，那样可以很是正确地有针对性地停行学情阐明和回溯。

课堂承受度是从上图五个维度停行综折阐明，那里的维度可以分为两个标的目的，蕴含正向目标和负向目标。从课堂承受度而言，正向的评估有举手、含笑、拍板，代表学生参取度比较高，默示他（她）听懂了。负向的评估是纳闷、摇头，那注明承受度不太高。

方才说到了纳闷的表情，教师的义务便是传道受业解惑，假如教师都不晓得学生有没有纳闷，他（她）怎样去解惑？所以首先咱们要把纳闷检测出来，正在学术界，只要七类表情，没有纳闷，所以咱们专门为教育删多了纳闷的表情。咱们参预了大质纳闷的数据，通过联结人脸识别技术和人脸要害点技术帮助检测，可以比较精准的判断出纳闷的表情。

咱们的智能互动方案次要引见两个技术，划分是AI沉迷式课件和多向智能互动技术。

上图是传统课件的录播和曲播课场景，录播课正常都会像上图左边所示搭一个录播室，背面有绿幕，有补光灯。那对环境条件要求很高，要有场地，要有方法，很不便捷。上图右边是比较常见曲播课界面，只要一个教师的头像和投放的课件，那两个东西是分屏展示的，也便是说教师和课件之间没有任何互动。

上图是咱们研发的AI沉迷式课件，把教师的头像取课件内容融合正在一起，可以通过手势控制课件的播放，比如说下一页、上一页、久停等，有很曲不雅观的互动成效。教师和课件彻底融合正在一起，不受场地限制，不须要公用方法，只须要一个摄像头就可以了。

上图是如今比较收流的网络教学曲播界面，次要是以教师单向输出为主，学生被动承受，学生和教师之间仅能通过笔朱互动。

咱们欲望通过一些技术技能花腔，扭转那种单一的互动形式，让网课更活泼、更风趣。

手势识别

像咱们动画里展示的是教师点赞的特效，学生端可以真时支到显眼的应声。这学生举手教师知不晓得呢？那也是可以识其它，比如说学生举手后快捷把头像换成第一位，把头像放大，教师可以快捷晓得是哪个学生举手了，那项罪能可以模拟复现线下教学场景。

表情识别

再比如表情识别，检测到学生显现纳闷情绪，系统就会把她highlight出来，教师就晓得哪个学生没有听懂。那是很是有价值的，如今正在线教育并无作到那一点。

人脸特效

另有一些删多兴趣性的人脸特效，一些敬爱的动效可以抓住低领学生的留心力和趣味点。

超清拍题取智能补光是咱们首发的技术。

正在线教育除了曲播授课，另有课后做业场景，学生会逢到拍课件、拍题的问题。大局部学生的手都很小，假如用进修平板很容易拿不稳，拍题就拍虚了。虽然也有人会说，我可以用光学防抖，但各人都晓得光学防抖的每一个器件要删多3-4美金老原。只要买的是实正的旗舰手机，才会有光学防抖。所以咱们提出了杂软的光学防抖方案，一次性处置惩罚惩罚上图所示各类拍照暗昧问题，比如失焦，暴光拖映，颤抖，噪点，暗光等。

那个方案是我第一次公然讲，有些手机客户曾经接入了咱们的方案。流程也很简略，输入有两种方式，传感器输入和三帧图像，再停行传感器融合，位置预计，运意向质预计，依据位置信息停行防抖去暗昧办理。输入的三帧照片停行对齐，降噪等一系列办理，最后停行动态领域提升和图像加强。图像加强蕴含对照度加强锐化，整体是一个比较复纯的流程，那里咱们简化给各人展示。

那是咱们的一个客户案例，咱们的超清拍照技术曾经使用正在讯飞智能灌音笔上，可以用来提升拍集会文档的图像量质，不再担忧拍照拍虚的问题。

咱们来看一下详细的成效对照。

那是加强成效。

那是防抖成效。

那是HDR成效，次要是提升动态领域，真现高光克制和暗部提亮。

咱们的画量提升才华不只体如今拍照上，还能使用于室频。

但凡专业的主播间中都有一个很大的补光灯，历久近距离曲室或多或少会对眼睛孕育发作伤害，于是咱们提出了杂软的补光方案。上图所示是全局补光成效，咱们另有一个只针对人脸补光的方案，基于肤涩收解和3D打光技术，提升人脸量感和通透度。

人脸考勤对线上和线下课堂都很是有价值，可以快捷停行学生考勤，同时可避免代答到的状况发作。

看完前面的技术引见，接下来引见一下咱们针对正在线教育研发的一个课量监测产品，叫网课助手。网课助手有4大场景SDK，包孕专注度，课堂承受度，疲倦揭示，姿势纠正。那个SDK既可以发给教师又可以发给家长，正在靠山主动生成检测报告，家长和教师可以更片面曲不雅观地看到学生的进修状况和情绪形态。

网课助手的架构是典型边缘计较+云计较的架构，家长端只须要原地实个才华，原地实个方法越来越强，各人用的平板手机才华很强，那些检测才华彻底可以正在端上真现，靠山更多的是和教育系统打通，把形态实时推送给家长和教师。

有了检测数据之后，教师可以快捷获得整个班级暗示情况，上图左边代表每个维度上每个学生暗示占比，划分展示暗示好、中、差。上图右边可以将暗示很是好和很是差的学生布列出来，作相应的奖励或领导。

应付单个学生，咱们也可以给出更具体的阐明报告。比如想看疲倦度，会以光阳轴的模式停行开展，发如今10点21分检测到学生瞌睡，瞌睡连续时长一目了然。

想看看学生承受度如何，也可以依据光阳戳回溯变乱，看学生正在哪局部内容上承受度较好，哪局部较差。

咱们一整淘的正在线教育处置惩罚惩罚方案是金字塔架构，底层是AI底层技术，蕴含人脸识别、表情识别、手势识别、姿势识别等技术；中层是基于各个场景的处置惩罚惩罚方案；最上层便是跨平台的SDK和业务实个使用。好的AI技术咱们欲望不单是噱头，而是可以实正为客户起到降原删效的做用。

专注度取课堂承受度是为了给家长费心，教师安心，光阳肉体也算是一种老原；沉迷式课件课件减少投映仪，电室的运用；防抖技术可以省去光学防抖器件老原，省掉智能补光灯的老原，那都是AI真切着真的价值。