人工智能教育应用的偏见风险分析与治理

　　[摘要]在倡导教育包容与公平的时代背景下，教育面临着以个性化、自适应为特征的智能技术所带来的偏见风险。在智能教育产品的研发过程中，潜在的设计偏见、数据偏见和算法偏见会使教育领域面临多重风险，如教育活动的公平性受阻、教育系统内部的歧视加剧、教育中的多元化特质消解和学生思想窄化。学校、科技公司、监管机构等组织应当携手共进，提前侦测偏见风险并加强治理，包括：提升研发团队的教育理解和多元眼光，让师生成为产品的合作创造者，加强偏见检测和道德评估过程，建立可解释、可审查、可纠正的系统优化机制，开展面向师生的人工智能素养教育，确立人工智能在教育中的应用范围和伦理规范，从而争取实现人机良性互动，打造多元包容的智能教育环境。

　　[关键词]人工智能教育应用；人工智能伦理；教育包容；算法偏见；数据偏见

　　一、引言

　　当前，关于人工智能教育应用（ArtificialIntelligenceinEducation，简称AIED）的讨论非常热烈。无论是作为辅助教学、校园管理的工具，还是学科教育的重要内容，人工智能都为教育发展注入了新动力。有支持者主张，AI是基于真实教育数据做出决策的，较之人类决策更加客观、公正和权威。然而，真的是这样吗？普林斯顿大学的一项研究发现，AI和人类一样带有偏见，它们会将女性群体与“家庭”“艺术”挂钩，将男性群体与“事业”“野心”挂钩，将有色人种群体与一些令人不悦的词语挂钩[1]。随着AI在各行业中承担起愈发重要的决策角色，诸如此类的偏见足以对我们的真实世界产生影响，教育领域也不例外。

　　二、研究背景

　　有学者指出：“‘适应与个性’和‘包容与公平’都是现代教育技术发展的重要范畴，但令人惊讶的是，却鲜有这两个领域交汇处的研究。”[4]AIED及相应的创新教育模式一方面能够促进优质资源共享，弥合教育鸿沟，推动教育公平进程；但另一方面，因社会权力结构分布带来的偏见，可能会因为对适应性教学和个性化学习的追求而被巩固和加剧。如今，我们站在这个十字路口，应当厘清教育包容与公平和适应与个性之间的关系，充分认识研究AIED中所存在的偏见问题的意义。

　　（一）智能时代下教育包容与公平的新局面

　　包容与公平始终是教育的核心主题。联合国教科文组织（UNESCO）将“确保包容和公平的优质教育，让全民终身享有学习机会”作为2030年教育分支的可持续发展目标之一[5]。经济合作与发展组织（OECD）将教育公平和教育包容作为衡量教育成功的两项标准[6]。当AI进入教育场景，教育包容与公平的内涵也必将迎来新的变化。只有在确保AIED不会阻碍教育包容与公平的前提条件下，才能真正可持续性地为教育赋能。

　　（二）个性化支持与教育歧视的一线之隔

　　实现个性化学习基本上是教育领域终极追求的目标[7]。过去数十年，教育技术越来越强调以学生为导向，推动个性化自适应学习的发展[8]，如智能导师系统、教学机器人、智能学习伙伴、自动化评估系统、虚拟现实技术教育应用、个性化慕课等[9]。但是，当偏见悄悄潜入其中，“因材施教”可能因此变味，与“教育歧视”仅是一线之隔。

　　三、AIED的偏见生成机制

　　有学者指出，社会不公是由社会结构性壁垒和个人认知性壁垒构成的[12]。前者是指历史上的不公在政策、实践、价值观中的渗透；后者是指用于维持社会不公结构的个人层面的思考活动会潜在地加深理解、行为、决策中的刻板印象。这两层壁垒作用于AIED，使之沿袭甚至强化带有偏见的社会思考模式，导致学习者被无限循环的偏见所包围。偏见会贯穿于AIED的生命周期———从系统的初步设计、收集数据、建立数据库、算法编写、模型训练，直至应用落地，可归纳为以下三种生成机制：

　　（一）设计偏见：特定群体被排除在目标受众之外有报道称，尼康某型号的相机在拍摄亚洲人时总是会弹出“是否有人眨眼？”的提示。加纳裔美国研究员乔伊·布拉姆维尼（JoyBuolawini）在使用实验室设备的时候，屡次遭到人脸识别系统的“无视”，某天她带上了一张白色面具，系统居然成功识别了她的“面部信息”[13]。有些产品在设计之初就忽略了某些特殊群体的存在，致使某些特定学习者群体无法与其他学生同等获取系统的服务。有研究者指出，这是一个教育发展至今都未曾面临过的、全新的歧视维度[4]。

　　（二）数据偏见：社会结构性壁垒的复制与重现数据正在重塑着我们的教育，从课堂分析到成绩预测，从招生入学到生涯规划等，越来越多的教育活动在不断被数据化。数据科学家维克托·迈尔-舍恩伯格（ViktorMayer-Sch觟nberger）指出，大数据和教育的结合将超越过去那些“力量甚微的创新”而创造真正的变革[15]。用于训练、学习、挖掘的原始数据是AI系统的基石，其中立程度直接影响系统输出的结果[16]。

　　四、AIED的偏见风险分析

　　随着AI逐步深入教育场景，背后的偏见问题在应用过程中渐渐暴露和发酵，社会争议性事件屡有发生。如果缺乏对偏见问题的敏感度，事前疏于评估偏见风险，可能导致出现范围更广、程度更深的负面影响事件。

　　（一）教育活动的公平性受到阻碍

　　随着AI在教育中的全方位应用，偏见风险会渗透在各类教育活动中。例如：在预测学生下一次统考成绩时，某些学生可能因为所在学区的成绩差而被系统认定将会表现不佳；一位学生正在回答简答题时，智能系统的自动纠正功能改变了她的遣词造句，甚至违背了她原本想表达的意思；AI在与某学生交流时习得了性别歧视并在和其他学生的交流时复制重现......虽然上述情况也许尚未出现，但在未来一旦发生，就很可能引发社会关注，有损教育公平。

　　（二）教育系统内部的歧视加剧

　　以学生为中心的智能学习环境中，偏见可能会导致特定学生群体遭到排斥，在性别、文化、地域、知识水平、家庭经济水平等方面加剧群体之间的歧视和隔离。如果说，不透明的全方位数据采集是对学生隐私权的“一次伤害”，那在此基础上形成带有偏见的决策和歧视性干预，对学生所造成“二次伤害”的影响则更深更广。在“算法中立”的幌子下，虽然我们并非有意制造歧视，但是最脆弱的社会阶层很可能会受到不公平的对待[27]。有学者发现了针对特定学生群体的价格歧视———在报名某权威的SAT在线辅导服务时，输入亚洲人社区的邮编，将会被收取更高的费用，高达其他地区学生的两倍[28]。

　　五、AIED的风险防治策略

　　智能教育产品的每个发展环节都需要关注偏见问题，组建团队、确定用户需求、产品设计开发、宣传推广、应用落地都须严格把关。跨文化方法应该被纳入政策制定、产品研发、团队建设等环节中。学校管理者和决策者、产品设计者和开发者、学生、教师、家长、科研工作者应当携手推进教育环境包容性和多元化的建设。

　　（一）提升研发团队的教育理解与多元眼光

　　如果技术人员对于教育过程不够熟悉，对于教育本质理解不足，缺乏情境体验和背景知识，就很可能基于错误或片面的教育认识在系统开发过程中嵌入自己的偏见，导致算法模型与教学实践脱节。首先，应该提升研发团队的教育理解力。智能教育企业应当注重培养员工对教育的正确认识，比如可以邀请教育学领域专家开展面向企业管理者和工程师的讲座、工作坊等培训活动，修正他们在教育方面的认知偏见。其次，研发团队同质化也是导致偏见的重要原因。因为人们往往难以察觉自身的内隐偏见，对于他人利益敏感度不足，同质化的研发团队更容易忽视与自身不同的群体需求，收集的数据也更多是来自同群体的样本。如开发图像识别系统时，非洲程序员的训练集里黑人照片更多，而亚洲程序员更多用黄种人的照片。因此，不少伦理专家都提出，组建研发团队时要关注成员在社会属性上的异质程度[4]。最后，还应该关注成员之间的学科异质性，构建问题解决的多元眼光。如地域偏见可能不会因为团队里增加了几位偏远地区的成员就被消除，但当团队中有计算机专家、数据科学家、教育专家、伦理学家等一系列技术和非技术角色时，就能够更全面地理解教育中的地域偏见问题，从而为寻找创新解决方案提供多元视角。

　　（二）让师生成为智能教育产品的合作创造者

　　互联网时代下“共同创造”成为汇聚各方力量的创新模式，师生无疑是教育技术重要的合作创造者[31]。智能教育产品的最终目标是帮助解决教育领域的问题。因此，企业应鼓励师生群体充分参与产品研发，积极与企业人员对话，清楚地传达需求和困惑。企业应对典型群体或特殊群体的需求展开充分的调研，邀请具有典型性或者特殊性的教师代表和学生代表，通过问卷、访谈、课堂观察等方式洞察用户行为，建立起鲜明的、动态的师生用户画像，在此基础上推进研发进程。

　　结语

　　迄今为止，国内AI在教学中的应用还没有达到“广泛”的水平，绝大多数智能教育产品都还处于弱AI的范畴，其中的偏见倾向尚不足以造成严重后果。但也许在不远的未来，AI将会获得更大的能力，足以左右孩子的教育和成长，控制人类的生活与思想。在感叹着AI为教育带来深刻变革与全新机遇，享受着智能化的服务与支持的同时，我们应当时刻保持着对于潜在“红线”的敏感和警惕。正如哲学家罗伯特·所罗门（RobertSolomon）所说：“我们曾经建立起来的那些关系，最终将会被用来塑造我们。”[34]17

　　参考文献

　　[1]CALISKANA，BRYSONJJ，NARAYANANA.Semanticsderivedautomaticallyfromlanguagecorporacontainhuman-likebiases[J].Science，2017，356（6334）：183-186.

　　[2]张中学，宋娟.偏见研究的进展[J].心理与行为研究，2007（2）：150-155.

　　[3]王旭.“红线政策”与美国住房市场的反歧视立法[J].社会科学战线，2016（5）：89-98.

　　[4]KNOXJ，WANGY，GALLAGHERM.Artificialintelligenceandinclusiveeducation[M].Singapore：Springer，2019.

　　[5]WorldEducatorsForum.Education2030：incheondeclarationandframeworkforactiontowardsinclusiveandequitablequalityeducationandlifelonglearningforall[M].Paris：UnitedNationsEducational，ScientificandCulturalOrganization，2015.

　　[6]刘宝存，屈廖健.PISA2012教育成功和地区的基本经验[J].比较教育研究，2015，37（6）：14-20，29.

　　沈苑，汪琼

《人工智能教育应用的偏见风险分析与治理》

上一篇：后疫情时期何以发展教师在线教学胜任力

下一篇：基础教育信息化发展的问题审视与战略调整