深度推理 AI 能否替教师评阅反思性写作?医学教育个案研究给出谨慎答案
评分一致性与稳定性不足,AI反馈仍需教师把关
Society of China University Journals
生成式人工智能正在被引入医学教育的多个环节,作业评阅也成为教师和研究者关注的应用场景之一。对于有标准答案或参考答案的简答题,大语言模型已经显示出一定评分能力;但当作业没有唯一答案,需要学生结合课程学习、见习经历和职业理解进行反思时,AI 是否仍能给出可靠评价?
发表于《中华医学教育探索杂志》的一项个案研究给出了较为谨慎的回答。来自四川大学华西第二医院、国家教材建设重点研究基地(高等学校医学教材研究)和四川大学华西医学中心的研究人员,以医学生反思性写作作业为对象,考察了具有深度推理功能的大语言模型在长文本主观题评阅中的表现。研究发现,两种模型能够生成较完整的评语,但在评分一致性、评分稳定性、评分标准对齐和学术诚信判断等方面仍存在明显不足。作者据此指出,现阶段深度推理大语言模型尚不能作为评阅医学生反思性写作作业的有效工具,更合理的方向是从“工具替代”转向“人机协作”。
反思性写作是一类难以简单标准化的作业。它不只是考查学生是否掌握课程知识,还涉及学生能否从实践经历出发,思考医学职业、医患关系、医学伦理、公共卫生以及个人成长等问题。相比有参考答案的简答题,这类开放性长文本更依赖评价者对原创性、思考深度、联系实际、写作表达和学术规范的综合判断,也因此更能暴露 AI 评阅在复杂教育评价中的边界。
研究团队选择四川大学 2017 年秋季学期“临床医学导论”课程中的反思性写作作业作为评阅对象。该时间早于公众可及的大语言模型出现,因而学生写作和教师原始评阅均未受到大语言模型影响。课程共收到 293 份反思性写作作业;研究人员将这些作业提交给 DeepSeek-R1 和 Kimi K1.5 长思考两个当时具有代表性的国内深度推理大语言模型进行评阅,其中 5 份作业被 DeepSeek 以“可能违反使用规范”为由拒绝评阅,最终纳入 288 份作业进行评分、评语及一致性分析。
从总体分数看,模型与教师评分的中位数均为 34 分,但评分分布并不相同。教师评分最集中,四分位数间距为 1.00;Kimi 为 2.00;DeepSeek 为 3.00,波动最大。进一步分析显示,中心分数接近并不意味着评价一致:三者评分的组内相关系数为 0.126,Kendall’s W 为 0.012(P=0.033),提示绝对分数和相对排序的一致性均较差。两两比较中,DeepSeek 与教师、Kimi 与教师、DeepSeek 与 Kimi 的 Spearman 相关系数分别为 0.204、-0.030 和 0.136,相关性均较弱。
评分稳定性同样不理想。研究人员利用两个模型的“重新生成”功能,让它们对同一批 288 份作业进行第二次评分。结果显示,DeepSeek 第一次与第二次评分的 Spearman 相关系数为 0.358(P<0.001),Kimi 两次评分的相关系数为 0.354(P<0.001)。这说明同一模型面对同一份作业时,两次评分之间虽存在统计学显著相关,但相关强度仍然有限。对于课程评价而言,评分不仅需要看似合理,还需要稳定、公平和可解释;在这一点上,当前模型表现仍难以满足直接应用的要求。
不过,研究并未简单否定 AI 在评阅中的辅助价值。与教师较短的评语相比,两个模型生成的评语更长,结构也更完整。DeepSeek 评语长度中位数为 84 个字符,Kimi 为 87 个字符,而教师评语长度中位数为 14 个字符。模型评语通常会先概括作业选题或写作思路,再指出主要优缺点,并提出修改建议。部分评语能够较准确地识别学生写作中的问题,例如对医学职业理解不够准确、论据支撑不足,或课程内容与见习经历结合不充分。
文本分析显示,两种模型生成的评语与评分标准关注点并不完全一致。模型更倾向于关注内容质量、选题和写作深度,而对写作结构、作业格式、引用规范等学术规范问题关注不足。Kimi 评语与评分标准偏差相对更大,DeepSeek 相对接近但仍有差距。此外,模型对抄袭和作业雷同的判断并不可靠,提示其尚不能独立承担涉及学术诚信的评阅任务。
研究还发现,AI 评语中的建议质量并不稳定。有些建议较为具体,例如提醒学生结合相关课程内容、政策或见习经历展开分析;但也有一些建议较空泛,如要求“提出更具前瞻性的观点”或“进一步优化内容”。部分建议对大一学生要求过高,超出了课程作业的实际定位。有些评语还存在前后不够一致的问题,例如一方面肯定文章具有一定深度,另一方面又笼统指出观点展开不足。对于抄袭或雷同的判断,模型表现也不够可靠:有时给出无法核实的链接或文章标题,有时将引用不规范误判为严重抄袭,也存在教师发现的问题未被模型识别的情况。
这项研究揭示的并不是“AI 不能参与教育评价”,而是提醒教育者区分两类能力:生成反馈文字的能力,并不等同于作出可靠评价判断的能力。尤其在医学教育中,反思性写作承载的不只是写作训练,还涉及学生对职业责任、伦理判断和医学人文的理解。这样的评价任务不能只看评语是否流畅,更要看评分是否稳定,反馈是否准确,判断是否符合课程目标。
因此,论文更强调建立人机协作策略,而不是让 AI 直接替代教师。教师可以利用模型帮助概括作业主题、形成初步反馈框架,减轻部分书写负担;但评分、评语修订、抄袭判断以及与教育价值相关的关键判断,仍需要教师复核和把关。对于同一份作业,如果不同模型评分差异较大,或评语之间存在明显矛盾,更应成为教师重点检查的对象。
研究也进一步提出了一个值得医学教育工作者思考的问题:如果教师用 AI 设计作业,学生用 AI 完成作业,教师再用 AI 批改作业,作业本身的教育意义是否会被削弱?当 AI 被用于处理所谓“繁琐事务”时,教师也需要重新审视这些任务是否真正服务于学生学习。对于反思性写作而言,评价的核心不只是给出分数,而是帮助学生形成对医学、患者和自身职业成长的深入理解。
需要说明的是,这是一项个案研究,结论不宜直接推广到所有课程、所有作业类型或所有大语言模型。研究样本来自一门课程一个学期的作业,教师评分也来自 2017 年秋季学期一位教师的原始评分,作为效标仍有局限。研究也未进一步考察学生是否会根据 AI 评语修改作业,以及这些反馈是否真正促进学习。随着模型能力和教育应用方式变化,相关结论仍需在更多场景中继续检验。
即便如此,这项研究仍为医学教育中的 AI 应用提供了一个清晰提醒:深度推理能力并不自动等于可靠评价能力。对于开放性、价值性和反思性较强的学习任务,AI 可以参与评阅流程,但教师仍应处于评价流程的中心。未来,医学教育中的 AI 应用不应只追问“能不能替教师批改作业”,还应进一步追问:什么样的作业值得学生认真完成,什么样的反馈真正促进学生成长,以及人机协作如何让学业评价更公平、更有意义。
论文题目: 从工具替代到人机协作:深度推理大语言模型评阅医学生反思性写作作业的个案研究
英文题目: From substitution to human-AI collaboration: a case study on assessment of reflective writing assignments of medical students using reasoning-capable large language models
期刊: 《中华医学教育探索杂志》
DOI: 10.3760/cma.j.cn116021-20250805-02199
作者单位: 四川大学华西第二医院;国家教材建设重点研究基地(高等学校医学教材研究);四川大学华西医学中心
Disclaimer: AAAS and EurekAlert! are not responsible for the accuracy of news releases posted to EurekAlert! by contributing institutions or for the use of any information through the EurekAlert system.