不读教材改刷AI题,大学成绩高出0.7个身位

AI教育大学实验LLM教学

数据源:HN + web research · HN

达特茅斯学院的MATH010(统计学导论)有一个公开的秘密:选这门课的学生,几乎没人读教材。学生自报的阅读完成率大约15%,授课教师私下估得更低——10%。对学生而言,这不是什么羞于启齿的事。一位受访学生反问研究者:“说真的,谁会读?”

但2026年春季学期,情况变了。有人把一个叫Phosphor的平台放进了课程里——和教师的严格程度无关。这个平台把教材内容拆成了24节课,每节课后跟一组4道题的测验——其中大约40%是简答题,由Claude(Anthropic的大语言模型)对照教师编写的评分标准自动批改。学生做完就出分,做不过可以无限次重试。没有任何分数挂钩,纯自愿。

结果:151名注册学生中,90.2%主动使用了这个平台。课程结束后,完整使用Phosphor的学生,期末考试成绩比从未使用的学生高出0.71到1.30个标准差。

在教育研究里,0.4个标准差就算”显著”。0.71是很大的效应量。

0.71个标准差到底是什么意思?

标准差是统计学里衡量数据”分散程度”的尺子。在考试成绩的场景下,如果全班平均分是75,标准差是10,那提高0.71个标准差意味着提高了大约7分。

但效应量(Cohen’s d)的妙处在于,它让不同研究之间可以横向比较。教育领域一些经典干预的效应量,可以帮读者建立直觉:

  • 把班级人数从25人减到15人:约0.2个标准差
  • 用”间隔重复”替代临时抱佛脚式复习:约0.6个标准差
  • 一对一人类导师辅导(Bloom的”两个标准差问题”):约2.0个标准差

Phosphor的0.71到1.30,大致落在”间隔重复”和”人类一对一辅导”之间。换句话说,这个AI工具做了一件通常需要真人介入才能做到的事。

但标题里的0.71和1.30是两个不同的数字。区别在哪?

论文采用了Tobit回归模型来同时估算两种参与行为的贡献:完成了多少节课的测验(0到24节),以及通过了多少轮模块复习(0到3轮)。模型预测,一个”完全参与”的学生(24节课全做完 + 3轮复习全通过)与一个”零参与”的学生相比:

  • 不控制任何变量:期末成绩差距约1.30个标准差
  • 用期中考试成绩控制学生本身的学业水平后:差距缩窄到0.71个标准差

后一个数字更保守,也更诚实——它把”好学生本来就好”的因素尽量剥离了出去。论文作者明确说,0.71应该被理解为一个保守的下限,而非精确点估计。期中考试本身和期末考试考的是重叠内容,用期中成绩做控制变量,相当于把Phosphor可能在中途已经产生的效果也一同”控制”掉了。

Table 4:Tobit模型联合估计。表格显示"Full-vs-zero gap (SD)"在不同控制条件下的变化——不控制任何变量时为1.30 SD,控制期中成绩后降至0.71 SD。图片来源:Bard, J. (2026) Balancing Efficacy and Engagement in Interactive Texts

90%自愿使用率,比效应量本身更值得关注

在Hacker News的讨论中,一位ID为Rperry2174的用户写了一条被广泛认可的评论:

“不管这玩意有没有效果,使用率本身更值得关注。这门课原先的教材阅读率是10-15%,而这个AI平台拿到了90%的自愿使用率。哪怕它单位时间的学习效率比传统教材略差,你实际上正在让6-9倍的学生参与到学习中来。”

笔者的判断是,这个角度切中了要害。在教育技术领域,最精致的教学设计和最先进的技术手段,如果学生根本不用,效果就是零。Phosphor真正的突破在于它重新设计了”阅读”这件事本身——把被动的、孤独的、无反馈的阅读行为,变成了一种主动的、即时有反馈的、类似”刷题”的互动。

学生对平台的接受度相当高。两次课堂匿名调查显示:94%的学生认为Phosphor比传统教材”更有趣”,94%-97%的学生认为它帮助自己更好地记住了内容。76%-87%的学生表示使用平台后上课准备更充分。

但要注意,这些调查是课堂上当堂做的。面对正在教这门课的教授,坐在教室里的学生有多大概率会说”你这玩意没用”?社会期望偏差在这里不可忽视。

Table 1:学生参与度与调查反馈。表中显示90.2%的学生至少使用过一次Phosphor,中位学生完成了24节课中的22节(91.7%)。课堂调查中超过94%的学生认为平台比传统教材更有趣、更有助于记忆。图片来源:Bard, J. (2026) Balancing Efficacy and Engagement in Interactive Texts

这不是一个AI聊天机器人

准确地说,Phosphor的核心机制是:学生阅读一段材料后,系统从题库里随机抽4道题。

AI让简答题的自动批改变得可行了——这才是关键,AI是否”理解”了学生回答倒在其次。在LLM出现之前,在线教学平台几乎清一色使用选择题——因为只有选择题可以零成本自动批改。而几十年的认知科学研究反复表明,要求学习者自己生成答案(constructed response)比从选项里挑答案(multiple choice),学得更深、记得更牢。

Phosphor的实验设计里恰好嵌入了这一验证:课程共三个模块,模块1和模块3的测验包含简答题(由AI批改),而模块2的测验因应学生反馈被临时改成了纯选择题。回归分析显示,模块1中每多完成一节课的测验,期中成绩大约提高1.6个百分点(R²=0.123,p<0.001);而模块2的纯选择题测验,完成更多题目与学生成绩之间没有任何剂量-反应关系(R²=0.001)。当模块3重新恢复简答题后,剂量效应也跟着恢复了。

AI在这套系统里真正的价值是批改简答题。一旦把简答题拿掉,AI就变成了一个普通的多选题刷题器——学生照用不误,但学习效果消失。

对照组在哪?——方法论的诚实审视

这篇论文最不能被回避的问题,Hacker News上已经替笔者问了:这是观察性研究,没有随机对照。

论文是观察性研究。没有随机分组,没有对照组。所有学生都有机会使用Phosphor,最后按使用程度分成了高参与组和低参与组(或零参与组)。论文作者在”局限性”一节的开头就坦承:“自我选择是核心威胁——完成更多测验的学生可能本来就更有动力、能力更强。”

具体来说,完成全部24节课测验的学生只有11.2%(16人),而同时完成全部测验和全部模块复习的学生只有31人。这些学生本身就是最自律的一批人。把一个零参与学生(可能根本没来上过几节课)和一个24节课全做完的学生放在一起比期末成绩,然后说差距是AI平台造成的——这在因果推断上站不住脚。

但论文做了一些值得肯定的处理。用期中考试成绩做控制变量的Tobit回归,把差距从1.30个标准差”打折”到0.71个标准差,这个折扣相当大,恰好说明自我选择确实解释了相当一部分效果。作者对”0.71是保守下限”的判断也有其逻辑:期中考试和期末考试大量重叠,期中成绩这个控制变量可能吸收了Phosphor在前半学期已经产生的部分效果。

HN用户radioactivist提供了一个尖锐但准确的总结:“基于他们的表格,大约16个学生(11.2%)完成了’完全参与’,而他们和零参与组之间的差距推动了主要结论。这不是一个大型随机对照试验。”

这篇论文的价值在于:它在一个真实课堂环境中,用可复现的方法,收集到了一组少见的高质量数据。90%的自愿参与率、简答题vs选择题的自然对比、以及0.71这个即便大幅打折后依然不小的效应量——这三件事放在一起,已经足够让教育技术领域认真对待。

AI的规模化效率 vs 人类教师的个性化深度

现在进入那个不太好聊的部分。

如果类似Phosphor的平台被证明有效,一个可以预见的路径是:顶尖大学用它增强传统教学,资源匮乏的学校用它替代一部分教学。前者是”AI+好老师”的叠加加成,后者可能是”AI替代请不起的老师”。

这不是科幻剧情。Khan Academy已经在大规模部署AI辅导功能,但2026年初他们自己报告的数据显示,只有15%的用户会规律性地使用他们的AI聊天功能。换句话说,即便是免费提供给全世界的AI教育工具,大部分人也不用。真正用得多的,是那些本身学习动力就强的学生——同样一批人,给什么工具都能学好。

Phosphor的90%使用率之所以引人注目,恰恰因为它打破了”AI教育工具没人用”的魔咒。但如果把这个平台扔进一个完全不同的教育环境——班级规模更大、学生基础更薄弱、缺乏课前动员和同辈压力——还会是90%吗?笔者没有看到任何理由认为会。

这指向一个更根本的张力:AI教育工具的效率优势在于规模化——一次开发,无限分发;但它的效果优势恰恰在于个性化——对每个学生给出针对性的反馈和判断。而”个性化”这件事目前仍然严重依赖学生的自主参与意愿。没有意愿,就没有交互;没有交互,AI和一本旧教材的区别只是排版更漂亮。

这篇论文真正告诉我们的事情

抛开”AI颠覆教育”的宏大叙事,这篇论文的核心发现其实相当朴素:

  1. 大学生不读教材是一个真实、普遍、且极其顽固的问题。 不只是Dartmouth。1980年代以来,美国大学的教材阅读完成率从80%一路跌到20%以下。无论教师怎么强调、怎么考核、怎么变换教材形式,这个趋势没有逆转。

  2. 把阅读变成”做题”,学生会用。 Phosphor没有让教材变得更有趣、更生动、更互动——它直接改变了活动的性质。学生在Phosphor上做的事,本质是”在读完一段之后立刻被问问题”——这更接近刷题App(比如多邻国)的逻辑,而不是Kindle的逻辑。

  3. 简答题的AI批改,可能是一个被低估的杠杆。 教育研究里关于”测试效应”(testing effect)的文献已经累积了几十年:考试不只是检验学习的工具,考试本身就是最有效的学习方式之一。尤其是要求学生自己生成答案的简答题,比选择题效果好得多(Kang et al., 2007, d=0.41)。LLM让简答题的规模化批改变得可能,这在十年前要么纯靠人力(成本不可承受),要么不做。

  4. 非随机实验中最大的效应量,往往有一半是自我选择。 1.30变成0.71,打了45%的折扣。对于任何在非实验条件下得出的大效应量,把这当做一条经验法则来参考,大差不差。

尚未回答的问题

这篇论文是一篇workshop论文(发表在2026年Intelligent Textbooks研讨会上),只有7页,作者是达特茅斯的一位学生(Jonah Bard)。它不是一篇经过多年打磨、多轮同行评审的期刊论文。它更像一个”我们做了这件事,这是目前看到的结果,请学术界检验”的信号弹。

以下问题这篇论文没有回答,后续研究如果要跟进,绕不开:

  • 长期效果。 一学期后,学生是否还记得更多?是否在后续课程中表现出更好的统计基础?
  • 作弊问题。 用Claude批改简答题,学生会不会同时用另一个LLM生成答案?论文没有讨论这个。
  • 可迁移性。 统计学有标准答案。换成文学课、哲学课、法律课——那些”对错”模糊的领域——AI评分还管用吗?
  • 互动深度。 AI批改简答题是一回事,理解学生为什么错、怎么引导,是另一回事。Phosphor的AI只做”判断对错+给解释”,不做”诊断错误原因+推荐补救练习”。

最后一条值得展开。人类导师的真正价值是:从你的错误里看出你卡在哪个概念上,然后换一种方式重新讲一遍。目前的LLM可以在第一层做得很好——判断对错——但在第二层,也就是”理解你为什么错”这一层,还远不够可靠。Phosphor连一个”学习仪表盘”都没有,学生看不到自己在哪些知识点上薄弱,教师也看不到全班的概念掌握热力图。这些都是人类导师(或好的教学系统)做得到而Phosphor没做的事。


笔者写这篇文章时,反复在一个念头上打转:我们也许不需要讨论”AI能不能替代老师”。更紧迫的问题是,有老师在的地方,AI可以把老师的精力从批改作业中解放出来,投入到更有价值的互动中去;而没有老师在的地方——那些连足够数量合格教师都凑不齐的学校——AI做到”及格”水平,可能比现状的”零”要好。

但”可能”这个词里住着太多假设。教育公平不是一个技术问题。技术可以让差距变小,也可以让差距变大——取决于谁用、怎么用、为谁而建。


参考链接: