赫斯通工厂发生了什么
在20世纪20年代和30年代，芝加哥附近的西电器公司赫斯通工厂的研究人员对工人生产效率进行了一系列实验。
他们改变了照明水平、工作时间、休息时间安排和物理条件。结果发现：生产效率在几乎每次变化时都提高了——包括那些实际上使条件变差的变化。
研究人员得出结论：工人对变化的具体内容并不回应，而是因为他们意识到管理层在关注他们，关心他们的福祉，并试图改善他们的状况。
这就是赫斯通效应：当人们意识到自己被观察，并且认为变化是为了他们的利益时，表现会提高，实际上变化可能并没有真正改善情况。
哈明认为，这种效应对教育研究尤其具有毁灭性：
> _如果你告诉学生们你在使用一种新的教学方法，那么他们的表现就会更好，教授的表现也会随之改善。实际上，这种新的方法可能更好，也可能更糟，但赫斯通效应... 很可能会让人们认为这是一个新的、重要的、改进的教学方法。_
对教育研究的启示
赫斯通效应为教育实验带来了一个基本的测量问题。任何一种新的教学方法——无论如何平庸或有害——在短期内都可能表现出改善，仅仅因为学生和教师认为这种变化证明了关心。
哈明的结论：大多数教育实验无法区分出真正的学习改进与赫斯通效应带来的噪音。
在医学领域，理想的解决方案是双盲实验。既没有患者也没有医生知道哪种治疗是有效的。这可以控制患者对感受到关心的反应和医生的行为变化。
在教育领域的问题在于：双盲实验几乎不可能实现。学生知道他们在使用哪种教学方法。教师知道他们在使用哪种方法。赫斯通效应无法被掩盖。
评分程序
1960年，汉明在斯坦福度假期间遇到了计算机在教育领域的早期应用之一：一个用于编程作业的‘评分程序’。
这个系统的工作原理是：教授提交一个正确的解决方案程序，并指定输入变量、有效输入范围以及可接受的输出容差。当学生提交他们的程序时，机器生成随机的可接受输入，运行两个程序，并比较输出。学生立即得知他们的程序是否正确。
自动反馈循环具有人类评分员难以提供的特性：
即时反馈。学生在提交后几秒钟内就收到了结果，当他们的思维过程仍然活跃时。
可复制性。对每个提交应用相同的标准。没有评分员疲劳，没有偏袒。
耐心。系统以同样严格的方式处理第100次提交，就像处理第一个提交一样。
规模。一个教授的程序可以同时评分整个班级。
分支程序
一款普通的自动评分器对每个学生都运行相同的测试序列。一种 分支程序 根据学生的回复适应序列。
如果学生回答正确,程序就会跳到更难的内容。如果学生遇到困难,程序会分支到辅导内容、替代解释或解题示例。通过课程的路径不是固定的:它取决于学生在每个步骤上的实际理解。
汉明的问题: 适应性反馈是否比固定顺序产生更好的学习效果?诚实的回答:霍桑效应使这个问题非常难以确定。每个关于分支程序的研究都显示出改进——但同样,每个关于任何新教学方法的研究也显示出改进,是由于霍桑机制。
什么使教学工具真正更好?
汉明并没有否定计算机辅助教学。他识别出真正的优势:即时反馈、耐心和适应性。但他对研究新教学方法的研究持深度怀疑,原因是霍桑。
他的暗示标准：一个教学方法在多个队伍的受控评估中幸存时，应该被采纳，这些评估关注的是长期的学习成果（而不是即时的考试成绩），由对假设一无所知的研究人员进行，并且效果大小足够大，超过了已知的哈斯文效应的大小。
按这个标准，几乎没有他的时代的教育研究——甚至可能很少有——达到了这个标准。
他还注意到了一个反常的哈斯文含义：最优的教学策略可能只是永恒的新颖性。如果任何新的方法因为学生认为它是关爱的证据而提高表现，那么不断轮换方法将会产生持续提高的表现——而不是因为任何特定的方法是好的，而是因为变化本身是活跃的成分。