本文作者： 冯翠典， 高凌飚
　　膏嚣冯翠典高凌飚【摘要】rrIMss和NAEP是国际认可的两大教育评估系统。本文介绍这两大评估系统的开放题评分模式。并提取出系统的开放题评分的一般设计思路和具体操作技术。本文的目的在于用统筹的观点综合看待两大评估系统的开放题评分智慧，为国内的开放题评分提供一些思路借鉴和技术整合。
　　【关键词】TIMSSNAEP开放题评分【中图分类号】G40-058．1【文献标识码】A【文章编号】1674-1536(，·10)03-0023-05作为大规模学生评价的典型模式，TIMSS和NAEP都具有系统开发上的科学性和实践操作上的严谨性，体现了学生评价领域的集体智慧和前沿水平。
　　而且，就具体的评分方法而言，二者也具有思路上极大的相似性和操作上良好的相通性。本文着重介绍这两个评价框架中开放题的评分方法，以期为国内的开放题评分提供一些思路借鉴和技术整合。一、T肼SS和NAEP简介1．1’IMSS系统TIMSS指国际教育成就评估协会(1EA)进行的一系列学业成就研究。在不同时期，TIMSS的具体内容有所不同。自1959年成立至1995年，IEA进行了15项诸如数学、科学、语言等课程领域的教育成就比较研究。在1964年和19801982年间，lEA主持了第一、二届国际数学研究相应的，第一、二届国际科学研究分别在19701971年和1983．1984年举行。鉴于数学和科学在很多方面紧密相连，自第三届国际研究起，IEA将数学和科学两个学科的评估一起进行，Ill这就是1995年进行的第三届国际数学和科学研究(theThirdInternationalMathematicsandScienceStudy)。之后，国际数学和科学研究每四年举行一次，迄今已于1999年、2003年和2007年进行了三次，而2007年收集的数据更是提供了各国学生在12年间四个点上表现出的数学和科学素养的变化趋势，也提供了大量关于学生在数学和科学学习时的学校条件和家庭环境的系列信息。因此．TIMSS成了国际数学和科学趋势研究(TrendsinInternationalMathematicsandScienceStudy)称。田的简2．NAEP系统相对于TIMSS系统的国际思维，NAEP系统则表现出了更多的本土关怀。NAEP是国家教育进展评估(theNationalAssessmentofEducationalProgress)的简称，这也是美国国内惟一一个在全国范围内持续进行的对学生在多学科领域达到的素养实施评价的项目。1969年后，该项目在阅读、数学、科学等学科领域进行了周期性的评估。
　　迄今为止．NAEP主要开展了两大类型的评估：9岁、13岁、17岁学生在阅读和数学领域的长期趋势研究(LongTermTrend)、主要的NAEP(MainNAEP)。
　　其中，主要的NAEP包括三个层次：全国范围、州级和城市试验区。全国范围内主要的NAEP指4年级、8年级、12年级学生的周期性的多学科评估州级评估只进行4年级、8年级学生的阅读、数学、科学和写作评估，阅读和写作的评估周期为两年，科学评估的周期则为四年城市试验区的主要的NAEP于2002年启动，并在2003年和2005年连续进行。Pl由于NAEP评估项目是多学科、多层次独立进行的持续性教育评估，其规模之大、影响之深、范围之广已经使其成为单一国家内进行教育评估的范例。最近的全国性NAEP科学评估于2005年举行。
　　而且，有关NAEP2009科学评估框架和细则也已于2006年出台，旨在指导2009年及更为长远的NAEP科学评估实践。通过比较我们不难发现，TIMSS和NAEP这两本文为教育部人文社会科学研究青年基金项目<开放性学业成就评价与课程标准的匹配度研究》(批准号：07JC880007)研究成果。冯翠典，华南师范大学教育科学学院博士生。(广州510631)高凌雕华南师范大学教育科学学院教授。博士生导师．教育心理学博士。四墨煎墨焦查教审_-I而曙戳Ⅲ豳葺蚵黜搠罐掰踊础嗣测量项学生评价是以不同的学生任务，即不同的试题类反应试题的评价在NAEP中是用评分量规进行的，价型进行的。
　　不同的试题类型必然有其相应的评分方而每一个具体的建构反应试题都应根据具体的题目1．TIMSS中的试题类型问考虑到学生在数学和科学领域的知识和理解是通过一系列问题进行评价的，TIMSS使用了两种试题形式：多项选择试题(multiplechoiceitems)和建构反应试题(constructedresponseitems)o多项选择题提供给学生四个待选项，其中只有一个是正确的。这种试题类型可用来评价学生认知领域的任何行为，但不允许学生提供解释和支持性陈述，而且不太适合评估较为复杂的解释和评价能力。在建构反应试题中，学生需要自己建构答案而不是从备选项中选择，它特别适用于测量需要学生基于自身的背景知识和经验进行解释、说明的知识与技能。每个建构反应试题的评分指南(scoringguide)描述了恰当且完整的答案的关键特征。
　　评分指南关注的是拟测量学生的不同行为，给出了完全正确和部分正确的答案的证据或描述。从这个方面来说，评分指南在体现不同水平学生对现象和数据的理解上，以答案样本的形式给评分者提供了重要参考。2．NAEP中的试题类型嘲NAEP2009科学评估框架也区别了选择反应和建构反应的试题形式。除了这两种试题形式，NAEP还有一个通常需要学生作出多于一个反应的组合试题类型，包括试题群、预测一观察一解释试题组、动手做表现性任务和交互性计算机任务。这个组合试题类型可以全部设计成选择反应形式，也可以全部设计成建构反应形式，或者两种形式兼而有之。因此，我们也可以说，NAEP评估中的试题类型其实就是两大类：选择反应试题和建构反应试题，这两种试题类型的单独应用和相互组合构成了多样化的试题形式。对于建构反应试题，NAEP系统强调其包括的要素有：学生必须回答的一个问题学生必须用到的刺激反应材料(如挑选的文本、数据表等)有关学生如何使用材料、理想答案的限制以及结构建议的指导语评分量规(scoringrubric)。
　　也就是说，建构性口2010年3月试题，即开放题的评价方法也达到了共鸣：建构反应试题在项目编制时就应该同时开发合适的评分工具用于试题评价。TIMSS使用的是评分指南(scoringguide)，NAEP使用的是评分量规(scoringrubric)，前者是一般评分量表，后者是具体评分量表，其思路都是一样的。
　　下面我们着重介绍TIMSS和NAEP系统中建构反应试题也就是开放题的评分模式。
　　稍有不同的是，TIMSS研究更关注开放题评分的一般思路，NAEP研究则更侧重开放题评分的具体例子。然而，实际操作中TIMSS和NAEP都体现了一般思路和具体例子的结合应用。
　　三、TIMSS和NAEP中建构反应试题的评分研究1．11MSS中建构反应试题的评分研究嘲历次TIMSS中，建构反应试题的评分方法是一样的，其试题类型包括简答题和扩展性反应试题。其中，简答题一般是1分，数学学科大多需要学生提供一个数据，科学学科需要学生给出一个简短的描述扩展性反应试题一般是2分，需要学生用语言或图表提供解释，以展示他们的概念性知识和程序性知识。(详见表1)每个建构反应试题都应该有一个用二维细目表做成的评分指南，用于提供诊断信息和参考答案。
　　二维细目表中其中的一维是不同正确水平的答案，另一维与第一维结合起来形成了一种诊断性代码，用于确定学生所用的方法、策略或通常发生的错误以及概念误解的具体种类。这种评分方案可用表2表示。而且，这种含有国际代码的评分方案也在NAEP中有所应用。
　　2．NAEP中建构反应试题的评分研究NAEP2009科学评估试题细则中，试题细则的制定者在谈到建构反应试题的评分时，首先讨论了如何编制建构反应试题和评分量规，然后根据具体的建构反应类型逐一说明了如何评分的问题。这种思路值得关注，因为只有保证科学有效的试题及量理论与技术衷1TlMSS中数学和科学试题的一般评分指南数学科学扩展性反应试题(Extended-ResponseIteml2分，2分的网答是完整HJF确的，学牛．完全理解任务中的数学概念和／或规则。
　　表明学生不仅完成了任务．而儿显乐了较好的数学素养。含有试题要求的清楚完整的解释和／或足够的工作。2分，2分的网答是完整H正确的，学乍完全理解任务中的科学概念和，或规则。表明学生完成了任务的各个办面，IfifH能正确应用科学概念和，或规则。
　　含有试题要求的清楚完整的解释和，或足够的工作。
　　1分，1分的网答是部分正确的．学生对任务中的数学概念和，或规则达到了部分理解。说出了任务中涉及的数学概念和威规则的一些正确要素，但不完整或有错误。可能含有问题的一个正确答案但同时有错误的、无关的解释或没有作}}{懈释。可能含有问题的一个错误答案但其解决过程是正确的。1分，1分的回答是部分正确的．学乍对任务中的科学概念和，或规则达到了部分理解。说出了任务||I涉及的科学概念和，或规则的一些正确要素，但小完整或有错误。
　　可能含有问题的一个正确答案f解释不完整。
　　可能含有问题的一个错误答案但其解释表明对科学概念有正确的理解。0分／o分的答案是完全错误的、无关的、没有逻辑的。0分，0分的答案是严重不精确的、不完整的、无关的、没有逻辑的。1分，1分的答案是正确的，表明学生正确地完成了任务。1分门分的答案是正确的，表明学生正确地完成了任务。
　　0分，o分的答案是完全错误的、无关的新开传奇、没有逻辑的。0分，o分的答案是完全错误的、无关的、没有逻辑的。裹2TIMSS中建构反应试囊的二维评分方寮2分的试题1分的试题正确性水平国际代码正确性水平国际代码正确的答案20-25：种类，方法29：其他正确方法正确的答案10．15：种类，方法19：其他正确方法规的编制，具体的试题评分才会有意义。(1)建构反应试题和评分量规的编制聊试题编写者应为引发学生特定的表现期望(performanceexpectation)而设计建构反应试题，即开发的建构反应试题的类型任务性质和反应形式一取决于拟评价的表现期望。此外，建构反应试题的刺激材料应能引发学生多样性的反应，如数字、图表、图画、曲线图或叙述性文字。试题编写者可要求学生读一篇文章，从文本的、图表的、表格的材料中得出数据，并能从所给材料和得到的数据中得出结论。评分量规的制定应与题目的开发同步进行，以保证试题和量规的指向性和协调性。开发开放题的评分量规时，编写者应考虑拟测量学生的表现期望以及能表明学生的知识、理解水平不断提高的不同反应种类。
　　试题编写者应该为每一个知识和理解水平拟定浓缩型的反应样本并制定相应的分数等级，还应为量规中的每一个等级描述提供辩护和解释。(2)简短性建构反应试题的评分这种试题类型一般需要学生提供正确的单词、短语或数量关系，或者对给定的条件、结果给出简短的例子，或者是写一个简明的解释说明问题。因此，学生必须建构相关的信息而不是简单地从一组给定的备选项中再认正确的答案。一些简短性建构反应试题是按二分法的评分方式编写的。在多项选择试题不能提供更多的学生理解深度的证据时．有着两个评分等级的简短性建构反应试题可用来测量学生的知识和技能。也可以说，简短性建构反应试题在测量一些概念性知识上是适切的，它可以很好地避免猜测，而且在要求对知识进行回忆而不是再认时也很适合(再认是多项选择题的重要因素)。当然，试题编写者应为每个简短性建构反应试题起草相应的评分量规。对于二分法评分的试题，评新开传奇分量规应定义两个等级：0和1。①下例是一个需要进行两级评分的试题。
　　嘲例证性试题(HlustrativeItem)在一个炎热、潮湿的天气里，空气里含有许多水蒸气。当空气变得非常寒冷时．这螳水蒸气会怎么样?P4．6．识别科学原理／来源：NAEP2003。4年级该题的评分量规如下。唧代码回答试囊：踟3l弼2正确的回答提到了浓缩或冷凝(或相当的答案)。例子：它冻结了。，它10冷凝了。，冷凝。／它冷凝并变成了雨。提到了云或降水的某一形式(例如．雨、雪、雾等)。例子：它ll变成了雨。，它变成了雪。
　　，它变成了云。19其他的正确答案。例子：它落到了地上。不正确的答寮只提到水蒸气变冷了。[没提到状态的变化或任一形式的70降水。]例子：水蒸气变冷r。，水蒸’C的温度F降了。四201吖l3JI教自瓣鲢。评价理论与技术教亩¨I而R魁铷辽踊j锄器搦媳重铎蹑鳓嗣溯鞋‘只提到水蒸气上升。[没提到冷凝或降水形式。]例子．水蒸这个扩展性建构试题的评分量规如下。(HI嚣71气在炎热的天气里会上升。答案要点。79圣唣塑要正雪竺瓢粤孽罗掉壤除、孤立的标记、字迹模A．以下任意两点：重力、大气阻力，空气，风、摩擦糊、离题)。
　　例子：它消失了。一’一1””没有回答／。
。

　　．。，。99空白D·列再5丌T司、万胃已I甲低。一些简短性建构反应试题按三个评分等级(0、1、2)编写，相应的评分量规也应该清晰地界定每个等级。
　　(3)扩展性建构反应试题(ExtendedConstructedResponseItems)的评分这种试题类型一般是多维的，可以触及多维的内容陈述、科学实践和／或认知要求，对于洞察学生概念理解和概念推理的真实水平特别有用，也可用于考查学生进行科学交流的能力。试题编制者一般会提供某一内容领域或跨内容领域的一个情境，然后要求学生对情新开传奇景进行分析、选择并制定试题设计的备选方案，学生还要根据原始情境说明他们的回答。此外，学生也可能被给予机会解释自己对问题情境的回答、推理过程和方案选择。一般来说，扩展性建构反应试题要求学生通过应用和整合科学概念来解决问题，或需要学生分析一个科学情境、解释一个科学概念有时候，学生需要完成这两个方面的任务。典型的扩展性建构反应试题一般不会超过5个评分等级，但最后决定一个扩展性建构反应试题评分等级个数的则是具体任务的性质和拟评价的学生表现期望。试题编写者应为每一个扩展性建构反应试题开发特定的评分量规。这些评分量规应能清晰反映出该试题的测量意向。
　　下面这个试题的A、B部分评价的是学生关于“识别科学原理”的科学实践和“知道是什么”的认知要求，C部分则涉及学生对能量转化、力和运动等进行的推理，需要学生表现“应用科学原理”的科学实践和“知道为什么”的认知要求。旧过山车上的一辆小车在图示位置松开并允许自由滚动。
　　A．请说出这辆小车在过山车上运行时影响其运动的两种力。B．请描述小车在下坡时势能和动能怎样变化。C．请解释为什么小车不麓到达第三个小山的X点。P8．16(A)。P8．12(B和c)。识别科学原理(A和B)．应用科学原理(c)，来源：科罗拉多州评价计划，200I．8年级科学宙2010年3月了能量／小车从一个低于X的点起动，因此并不具备到达X点的能量／其他任何能表明能量损失或小车在起始点具备的能量低于到达x点所需能量的答案。得分：3分=5--个要素、2分=两个要素、1分=一个要素、O分=其他。另外，建构反应试题的评分，除了单纯利用以上这种试题编制者预先设计的评分量规进行，还可以同时提供各水平答案的学生反应样本来支持和例证评分量规中的拟定水平。这种评分思路在TIMSS和NAEP中都得到了高度的认同和广泛的应用。
　　下面，我们给该网络游戏此点推荐了出NAEP评估中的一个例子来直观说明这种方法的适切性和科学性。旧l例证性试题lHlustrativeItem)一个窄问站需要建立红地球和月球引力相同的二者之阃的一个点上。请选出A、B、c中合适建空间站的点。并毹释你的选择。识别科学原理，来源：NAEP19％．8年级此题的评分量规及学生的反应样本如下。嗍评分基本原则：学生应有能力解释重力对人造卫星的作用并理解重力的大小与产生相应引力的物体质量或大小有关。3=完全理解学生选出C并给出一个正确的解释说明重力大小取决于物体质量和相互间的距离，因为月球的质量比地球小。所以空间站的位置应该离月球更近。
　　2=部分理解学生选出C并说明月球的重力小于地球，但并没有把重力大小与质量联系起来。1=不令人满意或不正确学生选了A、B、C中的任一个，但给出了错误的解释或没有解释。说明：评分原则中的1、2、3三个数字代表答案的水平等级，对应的得分分别是O、l、2分。垄缝墨焦水教·-I^姝EjlaHj_瓣：懿亚摊重绳蕊酗园胃学生反应样本(SampleStudentResponses)"如认知要求，而单一的选择题形式无法进行多维和深咀下。层的学生评价，才会促使试题编制者寻求促进学生价评分等级学生反应样本建构恿义和表达理解的开放题形式而且，开放题试C点，因为地球的体积比月球大，因而题的具体设计，也就是对学生的行为期望不应该仅完全理解(3水平)雾翥焉簏型g鼎盈喾瑞盔了使引仅基于开放题情境所能包涵的思维深度和认知广部分理解(2水平>地球比月球有更大的万有引力，所以度，而应该遵循相应学科中课程标准泡网游的规定来进行。应离月球更近。{里勰烯准目肽{凸日甘7该涔壬’L理担由时肖庄的出掷★不令人满意或不正确(1水平)应{亥位于中间位置。平的认知要求，是进行学生评价和试题设计的准绳。
　　四、TIMSS和NAEP中开放题评分技术研究的启示1．开放题评分的特点开放题评分的TIMSS和NAEP模式已经在国际上得到了广泛认可。
　　我们从研究中可得出这样的结论：与选择反应试题评分客观一致的特点不同，开放题的评分是用主观拟定的评分量规进行的。然而，这些具体量规的制定都依赖于具体的问题和试题情境，没有哪个量规是放之四海而皆准的，当然不可以在不同的题目中拿来就用。评分量规的这一特点既彰显了开放题的特点，同时也预示了把开放题运用于常规的和大规模学生评价的艰难：必须首先花力气建立每个建构反应任务即开放题的评分量规。2．开放题评分的技术路线通过对TIMSS和NAEP中评分方法的研究，我们可以发现，这两大评估体系虽然在宏观意向上有所不同，但它们在具体的学生评价中采用的方法基本是一致的，针对建构性反应试题(即开放题)评分的操作模式也是相通的。通过对TIMSS和NAEP的综合研究，我们不难找到开放题评分的一般设计思路，看到其具体操作技术的整体图景。需要说明的是，对于开放题的评分研究，我们不应该只看到开放题评分的终点如何根据评分量规给出等级水平，而是应该回溯到更根本的思维起点：为什么要使用开放题而不仅仅采用选择题?我们期望学生表现出怎样的行为和水平?这些行为和水平如何得到清晰的界定?对学生的期望应该基于怎样门标准?课程的要求如何影响对试题类型及难度的设计?对于这些问题的回答，可以使我们总结出系统性的开放题评分的技术路线。
　　也就是说，开放题的使用和兴起有其逻辑上的内在原因。正是由于课程对学生提出了不同层次的试题编制者在进行题目设计时如果脱离了课程标准的框架，就极有可能使试题的考查超越学生达到的认知水平以及课程合理的认知要求。对学生行为和水平(即学生的表现期望)的界定，我们倚重开放题试题情境的设置以及同时进行的评分量规的开发，而课程标准规定下的开放题试题情境和评分量规把我们对学生的表现期望引发为外显的学生表现，这可以使得我们对学生的评价更为真实有效。下图设计了一个初步的开放题评分系统的技术路线，旨在表达笔者对开放题评分的系统性理解和整体性考虑。
　　从下图我们也可以看出，对技术的理解并没有局限在“怎么做”的情境下操作，而是统整了“为什么这样做”的宏观视野。这也是TIMSS和NAEP评估系统的开放题评分研究给予我们的最大启示。开放置评分系统的技术路线圈3．评分量规的重要性根据选择题的评分经验我们知道，有了确定的标准进行评分并不难。
　　然而，开放题评分的最大难度正在于没有确定的评分标准可以参照，这使得作为评分标准的评分量规本身成了最需关注的焦点，其开发和运用成了整个开放题评分系统中的技术核心。与选择题评分核对正确选项的做法不同，开放题评分需要对学生建构的答案形式和内容进行主观判断，而判断的依据和标准就是评分量规。没有统一的评分量规，势必造成开放题评分的信度危机，影响开放题评价功能的发挥。也就是说，评分量规会影响开放题评分的信度。另外，评分量规的开发不是任意而为的，也并不仅仅局限于具体的试题情境，而是应该基于课程标准中对学生(下转第3l页)团2010{l3Jl(五)评估组织专业化在现行的学校表现评估中，香港政府的督导功能已逐渐淡化，社会中介或专业团体的评估功能逐渐加强。当前的校外评核兼有政府督导和专业评估双重性质，具有专业化趋势。香港教育局一直非常重视外评人员的专业态度和能力，所以包括专家学者、教育局及学校人员等在内的所有外评人员，均须经过严格的专业培训和训练，才能参与外评工作。此外，香港教育局还非常重视为校长及其他管理人员提供自评和外评工作培训，以提高评估工作的实效性和专业化水平完美国际。(六)评估工具系统化为方便学校搜集和分析学校表现评量数据，香港教育局研制出了一系列评估分析工具，包括学校增值资料系统、情意及社交表现评估套件、持分者问卷、自评或外评资料的编写说明等，并提供了很多范本或样例，供学校及相关人员参照使用。
　　这些工具和系统资源，有助于学校提升数据搜集及汇报的效现自身的优势与不足，优化学校的发展过程，促进学校的特色发展，充分发挥学校潜能，缩小与学校发展目标的差距，最终促进学校的自我完善和持续发展。注释：①质素保证视学制度相当于我国内地的教育督导制度。②持分者是指学校的主管部门、举办单位和举办人、学校服务对象，如教育局、办学团体、董事会、教师、学生及家长等。参考文献：[1]袁光强．香港教育督导考察报告[EB，oL]．http：／／www．咖s．gov．cn／jyj／dudao／2006dudao／2007070327669．shtml．2007一07-03．[2]香港教育局．香港学校表现指标2008(附表现例证)[EB／OL]．http：／／www．edb．gov．hk／FileManager／SC／Content_0456／pi2008％20chi％2028_4．pal．200806-10．[3]香港教育局．表现指标及自i乎-"rJt-[EB／OL]．http：／／se．edb．gov．hk／gb／www．edb．gov．hk／index．aspx?nodelD=6419&lang-no=2．2008D7-02．责任编辑／林洁(上接第27页)的表现期望的规定性陈述。一个评分量规是否科学合理地界定了它在具体的试题情境中所负荷的评价意向，直接影响到课程标准所期望的学生表现的程度。也就是说，评分量规也会影响到开放题评分的效度。试题编制者只有深入研究课程标准的要求，把握到对学生行为表现和认知水平的要求，并根据适当的开放题情境制定科学的评分量规，才能切实发挥出开放题的评价功能。可以说，评分量规是一个完整的开放题不可或缺的一部分。总之，TlMSS和NAEP评估系统的开放题评分经验是集体智慧的见证和历史经验的结晶。对其进行深人研究既可继承到宝贵的研究成果，也开拓了我们的探索思路。尤其，它对于意义非凡但稍嫌薄弱的国内开放题评价实践有着可贵的支持作用。注释：①这些等级可以标注为“l=正确”和“O=不正确”。对于三个评分等级．适当的标注可以是“2=正确”、“l=部分正确”、“o=不正确”。参考文献：[1]Maryellen，H．。Teresa，A．S．。Miehael，0．M．Pe卜formanceAssessmentinIEA’SnirdInternationalMathematicsandScienceStudy(1"IMSS)。1997：A-2．[2]Mullis，V．S．，Michael．O．M．，Graham，J．R．1rIMss2007AssessmentFrameworks．i．2005．[3]SteveSchneider。AliceFu．2009NAEPscienceFrameworkandSpecifications(CAESL“BrownBag”Seminar)．2006：67．[4]MuUis。V．S．，Michael。
　　0．M．Graham，J．R．TIMsS2007AssessmentFrameworks．2005：102一104．[5][7][8][9][10][11][12][13]We8IE．D．。CCSSO．scienceAssessmentandItemSpecificationsforthe2009NationalAssessmentofEd【ucationalProgress(Prepublicationgdition)。2007：158-268．[6]Michael．O．M．，I'IMss2003UserGuidefortheInter-nationalDatabase．2005：25以6．责任编辑，王彩■团约10{}3』I。
　　本文《ＴＩＭＳＳ和ＮＡＥＰ的开放题评分技术研究》 --- 作者： 冯翠典， 高凌飚