【word】 高考政治（上海卷）负偏态分数分布中高分缺失现象研究

【word】 高考政治（上海卷）负偏态分数分布中高分缺失现象研究 高考政治(上海卷)负偏态分数分布中高分 缺失现象研究 7形考i式与评价 离考政治(上海巷)负偏态分数分布【l】 高分缺失坝象研穷 》周群 [摘要]近年来,高考政治(上海卷)难度降低,考试分数呈负偏态分布,但高分考生频数还是少于人们 的预期,本文以建立在正态概率基础上的经验法则验证负偏态分布中高分缺失的假设成立,并从试题和考生 的角度做进一步研究,分析了问题产生的原因并提出了相应的改进建议. [关键词]负偏态高分缺失难度评分标准考生能力 一 ,问题提出 在经验I=生命题中,试题,试卷难度的控制问题往 往成为争议的核心.近年来,上海市教育考试院将高 考各科难度系数设置在0.65,考试的科学性与社会 性得到统一(雷新勇2006). 从近三年考试结果看,高考政治(上海卷)难度 系数在0.65,0.70之间,分数分布平均偏度值一1.39, 呈负偏态,明高考政治(上海卷)难度已明显偏低. 然而,高考政治试题高分难得,依然是每年考试评价 的话题之一. 本研究将以2008年高考政治(上海卷)考生为 对象,根据正态分布理论验证负偏态分布中高分缺 失现象,进而根据现代考试理论分析造成这一现象 的深层次原因. 二,研究对象和研究思路 本文以2008年选做”二期”(6117人)和”一期” (4825人)试题考生为研究对象,同时根据考生总分 的四分位数,分别将研究对象划分四个层次. 本研究运用项目反应理论研究考生能力分布, 以经验法则推算正态分布中高分考生频数及其百分 率,验证负偏态分布中高分缺失假设.若假设成立, 则对考生能力与试题难度进行比较,以进一步研究 导致高分缺失的试题方面的原因.通过分层试题分 析,观察试题中每个得分点反映出的考生心理结构 差异,推测考生学科知识,技能和思维品质的强弱, 或存在的问题. 项目反应理论研究中使用的数据处理软件为 MUTILOG,其中对客观题采用的是双歧三参数项目 反应模型,对主观题采用两参数多级评分模型. 三,研究结果讨论 1.验证负偏态分数分布中高分缺失假设 图1为利用MUTILOG软件估计的选做”二期” 试题考生能力频数图(已删除极值THETA<一1.5的 数据).根据项目反应理论,如果样本足够大(一般对 三参数模型而言大于1000)所估考生能力参数 THETA与考试采用的试题无关.从图1看出,考生 能力近似地以THETA=0.67355为中心呈对称分布, 表明考生能力近似地呈正态分布.此结论与行为科 学理论观点——人的心智一般呈正态分布相应.考 试的本质是推测考生的心理结构(一般称”能力”), 推测考生心理结构的依据是考生对试题的应答,因 此,在的难度分布与考生能力分布相吻合 的条件下,考生分数也应近似地呈正态分布.因此, 研究负偏态分数分布中高分是否缺失,可以通过与 平均分,标准差相等的正态分布相比较获得. 图2为选做”二期”试题考生考试分数频数图 (已删除极值考试分数<24的数据).由图2可以看 出,考试分数集中在100到110分之间,比较正态曲 线,考试分数分布在120分以上的频数明显缺失.以 选做”二期”试题考生考试分数(删除极值后,平均分 100.73,标准差16.424,)为例,推算出不同标准差范 围内实际考试分数频数和正态分布中的频数见表 上海教育科研2009.6??SHANGHAIJIAOYUKEYAN 考i式与i平价 1,正态分布中的不同标准差范围内的频数根据以正 态概率为基础的经验法则(见图3)计算所得. THETA 图1选做”二期”试题考生能力频数图 图2选做”二期”试题考生考试分数频数图 I_-I /\i /,, / 3O2Oouo2o3o 代表F均分:O代表标准差 图3正态分布曲线 表1不同标准差范围内正态分布中的频数与 实际考试分数分布频数比较 ? 标准 范? 宴,分数n rd 【5I67】(678(83,100】(100,117](117,133】(133,150] 止忐舒m 频l撤/1分比 实I 657/【096% 蛳数/分比 由表1可知,实际考生考试分数中近60%高于 平均分,48.84%落在,Ix+I~的范围内,大大超过 正态分布中的34%lc~例,而其它标准差范围内实际 频数均少于正态分布中的比例,分布在(117,133]的 少2.5%,相当于160名考生,分布在(133,15o]区间 的少2.4%,相当于140名考生,也就是说,按正态分 布看,考试分数在(100,1171的考生中有近300名考 生有可能获得117分以上的分数,依次类推,考试分 数在(117,1331的考生中有近140名考生有可能达到 133分以上,高分频数应大大超过实际频数.由此证 明,在政治学科考试分数呈负偏态分布中高分缺失 的假设成立. 2.造成负偏态分数分布中高分缺失现象的试题 方面的原因 判别试题有效性是研究试题方面原因的前提. 通过观察试题特征曲线(略)和内容效度调查 (略),证明试题本身有效,考试结果可以作为统计研 究的有效数据. 比较表2中考生能力与试题难度描述陛统计量 可见,选做”二期”试题考生能力平均分一0.67355,试 题难度平均分一1.0833,考生能力参数的三个四分位 数都高于相应试题难度的四分位数,尤其是第一四 分位数,两者相差达3.1,表明整卷试题难度低于考 生能力,试卷偏容易,这是导致考试分数呈负偏态的 直接原因.考生能力参数分布在一1.497到1.938之 间,试题难度值分布在一7.95到6.16之间,表明有相 当数量试题难度低于最低考生能力一1.497,试题偏 易;也有部分试题难度高于最高考生能力1.938,试 题偏难. 表2选做”二期”试题考生能力与试题难度描述性统计量比较 考生能力试题难度 有效数据60991O8 平均分0.67355.1.0833 标准差O.3848362.427O4 最小值一1497.7.95 最大值19386.16 四分位数25048000.26200 500.69800.1.3300 750.913000.5000 注:1.考生能力”有效数据”为删除极值(thera<1.5)以后统计 2.试题难度”有效数据”指以评分等级为试题单位进行统计的试题量 数据统计显示,有28个评分等级的难度低于或 高于考生能力,其中偏难的评分等级有lO个(见表 上海教育科研20096???SHANGHAIJIAOYUKEYAN 表3偏难评分等级统计 题号满分值评分等级难度b内容领域测量目标 2”322662.29时事目标1 T333444.82经济目标5 T342883.45政治目标2 t352442.52经济目标2 t361222.74政治目标3 t362131l,12,132.54政治目标3 t371336.16经济目标3 t37-3773.45经济目标3 t384332.62政治目标4 t385332.04政治目标4— 3),几乎集中在每道主观题的最平分等级匕,共l0 分.主观题T33—3,T34_2,t35—2,t36_2,t37.3的评分等 级中,既有偏易的,也有偏难的,表明对评分等级内涵的 不适当描述可能是引起偏易或偏难的主要原因. (1)实际描述的评分标准高于标定的试题测量 目标. 评分标准是用以评价考生应答的操作性规定, 应严格恪守试题标定的测量目标,若不然会出现试 题考查功能的偏差,甚或导致整卷测量目标分布不 平衡.以t32_2为例,统计显示,第四层次考生的平 均分4.5分,试题测量目标是枚举重大时政.评分标 准规定”应从不同的角度举两例,每举一例并加以 说明的给3分,其中举出实例给1分,说出该实例体 现的奥运理念给1分,说明该实例体现该理念的理 由给1分,试题满分6分”.显然,试题既考查考生对 时政的了解,又在一定程度上考查考生运用时政知 识本身分析理解时政的能力,而后者超出了《考试手 册》的规定,所以,评分标准与测量目标不完全一致 是导致6分评分等级偏难的主要原因. (2)将评分标准的最高等级作为绝对标准而非 相对标准. 高考的考试性质属于常模参照考试,在竞争性 的大学入学考试中,试卷区分功能最大化是设计常 模参照考试的基本出发点(雷新勇2006).因此,设 计主观题评分标准时,应以有效区分考生的能力水 平差异为价值取向.若评分标准的等级内涵与考生 能力不一致,则必然加大考试的测量误差. 以t38—5为例,该评分项满分3分.79.8%第四 层次考生得2分评分等级,即”论点紧扣论题,论述 考试与i平价 比较缜密,较多使用学科术语”.只有15.1%的考生 得3分,在34个130分以上的考生中,有19个考生 得3分,15个考生得2分,表明即便是130分考生 也不是都能获得最高评分等级.从整体评分效果看, 2分等级的测量误差较大,而最高评分等级”论点 紧扣论题,论述逻辑缜密,正确使用学科术语”的内 涵要求远高于考生能力,若舍弃这个绝对标准,将现 有的2分等级内涵描述为3分评分等级,即制定相 应于考生能力的相对标准,则能大大提高试题的区 分功能. 3.造成负偏态分数分布中高分缺失现象的考生 方面的原因 第四层次考生代表了能力水平较高的考生群 体.从统计数据看,第四层次考生的答题存在”难题 不强”和”易题示弱”的现象.在偏难的评分等级上, 该群体考生与其他三个层次考生差距不大,优势并 不明显,反映出考生在思维品质方面存在问题;在偏 易的评分等级上该群体中部分考生也会犯低级错 误,暴露出基础知识,基本技能薄弱一面.因此,该群 体考生存在的学科知识,技能和思维品质方面的问 题也是引起负偏态分布中高分缺失的重要原因. (1)”易题示弱”——基础知识,基本技能薄弱 数据显示,在以概括,辨别学科概念,原理等为 测量目标的试题上,如在考查宏观调控手段,政治协 商形式,和平发展道路和国际政治经济新秩序的内 涵等基础知识的试题上,第四层次考生的表现并不 突出;在考查民主特征,经济发展与个人消费品分 配,社会保障体系的关系等常识性知识上,情况亦 然.例如,我国宪法规定:”年满十八周岁的公民,不 分民族,种族,性别,职业,家庭出身,宗教信仰,教育 程度,财产状况,居住期限,都有选举权和被选举权; 但是依照法律被剥夺政治权利的人除外.”这反映了 民主的重要特征是 A.少数服从多数原则B.平等原则c.法制原则 D.差额原则 正确答案B,试题难度0.91.经验告诉我们,在 试题难度系数如此高的情况下,迷惑项对最高层次 考生本不具迷惑力,但数据显示,高端能力考生中有 2.7%(近300人)错选c.显然,相当多的第四层次考 生并没有真正掌握”民主的特征”这一最基础知识. 有理由怀疑,相较于考生能力对考试结果的影响,这 上海教育科研20096??SHANGHAIJIAOYUKEYAN 考试与i平价磁7 些考生的考试分数与考前死记硬背相关眭更高.其 典型表现是,一旦遇到新的情境,思考就缺少理论依 凭,思考的深度无法得以延展. (2)”难题不强”——分析能力缺乏理陛掌控 上海政治高考试卷中主观题分值占整卷58%, 除论述题(20分)以外,其余68分主观题均采用采 点评分法,这就使得堆砌教材语言的考生应答也可 获得一定分数.分析考生应答可以发现,有相当部分 第四层次考生同样拙于表达,应答中逻辑线索混乱, 既无逻辑起点,也无推导过程;推导的结果与试题要 求甚远等,这些现象直接导致一些主观题的最高评 分等级乏人问津,又直接反映出考生分析能力的不 足. 例如t36一l,试题满分2分,”能整体把握, 归纳材料所反映的政治现象的实质”是本题试题考 查的行为目标之一,是分析能力的最高水平.按照评 分标准规定,观察考生在这个行为目标上的表现的 主要依据是,(1)考生能归纳出材料反映了中国共产 党领导的多党合作和政治协商是我国的政党制 度,这是有中国特色的新型政党制度;(2)考生能有 意识地将此结论置于答题的开头或结尾,或者能在 行文中指明”材料整体反映了……”等.全体中88% 考生得1分,第四层次中只有10%考生得2分,与 其他层次相比,优势并不明显.反映出90%高端能 力考生只能归纳部分材料. 又如t37—3,要求考生回答”‘国家粮食安全保 卫战’对社会与经济安全运行有何积极意义?”试题 中”安全”是思考的核心,对经济而言,逻辑起点在 粮食和国内粮食市场,对社会而言,稳定的粮价对特 定人群意义重大.试题是对分析能力的第一级水 平——要素分析能力的考查,考生既要分析出材料, 或现象中的行为主体,还要明确回答问题的角度.试 题满分7分,第四层次考生中只有24%得满分,失 分主要在于不能从微观层面切人回答的逻辑起点, 并逐渐推深. 上述实例表明,分析能力的不足限制了考生思 维品质的发展,影响了考生的思维完整性和连贯性. 四,结论和建议 根据上述研究结果可以得出以下结论: 1.近年来,高考政治(上海卷)考试分数分布已 呈较明显的负偏态,但高分频数并未增加,考试分数 大量集中在高于平均分的一个标准差范围内. 2.在负偏态分数分布中,高分缺失的主要因素 是试题和考生自身. 在试题层面上,部分主观题高评分等级的内涵 要求过于绝对,超过考生群体中的最高能力水平,或 者评分标准与试题标定的测量目标不一致,超过了 标定的测量目标的要求. 在考生层面上,考生缺乏对核心概念,知识原理 的深入理解,导致考生在一些较易试题上也容易失 分.考生缺乏较好的逻辑思维能力,不能理I生地从要素 分析,关系分析和组织原理三个水平上分析问题,导致 相当部分考生在主观题E难以获得最高评分等级.依赖 于考前死记硬背也是考生获得高分的重要因素. 3.考生能力分布呈尖峰态,是教学长期疏于培 养考生高端能力的直接反映. 基于上述结论,对高考政治(上海卷)命题,阅卷 及思想政治课教学分别提出如下建议: 1.命题组要注意评分标准与标定的测量目标的 一 致I生;在描述评分等级内涵时,要参照相邻年份考 生的能力参数,使最高评分等级的内涵与考生能力 水平相适应. 2.阅卷前应该跨全距抽样试评,对比考生应答 表现中最高,最低水平与评分标准中最高,最低评分 等级内涵,及时对不同评分等级进行适度调整. 3.教学过程中,要让课程核心概念深植于考生 个体头脑中,要提高学生分析社会现象的思维品质. 1.雷新勇.大规模教育考试:命题与评fff[M].华东师范大学出版 社,2006. 2.雷新勇.考试数据的统计分析和解释[M].华东师范大学出版 社,2007. 3.RitcheyF.TheStatisticalImaginationElementaryStatistics fortheSocialSciences[M].北京大学出版社,2006. 4.Robe~R.P.UnderstandingStatisticsinthebehavioralSci— ence(6edition)[M].中国统计出版社,2002. 5.朱迪恩,A?麦克劳夫林着.严文蕃,夏春等译.Understanding StatisticsintheBehavioralScienceStepbyStep[M].江苏教育出版 社,2005. 6.Husen.T.(1997)教育测量与评价ThwaiteN.P.主编许建钺 等编译.简明国际教育百科全书,教育科学出版社. (周群华东师范大学公共管理学院200062] 上海教育科研20096??SHANGHAIJIAOYUKEYAN