如何有效选拔研究生——国外研究生选拔实践的证据

如何有效选拔研究生——国外研究生选拔实践的证据 如何有效选拔研究生——国外研究生选拔 实践的证据 ……? 第27卷第4期EducationScienceVo1.27NO.4 如何有效选拔研究生 —— 国外研究生选拔实践的证据 薛刚,孙晓敏 (1.国家行政学院公共管理教研部,北京100089;2.北京师范大学心理学院,北京100875) [摘要]在系统回顾国外研究生选拔中认知和非认知因素考察方式的基础上,对应用 最为广泛的本科成绩,录取面试和推荐信三种方式的相关研究进行了综述.本科成绩对研究 生绩效有良好的预测效度,录取面试由于结构化程度过低而影响了其预测价值,传统推荐信的 预测作用并不理想而标准化推荐信则是极具潜力的发展方向.在我国研究生复试阶段应重视 本科成绩的作用,提高录取面试的结构化程度,并采用标准化推荐信加强对考生非认知因素的 考察. [关键词]研究生复试;认知因素;非认知因素;本科成绩;面试;推荐信 [中图分类号]G40—059.3[文献标识码]A[文章编号]1002—8064(2011)04—0067—12 一 ,国外研究生选拔方式概述 研究生选拔的有效性在很大程度上取决于选拔 方式的有效性.目前,研究生选拔的方式可以分为 两类,一类旨在评估影响研究生成功的认知因素,另 一 类则旨在评估影响研究生绩效的非认知因素口.]. 在国外研究生选拔的过程中,对申请人的认知因素 进行考察的主要方式是本科阶段的成绩(Grade pointaverage,GPA,即本科各门课程成绩以课程学 分为权重的加权平均值)和标准化入学考试(如 GRE,管理学研究生入学考试(GraduateManage— mentAdmissionTest,GMAT),医学院研究生入学 考试(MedicalCollegeAdmissionTest,MCAT),法 学院研究生入学考试(LawSchoolAdmissionTest, LSAT),米勒类推测验(MillerAnalogiesTest, MAT)等),这些往往被称为一级标准或客观标准; 对申请人非认知因素进行评价的主要方式是面试, 推荐信和个人陈述,这些往往被称为二级标准或主 观标准l_3].Walpole等对美国20所研究生招生 机构,26个不同学科的100多位参与研究生录取的 教师进行了访谈,结果表明,大多数研究生招生机构 对申请人的考察方式是本科GPA,GRE,面试,推荐 信以及个人陈述.Puryear等l7对美国107所医学 院进行了调查,结果表明,本科GPA被89所医学院 列为最为重要的或第二重要的研究生选拔方式,随 后依次是面试(76),MCAT(7O)和推荐信(52). Norcross等?2对美国和加拿大的1970个心理学研 究生教育项目进行了调查,要求招生机构在3点量 表上对常用的硕士研究生选拔方式进行评价,结果 表明,最为重要的考察方式是本科GPA(M一2.75, SD=.43),随后是推荐信(M一2.74,SD一.49),个 人陈述(M一2.63,SD一.55),GRE/MAT(M一 2.36,SD=.43)以及面试(M一2.30,SD一.76)等. 概括而言,尽管不同专业或院校的研究生选拔方式 存在一定差异,但是标准化入学考试,本科GPA,面 试,推荐信以及个人陈述在大多数研究生选拔过程 中都被采用. }[基金项目]本研究受教育部人文社会科学研究一般项目青年基金” 评价中心技术在研究生复试中的应用研究”资助 (项目号08JCXLX001). (收稿扫期32011一O6—25 [作者简介]薛刚(1974一),男,山西霍州人,国家行政学院公共管理教 研部讲师,博士,主要从事公共政策研究.通讯 作者:孙晓敏(1975一),女,陕西西安人,北京师范大学心理学院副教授, 教育学博士,美国哈佛大学心理系博士后,从 事教育与心理测量研究. ?67? 就个人陈述而言,其优点在于使得申请人有机 会通过对自己人格,动机,过去成就,技能,教育经历 等的描述,表明自己与所申请专业和学校的适恰 性L8].个人陈述虽被很多机构用于研究生选拔过 程,但其有效性却受到已有实证研究的一致质 疑l8.Ferguson等?8考察了个人陈述与医学院一 年级研究生学业绩效的关系;其中,学业绩效指标包 括研究生在不同科目上的课堂作业,考试论文,学术 报告和教师观察评分等;结果发现,个人陈述对于研 究生在基础科学和临床技能方面的21个效标变量 均没有预测效度.Powers等的研究表明个人陈 述并不是研究生写作能力的有效预测变量;该研究 考察了个人陈述,标准化写作测验与研究生入学后 的多种写作能力效标之间的关系,结果发现,个人陈 述与几乎所有效标之间的相关都显着低于标准化写 作测验成绩,而且,个人陈述与一些效标之间的相关 甚至为负;上述结果在很大程度上可以归因于申请 人在撰写个人陈述过程中往往得到他人的帮助. Murphy等L1叩对个人陈述的预测效度所做的元分析 表明,个人陈述对于录取后的学业成绩和教师评价 的预测效度非常微弱;在将本科GPA和标准化入学 考试成绩考虑进来后,个人陈述对于录取后学业绩 效的预测没有增益效度.而且,到目前为止,尚未出 现改进个人陈述的有效. 综上所述,通过对国外研究生选拔实践和研究 中关于认知和非认知因素评价方式的系统回顾,我 们认为,除了标准化入学考试之外,本科GPA,面试 和推荐信这三种考察方式是国外应用最为广泛,研 究较为深入的研究生选拔方式,其丰富的研究成果 对于我国研究生复试实践具有一定启示作用. 二,本科成绩在研究生选拔中的应用 本科阶段的成绩是绝大多数研究生招生机构考 察研究生申请人认知因素的最重要的方式之 , [2,7,11] .大量已有研究几乎一致表明,本科成绩对 于多种研究生绩效标准具有良好的预测效度口?]. (一)本科成绩的预测效度 大量研究表明,本科GPA是研究生GPA的有 效预测变量,而且其预测效度往往大于GRE, GMAT,MCAT等标准化研究生入学考试成绩. ZwiekE坫考察了本科GPA对管理学研究生一年级 及整个研究生阶段GPA的预测效度;该研究收集了 ? 68? 来自36个研究生机构共5219名管理学专业研究生 的数据;结果发现,与GMAT的言语和数学分数相 比,本科GPA对研究生GPA的预测更准确.Tru— ell等口以GPA作为研究生学业绩效的效标变量, 对179名工商管理硕士研究生的数据进行了回归分 析,结果表明,与GMAT等其他预测变量相比,本科 GPA是研究生GPA最为显着的预测变量,而且本 科GPA对研究生GPA预测的贡献效果量大于 GMAT分数.Reisig等[1]的研究考察了本科GPA 和GRE对研究生GPA,低分科目数以及未完成科 目数的预测效度,通过对279名理学硕士学业成绩 的分析,研究发现,与GRE分数相比,本科GPA与 研究生GPA等上述三种研究生学业绩效效标之间 的相关都更高;在包含本科GPA和GRE的序次lo— gistic回归模型中,本科GPA对研究生GPA等上述 三种绩效效标变异的解释贡献率都大于GRE.Ev— ans等[1考察了本科GPA和MCAT对研究生 GPA等研究生学业绩效效标的预测效度;基于来自 434名医学院研究生的数据,该研究发现,与MCAT 及其分项成绩相比,本科GPA是研究生GPA等研 究生学业绩效效标最重要,最显着的预测变量.Ru— bio等口.的研究表明,GRE并不总是能够成功预测 所有学科研究生的绩效,而本科GPA却是所有学科 研究生GPA最好的预测变量. 大量研究还表明,本科GPA对研究生学业成绩 年级排名,获得学位所需时间以及职业资格考试成 绩等研究生学业绩效效标也有良好的预测效度. Christensenc?对157名法学院研究生进行了调查, 考察了本科GPA和LSAT分数等预测变量与研究 生学业成绩年级排名之间的关系;结果表明,本科 GPA是法学院研究生学业绩效更好的预测变量,本 科GPA与年级排名之间呈中等程度的相关(.46), 而LSAT与年级排名仅微弱相关(.23).Onasch 的研究考察了本科GPA和GRE成绩对研究生获得 理学硕士学位所需时间的预测效度;数据来自获得 理学硕士学位的100名学生的档案;结果发现,具有 较高本科GPA的学生完成硕士学位所需的时间更 短,而GRE分数却不能预测学生能否按期完成学 业.Kulatunga等考察了本科GPA,MCAT等录 取变量对研究生在加拿大医学委员会职业资格考试 (MedicalCouncilofCanada?SLicensingExamina— tions,LMCC)中所得成绩的预测效度;基于97名医 学院研究生的数据,该研究发现,与MCAT等其他 变量相比,本科GPA对于预测LMCC中的学术和 临床测验分数都是最为有效的;特别地,MCAT与 LMCC临床测验分数的相关并不显着(r一.07),而 本科GPA与其相关为.25且在.O5水平上显着. 尽管国外研究生选拔实践中往往以本科总体 GPA作为录取决策的重要依据之一,但也有不少研 究者考察了大学三四年级GPA,科学课程GPA以 及专业课程GPA等其他类型的本科成绩作为研究 生绩效预测变量的有效性.Paolillo?2.考察了大学 三四年级GPA,GMAT,全脱产/在职,本科专业,年 龄等多种录取变量对工商管理专业研究生GPA的 预测效度;基于220名工商管理专业研究生的数据 所做的逐步线性回归分析发现,大学三四年级GPA 是最早进入回归方程的变量且在.01水平上显着. Ragothaman等『2副考察了大学三四年级GPA, GMAT,年龄等预测变量与研究生GPA之问的关 系;基于163名会计专业研究生的数据,该研究发 现,以上预测变量中大学三四年级GPA与研究生 GPA之间的相关最高.Brown—Hendershott[.考察 了本科科学课程GPA和MCAT等录取变量对研究 生学业绩效的预测效度;基于对789名医学院研究 生数据的分析,该研究发现,本科科学课程GPA是 比MCAT分数更好的医学院研究生学业绩效的预 测变量.Jongdae等_2钉研究了本科会计课程GPA 和GMAT分数等会计专业研究生录取变量与研究 生GPA之间的关系;基于对108名会计专业研究生 数据的分析,该研究发现,本科会计课程GPA是比 GMAT更好的会计专业研究生学业绩效的预测 变量. (二)本科成绩与本科院校的竞争性水平 本科成绩用于研究生录取决策,人们往往考虑 到的一个问是来自不同学校的研究生申请人的本 科成绩是否具有可比性,因为不同院校的教学要求 与质量以及学生整体水平等方面的差异可能会使得 直接对不同学校的本科成绩进行比较缺乏共同的基 础和标准.国外研究生选拔的实践和研究中,往往 采用本科院校竞争性水平这一概念来衡量学校之间 在教学质量等方面的差异.以美国为例,主要有三 种本科院校竞争性水平指标:第一种是基于每年各 大学所录取本科生的平均入学考试成绩而构建的高 等教育研究机构指数,也被称为奥斯汀指数(Astin Index)E;第二种是基于每年各大学所录取本科生 的入学考试成绩中位数,高中阶段年级排名以及报 录比等信息而构建的综合反映各大学竞争性程度的 巴恩选择性指数(Barron?sSelectivityIndex)[273;第 三种是根据各院校学位授予项目的范围和类型以及 每年所获联邦资助等而对各高校进行分类的卡耐基 分类体系(CarnegieClassIfication)L2. 对于是否应该在研究生录取决策中考虑申请人 本科院校的竞争性水平,研究者之间尚未达成一致. 有的学者认为,本科院校的竞争性水平应当作为研 究生录取决策的依据.研究发现,当依据本科院校 的竞争性水平对大学机构进行分类后,竞争性水平 较低的学校科学课程的平均GPA更高,而竞争性水 平较高的学校科学课程的平均GPA更低5].Hall 等【2的研究则发现,科学课程GPA的变异中7O 都可以归于学校的竞争性水平.因此,有研究者认 为,在研究生录取环节中引入本科院校的竞争性水 平方面的数据有助于控制不同院校之间在教学要求 和质量等方面的差异.以本科院校的竞争性水平作 为权重因素,可能有助于进一步提高本科GPA的预 测价值[3.,313. 然而,研究发现,即使本科院校竞争性水平对研 究生绩效具有预测作用,但它却缺乏相对于MCAT 等标准化研究生入学考试的增益效度.Clapp等l3] 基于对某医学院连续两年录取的各110名研究生数 据的分析,结果发现,尽管经过本科院校竞争性水平 校正之后的本科GPA对研究生学业绩效的预测效 度显着高于原始本科GPA,但是当增加了MCAT 成绩之后,研究生期间考试成绩和教师主观评价等 大多数研究生绩效效标回归模型的预测效度并未显 着增加;基于此,研究者指出,本科院校的竞争性水 平对于大部分研究生绩效效标的预测作用或许等同 于MCAT.Blue等[3.考察了高等教育研究机构指 数,巴恩选择性指数以及卡耐基分类体系这三种主 要的本科院校竞争性水平指标对医学院研究生 GPA以及职业资格考试成绩等研究生绩效效标的 预测程度;通过对405名研究生的上述数据进行分 析,结果表明,当采用原始本科GPA和MCAT对研 究生学业绩效效标进行预测时,任何一种本科院校 ?69? 竞争性水平指标以及相应的本科GPA校正对于模型 的预测效度都没有贡献.该研究得出结论,采用本科 院校竞争性水平指标作为研究生录取决策的变量可 能是没有必要的;而且,采用这类指标可能还会对来 自较低竞争性水平院校的研究生申请人造成歧视. 以上研究结果启示我们,如果录取决策仅仅是 基于本科GPA,那么通过本科院校竞争性水平指标 对原始GPA进行校正是有必要的,因为不同竞争性 水平的院校之间其本科GPA可能的确存在差异. 但是,如果录取决策是同时基于本科GPA和标准化 研究生入学考试成绩,那么再通过本科院校竞争性 水平对本科GPA进行校正或许就是没有必要的,因 为申请人之间在本科院校竞争性水平上的差异已经 表现在了申请人之间在标准化研究生入学考试成绩 上的变异,即在本科GPA的基础上加入标准化入学 考试成绩或许就已经实现了与加入本科院校竞争性 水平指标类似的校正功能. (三)关于本科成绩的小结 通过系统梳理本科成绩应用于研究生选拔的相 关文献,我们发现,大量研究表明本科成绩是研究生 GPA,学业成绩年级排名,获得学位所需时间以及职 业资格考试成绩等多种研究生绩效效标的有效预测 变量,而且其预测效度往往大于标准化研究生入学 考试成绩.关于本科三四年级GPA,科学课程GPA 以及专业课程GPA的研究考察了不同形式本科成 绩的预测价值,为进一步提高本科成绩在研究生选 拔中的效用提供了有益的探索方向.此外,有关本 科成绩与本科院校竞争性水平的研究在一定程度上 为研究生选拔中直接使用申请人的本科GPA消除 了疑虑,鉴于研究生招生机构往往同时采用本科 GPA和标准化人学考试成绩对申请人的认知因素 进行评估,而已有研究表明标准化入学考试成绩或 许已实现了与加入本科院校竞争性水平指标类似的 校正功能,因此,再加入本科院校竞争性水平的因素 或许是不必要的. 三,面试在研究生选拔中的应用 面试是研究生选拔过程中对申请人的非认知因 素进行评价的最常用的方式【6?.但是,大量研究 却表明,研究生录取面试的预测效度非常低_3州. (一)录取面试的预测效度 有关录取面试预测效度的研究主要指向研究生 ?7O? 学业成绩和专业实践两类效标.大多数研究表明, 录取面试对于研究生的学业成绩几乎没有预测作 用.Walton_3在对医学专业研究生选拔的相关文 献进行回顾的基础上指出,申请人的录取面试得分 与随后研究生阶段的学业成绩之间不存在相关.在 Kelman_3的研究中甚至发现两者之间存在一定程 度的负相关.Smith[39]对123名研究生的数据进行 了分析,其中44名经过面试录取,79名未经面试录 取;结果发现,接受了面试的研究生和没有接受面试 的研究生在研究生一年级课程成绩等三种客观绩效 指标上均无显着差异.Goho等L4妇对健康护理领域 的20个采用录取面试选拔研究生的研究进行了元 分析,其中19个研究(总样本量为4629)考察了面试 表现与研究生学业成绩的关系;分析发现,面试对学 业成绩预测的平均效应值为0.06(95%置信区间为 0.03--0.08),该结果表明录取面试对研究生学业成 绩的预测作用微乎其微. 就专业实践而言,有的研究表明录取面试对于 研究生专业实践表现没有预测作用,而有的研究却 发现具有微弱的预测作用.Kelman[3.发现面试评 委对研究生申请人的评价与这些研究生在高年级临 床实践阶段临床教师对他们在相同特征上的评价不 相关,而且经过面试和未经面试录取的研究生在临 床教师评价上也不存在显着差异.SmithL4将113 名经过面试的研究生与67名未经面试的研究生在 驻院实习阶段的导师评分进行了比较,发现两者之 间并不存在显着差异.Basco等的研究考察了录 取面试是否可以预测医学院研究生在专业实践中与 患者之间的人际互动表现;结果发现,录取面试得分 与高年级临床实践测验总分之间的相关为0.13(P 一 . 056),而与该测验中的人际技能得分之间的相关 为0.15(p<0.05);该研究得出结论,就该医学院的 录取实践而言,录取面试对研究生与患者的人际互 动表现的预测效度非常有限.在前述Goho等[40]所 做的元分析中,有10个研究(总样本量为1283)考察 了面试表现与临床绩效之间的关系,分析发现,面试 对临床绩效预测的平均效应值为0.17(95置信区 间为0.11—0.22),该结果表明面试表现与临床绩效 有一定程度的相关. 基于已有的研究结果,Kreiter等[4指出,与录 取决策所基于的其他变量相比,面试的心理测量学 指标相差甚远,将面试作为研究生选拔过程中一个 重要组成部分的合理性令人质疑.而且,面试并不 是免费的,面试数据的获得需要投入大量的成本,包 括面试内容和程序开发的费用,教师和服务人员的 时间以及申请人在时间和经济上的投人等.据 Gabard等[3调查,每个研究生招生机构中,教师和 行政人员总共用于准备面试的平均时间为175小 时,平均面试人数为126人,每位申请人的平均面试 时间是41分钟.面对面试如此巨大的投入以及上 述令人沮丧的效度研究结果,我们不由得追问,研究 生录取面试缺乏效度的原因究竟是什么?是面试这 种评估方式本身并不适合研究生选拔的情境,还是 研究生录取面试在实施过程中存在问题?如果是前 者,我们就不得不认真考虑是否应该放弃面试这种 昂贵且无效的选拔方式;如果是后者,则提示我们必 须对研究生录取面试实践予以改进. (二)录取面试缺乏效度的原因 对于面试的预测效度,人事选拔领域在上世纪 末已经达成共识,选拔面试是预测工作绩效的一种 非常有效的工具[.Schmidt等?]对85年的人 事选拔研究进行了回顾并最终得出结论,选拔面试 是对工作绩效和培训有效性的最好的预测变量之 一 ,并且这一结论具有跨职业,跨效标以及跨组织的 一 致性.当前,人事选拔领域对于面试的预测效度 已经不存在质疑. 然而,大量元分析还表明,尽管选拔面试是一种 有效的人事选拔工具,但面试的效度受到面试结构 化程度的调节.Conway等对160个选拔面试信 度研究的元分析表明,研究设计,评委培训以及面试 结构的三个维度(问题标准化,评分标准化,分数整 合标准化)是面试评分者信度的调节变量.Wiesner 等对l5O个面试效度研究的元分析发现,结构化 面试的平均效度系数是非结构化面试的两倍.结构 化面试可以在很大程度上控制面试中容易出现的偏 差.面试越结构化,面试成绩对于效标绩效的预测 能力越强l_5.松散的或无结构化的面试没有预测 能力或预测能力很低[5. 就研究生选拔过程而言,结构化的录取面试要 求:系统分析确定研究生成功所必需的关键因素或 特质并以此作为设计面试题目的基础;确保提问的 一 致性以及评委的一致性;面试评分时采用行为锚 定的评价量尺;对面试评委进行必要的培训等.?]. 那么,在研究生选拔实践中,录取面试的结构化程度 究竟如何呢? Streyffeler等的研究发现,大多数研究生录 取面试并没有预先设计的问题,而是评委随机提问 任何自己认为恰当的问题,然后往往基于内隐的,评 委个人认为与研究生学业成功相关的标准进行评 分.Elam等_5通过对医学院研究生录取面试过程 中评委笔记的内容分析发现,具有不同专业背景和 面试经验的教师对于同一面试的目的和结构有着彼 此不同的看法.据Johnson等_55]对92位评委的调 查,大多数研究生录取面试对评委缺乏必要的培训, 面试结构化程度很低.Nayer_5和Agho等]的研 究也发现,研究生录取面试的结构松散,面试评委的 角色非常主观但却对研究生录取决策具有重要的 影响. 基于面试在人事选拔领域的出色表现以及研究 生录取面试普遍缺乏结构化的现状,我们不难得出 结论,研究生录取面试之所以缺乏效度,关键问题在 于录取面试的结构化程度过低.在非结构化的研究 生录取面试中,每位面试评委心目中有自己理想的 研究生模型,这些彼此不同的评价标准使得依据面 试结果预测研究生未来的绩效变得几乎不可 能[5卯].大量实证研究也反复证明这种非结构化的 录取面试无法预测研究生未来的学业成就. Streyffeler等[5胡强调,准确地预测绩效要求认真地 设计并验证测评的工具.未经培训的评委,随意的 提问,采用不明确的标准进行评价,这样的面试是难 以预测研究生的未来绩效的.因此,研究者们强调, 提高面试的结构化程度是提高研究生录取面试有效 性的关键.?]. (三)关于面试的小结 面试是研究生选拔中最流行,最常用的非认知 因素评估方式,同时也是最耗时,最昂贵的获取申请 人信息的复试方式.然而,关于研究生录取面试效 度研究的文献回顾令人震惊,除了有些研究发现录 取面试对研究生的专业实践表现具有微弱预测作用 之外,大量研究结果表明录取面试缺乏对研究生绩 效效标的预测效度.人事选拔领域结构化面试充足 的效度证据以及研究生录取面试普遍缺乏结构化的 现状说明,很可能并不是由于面试这种选拔方式不 ? 71? 适合研究生选拔的情境,而是由于研究生录取面试 结构化程度过低,从而损害了面试这一广泛采用的 人事选拔工具本可达到的预测效度.因此,针对具 体的培养目标加强面试的前期研究,提高面试题目 设计,提问方式和评分标准的结构化程度并确保面 试评委接受必要的培训等,这些措施将在很大程度 上改善研究生录取面试的科学性和有效性. 四,推荐信在研究生选拔中的应用 几乎所有研究生招生机构都要求申请人提供推 荐信[6...推荐信在研究生选拔过程中之所以重 要,主要有三方面的原因ll6f.最主要的原因是推荐 信提供了申请人过去的绩效和表现,而研究发现过 去的绩效和表现是未来成功良好的预测变量. 其次,推荐信可以提供录取过程中通过其他评估方 法无法获得的信息,从而具有相对于其他方法的增 益效度l_6.第三,作为推荐人的导师或其授课教师 往往有机会观察申请人的典型表现而不仅仅是其最 优表现;研究表明,测量最优表现的方法可能并不能 准确预测申请人在未来情境中的典型表现. (一)传统推荐信的预测效度 尽管推荐信在研究生选拔过程中应用广泛,但 是,传统推荐信的预测效度并不理想.研究表明,推 荐信的内容往往与未来绩效相关很低.Reilly 等[6]对10个推荐信效度研究(总样本量为5718)结 果的元分析表明,推荐信和总体效标之间的平均相 关为.14.Berman[.的研究考察了推荐信等录取变 量对临床心理学专业研究生的学业成绩和职业能力 的预测作用,结果表明,推荐信并不能有效预测上述 效标.Zeleznik等I6..研究了推荐信的推荐程度与研 究生绩效之间的关系,该研究收集了236名医学院 研究生的本科GPA,推荐人对申请人的推荐程度以 及研究生阶段的学业绩效指标(包括研究生GPA, 全国医学委员会测验成绩等),结果表明,尽管推荐 程度与上述研究生学业绩效指标之间存在微弱相 关,但在多元回归分析中推荐程度对于研究生学业 绩效的预测并无显着贡献;该研究质疑了研究生选 拔中以推荐人对申请人的推荐程度作为录取决策依 据的意义,并提出应该对传统推荐信的形式和方法 进行改进以提高其预测效度.Vannelli等[6阳的元分 析发现,推荐信与教师对研究生的评价之间的相关 系数为.25,与研究生GPA之间的相关系数为.14, ? 72? 与研究生的研究成果之间的相关系数为.10. (二)传统推荐信缺乏效度的原因 影响传统推荐信效度的首要问题是宽容偏差 (1eniencyerrors)的普遍存在.推荐信能否成为研 究生未来绩效的有效预测变量,很大程度上取决于 推荐信所提供信息的准确性和具体性.而研究表 明,推荐信往往对申请人的能力和技能有所夸 大l6.Schneider_7..在其《为什么不能相信推荐信》 一 文中尖锐指出,”„好?并不意味着好,而是意味着 令人绝望的平庸;?可靠?则是乏味和缺少想象力的 简称.”Grote等的研究考察了推荐信是否包含申 请人的准确信息,结果发现,推荐信很少提及申请人 负面的或者不良的人格特征,技能或行为.Loher 等.的研究表明,过度宽容偏差削弱了推荐信的预 测效度. 影响传统推荐信效度的第二个主要原因是推荐 者一致性信度过低.传统推荐信作为推荐人对申请 人的主观描述,往往缺乏统一的评价维度.不同的 推荐人基于各自对研究生录取标准的理解,从不同 的角度出发对申请人进行评价,导致推荐者之间缺 乏一致性,进而影响了推荐信对于录取决策的价值. 传统推荐信的信度问题是如此严重,以至于Baxter 等口胡的研究发现,同一个推荐人为两个申请人分别 写的两封推荐信之间的一致性程度竟然大于两个推 荐人为同一个申请人所写的两封推荐信之间的一致 性程度.由此,他们指出,传统推荐信似乎更多体现 的是推荐人的特点而不是被推荐者的特征. 影响传统推荐信效度的第三个主要原因是推荐 信评分的主观性.传统推荐信的形式使得推荐信在 评分环节很容易出现问题].一方面,推荐信往往 充满一般性的,含糊的语言,评阅人不得不从字里行 间猜测推荐人的真正意图,评阅人对推荐信中信 息的这种主观解释容易导致误读或错误的判断;另 一 方面,不同的评阅人对同一封推荐信的评价可能 由于标准的不同而差别很大,由此,一封推荐信是否 包含有效的证据以证实申请人所具有的特点,在很 大程度上依赖于评阅人各自的标准甚至推荐人写信 的技巧.Aamodt等.的研究发现,通过改进推荐 信的评分方式,可以在一定程度上提高推荐信对未 来绩效的预测效度.该评分过程要求两位专家依据 详细的编码规则将推荐信中提及的申请人的特征归 人事先确定的类别中.尽管采用这种方法推荐信的 预测效度能够得以提高,但这种评分过程要求专家 大量时间和精力的投入,因而难以应用于大规模的 研究生选拔实践. (三)标准化推荐信的研究与实践 为了弥补传统推荐信的不足,研究和实践领域 逐渐探索和推出了标准化推荐信.与传统推荐信完 全开放式的主观描述不同,标准化推荐信采用所有 推荐人都必须遵循的结构化的形式收集有关申请人 的信息.相比较而言,标准化推荐信的优势主要体 现在两个方面.其一,针对传统推荐信推荐者一致 性信度过低的问题,标准化推荐信的形式有助于促 使推荐人对申请人进行评价时依据相对一致的评价 标准,而且标准化的格式可以减少推荐人的特点(如 写作质量和风格,人格特征等)对推荐信内容的影 响.其二,针对传统推荐信评分的主观性问题,标准 化推荐信往往采取Iikert量表,相对百分位数量表 等方式对申请人的重要特征进行定量评价,从而使 得推荐信的评分像标准化测验一样客观和便捷. Daniel_7的研究发现,标准化推荐信可以成为未来 绩效的有效预测变量(r一.33).McCarthy等|6比 较了多种形式标准化推荐信的有效性,结果表明,采 用恰当形式的标准化推荐信可以显着预测绩效,效 度系数可达到.41,明显高于传统推荐信的效度. 美国教育测验服务中心(EducationalTesting Service,ETS)研究生入学考试委员会的研究者 Walpole等l6对来自多个机构代表不同学科的101 位参与研究生录取的教师就研究生选拔的方式进行 了访谈,其中大多数教师都提出希望能够用更为系 统化的推荐信取代传统的推荐信.2009年7月, ETS在大量前期调查研究_6的基础上,推出了 研究生申请者的”个人潜力指数”标准化推荐信系统 (PersonPotentialIndex,ETS?PPI)_7.PPI作 为第一个在高等教育选拔领域中大规模使用的非认 知因素的测量指标,已经正式成为标准化研究生人 学考试的补充,用于提供标准化人学考试所不能评 价的申请者在非认知因素上的特征口.PPI是一种 基于网络的标准化推荐信_7引,该系统允许每位研究 生申请者最多可以选择五位推荐人(往往是其导师 或其他授课教师),由推荐人在6个被认为对研究生 学业成功非常重要的维度上对申请人进行评价,包 括知识与创造性,沟通技能,团队合作,韧性,与 组织以及道德与诚实.评价采用Likert5点量表, 每个维度4个项目,共24个项目.此外,推荐人还 可以就自己的评分给出简短注解.在大规模推广之 前,PPI已经被用于ETS的夏季实习生和研究者招 募7,并在项目1000(Project1000)中用于选拔研 究生_7,这些预实验为PPI用于大规模研究生选拔 提供了支持证据. PPI作为一种标准化推荐信,较好地解决了传 统推荐信推荐者一致性信度过低以及评分主观性的 问题.但到目前为止,PPI仍然不能很好解决宽容 偏差对推荐信预测效度的影响.对此,ETS提出了 如下主要思路和来逐步解决这一问题_8.(1) “国家和局部常模锚定”.随着推荐信数据的积累, PPI将为研究生招生机构提供PPI总分以及每个维 度的国家和局部(如学校和院系)常模.常模信息可 以提供申请人推荐信得分的相对百分位数.根据申 请人的PP1分数以及国家和局部常模,招生机构可 以定位该申请人相对于全国其他申请人或相对于特 定学校,院系的其他申请人在影响研究生成功的6 个非认知因素总分以及每个具体维度上的相对位 次,从而便于招生机构更恰当地基于PPI进行决策. (2)”推荐人评价历史即时反馈”.PPI标准化推荐 信系统在线收集评价数据并自动每位推荐人的 个人评价历史.每当推荐人完成对特定申请人在某 个项目,维度或总体的评分之后,系统将根据该推荐 人以往的评价历史提供即时反馈,例如,”您对这位 申请人的评价是您已有评价的第9O百分位数,您确 定吗?”同时,推荐人还可以随时查阅自己的推荐历 史.这种反馈机制使得推荐人更谨慎于自己的评价 并有助于推荐人保持自身评价标准的一致性.(3) “推荐人宽严程度校正”.随着PPI标准化推荐信系 统中越来越多推荐人评价信息的汇集,PPI可以对 每位推荐人的评分宽严程度进行估计并最终实现对 其评分的相应校正.与其他推荐人相比,如果某位 推荐人在对相同申请人进行评价时总是给出过高的 评价,那么该推荐人的评分经过统计校正后将被相 应减低,以校正其过度宽容偏差.(4)”推荐人效度 校正”.这种方法将推荐人评分的预测效度考虑进 来,在推荐人的评分与申请人的效标变量(如研究生 GPA)之间建立联系,并使得不同推荐人的评分可以 ?73? 在同一效标变量的尺度上进行比较.如果某位推荐 人的评价能够更为准确地预测申请人随后的研究生 阶段的绩效效标的话,则表明该推荐人的评价有良 好的预测效度.与那些效度比较差的推荐人相比, 预测效度良好的推荐人的评价将被赋予更大的权 重.这种方法尽管一开始难以做到,但随着推荐信 数据的积累以及申请人效标数据的定期收集,这种 校正对于提高整个PPI标准化推荐信系统的预测效 度有着深刻的影响. (四)关于推荐信的小结 推荐信能够提供通过其他方式难以获得的有关 申请人的独特信息,因而在国外研究生选拔中使用 非常广泛.但是,由于宽容偏差,推荐者一致性信度 过低以及评分主观等问题的存在,传统推荐信的预 测效度并不理想.标准化推荐信采用结构化的形式 收集有关申请人的信息,从而较好地解决了传统推 荐信信度过低和评分主观的问题.对于宽容偏差, ETS推出的PPI标准化推荐信系统将通过国家和局 部常模锚定,推荐人评价历史即时反馈,推荐人宽严 程度校正和推荐人效度校正等方法逐步予以解决. 总而言之,标准化推荐信是研究生选拔过程中对申 请人非认知因素进行评估的一个极具潜力的发展 方向. 五,国外研究生选拔方式对我国研究生复试的 启示 上述有关本科成绩,面试以及推荐信等研究生 选拔方式在国外的研究与实践对我国研究生复试具 有如下几点启示. (一)重视本科成绩在研究生复试中的应有作用 大量研究表明,本科成绩是多种研究生学业绩 效的有效预测变量,而且其预测效度往往大于标准 化研究生入学考试成绩.本科GPA是对本科四年 上百学分,数十门课程学业绩效的综合反映,是几十 名评委在多种背景下对学生的多维评价.与单次研 究生入学考试相比,本科成绩对考生学业能力乃至 综合素质的反映可能更为稳定.然而,在我国研究 生复试中,本科成绩并未受到重视.因此,应该在我 国研究生复试中切实提高本科成绩的地位,发挥其 在研究生选拔中应有的重要作用.而且,在研究生 复试中强调对本科成绩的重视还有助于提高考生的 整体质量.研究生选拔对本科教学具有强烈的导向 ? 74? 作用.据教育部统计,每年有将近40的本科生加 入到考研行列之中[8?.在研究生复试中加大对本 科成绩的重视,有助于缓解当前考研严重冲击本科 教学的现状,而且长此以往,将有助于提高考生的整 体素质. (二)提高录取面试的结构化程度 关于研究生录取面试效度研究的文献回顾令人 震惊,大量研究表明,研究生录取面试的预测效度非 常低.人事选拔领域结构化面试的大量成功以及研 究生选拔中非结构化面试的普遍失败表明,录取面 试过低的结构化程度很可能是造成其效度低下的根 本原因.就我国的研究生面试实践而言,面试是所 有招生机构都采用的复试方式,无论是研究生招生 机构还是考生都为此投入了大量的时间和资源.但 是,录取面试缺乏前期研究,评价指标不科学,面试 问题随意,评分标准含糊以及评委缺乏必要培训等 非结构化的特征非常明显?