原网站

教育部科技发展中心产学研创新基金

-“智融兴教”基金

结题报告

课题名称：大数据技术应用于高校教授综合评价的研究

课题编号：2018A01026

负责人：赵柏森

学校名称：重庆工业职业技术学院

填报日期：2020年8月10日

教育部科技发展中心
北京恒信源教育文化集团有限公司
2020年5月制

一、简表

项目摘要（500字以内）:

 

近年来，以美国Rate My Professor网站为代表的一系列教学评价网站的出 现和迅速发展，体现了一种新兴的“公开评价高校教学”的趋势。该类网站通过 展示学生自愿对高校教授的评分和评价，实现量化教学排名和公开化教学评价 结果，并最终推进了高校教学评价的变革。然而，有学者批评，Rate My Professor 网站所提供的评价指标缺乏合理依据，不能从根本上评价出高校教学的整体水 平，且一定程度上对教师形象和声誉造成了负面影响。在这样的背景下，对该网 站数据展开全面系统的分析，探究网站评分的影响因素，讨论网站评分的可靠性 和实用价值，成为了教育学学者关注的热点。

基于上述背景，本研究利用Rate My Professor网站上2016年1月至2020 年8月共1455926个教授的评分数据，首先比较不同学校和不同专业的评分差 异；再利用相关系数和回归分析等方式，探究影响评分的主要因素和影响方式; 最后结合标签文本分析高/低评分教授的标签特点。结果发现：1）教学文化丰富 多元的学校教授评分较高，网络授课的在线大学教授评分较低；语言类专业等非 理工科专业教授评分较高，传统的理工科专业教授评分较低。2）影响教授分数 的主要因素是课程难度，难度越小，则评分越高；另外，课程难度和最有用评论 较为客观地反映了大多数学生的看法，具有较高的参考价值。3）高评分教授的 标签主要是“有良好反馈的”、“关心学生的”、“尊重的”；低评分教授的标 签则主要是“打分严格”、“不能逃课”、“作业繁多”。

二、报告正文

1.研究计划要点及执行情况概述。

本研究的研究要点有如下三个方面：

1）描述教授评分的总体分布情况，并比较不同学校和不同专业的评分差异： 本研究首先进行数据清洗，将评分缺失的数据条目删除，再将缺失数据用0替 代，最后得到714950条有效数据。对所有评分数据进行描述统计之后，本研究 对不同学校和专业计算了评分人数，并对评分人数在100以上的学校和专业计 算了平均评分，最后得到评分人数前20的学校/专业，平均评分前十的学校/专 业和倒数前十的学校/专业及其评分的分布情况。

2） 探究影响评分的主要因素和影响方式：本研究首先计算了源数据中的7 个数值型维度的相关系数矩阵，再进一步地抽样1000个数据样本计算了相关系 数的显著性，得到了4个和教授评分有显著相关关系的特征，最后对这4个特 征逐一进行单变量回归分析。

3） 分析高/低评分教授的标签特点和评论文本特点：本研究以平均分土标 准差为高/低评分的标准，筛选出高/低评分的教师，再分别对这两类教授的每种 标签的数量进行统计，并结合高/低评分教师的“最有用评论”的文本分词词云 图，分析标签和评论特点。

1.1研究背景

高校教学评价是借助行之有效的技术手段对影响教学的因素以及教学的整 体效果，包括教学目标、教学内容、教学方法、教学过程、教学结果等方面做 出真实、有效的判断。关注高校教学评价，对高等教育质量发展的走向、教育 资源的有效分配以及高校内部强化教学中心地位会产生直接且重要的影响。近 年来，以美国Rate My Professor网站为代表的一系列教学评价网站的出现和 迅速发展体现了一种新兴的“公开评价高校教学"的趋势。Rate My Professor 网站是由美国加利福尼亚州的软件工程师约翰•司普斯因斯基（John Swapceinski）于1999年5月创立的一个网站，Rate My Professor网站公 开了美国、加拿大等国家高校教学方面的相关信息，提供了教学评价的指标与 方法，评价结果亦完整、公开、全面、实时地显示在网站页面中，供访问者进 行查询。该网站以网络为依托，旨在建立一个免费、开放的高校教学评价平 台，通过细化评价指标、量化教学排名、公开化教学评价结果等方式推进高校 教学评价的变革。

作为世界最大的公开教学评价平台，在Rate My Professor网站上进行注 册的用户目前已经超过了 680万，每个月的访问量达到了 400万次以上。网站 中的评价对象涉及到美国、加拿大、英国、威尔士等地区8000多所学校的 170多万名教师，对高校教学方面的评价条次也已经超过了 1500万。该网站成 为了所有免费评价高校教学网站中点击率最高的网站，也成为了北美地区评价 高校教学水平最权威的网站之一。

然而，与学生等评价者“热捧”相反的是，专家学者与高校的一线教师等 群体却不断对Rate My Professor网站提出批评与质疑，认为这一“公开化” 的教学评价方式无法真实、准确、科学地评价出高校教学的各个方面。相反 地，公开在网站上的教学评价结果却在一定程度上对教师形象和声誉造成了负 面影响。美国缅因大学(the University of Maine )、杨百翰大学

(BrighamYoung University)、陶森大学(Towson University)等高校的学 者通过实证调查指出，Rate My Professor网站所提供的评价指标缺乏合理依 据，不能从根本上评价出高校教学的整体水平；同时，该网站仅仅将部分浏览 并参与公开评价的学生作为高校教学评价的主体，由此产生的评价结果并不能 代表所有学生对于高校教学质量的评价，这一评价方式实际上是对美国高校教 学评价公信力和科学性的损害。

在这样的背景下，对Rate My Professor网站数据展开全面系统的分析， 探究网站评分的影响因素，讨论网站评分的可靠性和实用价值，成为了教育学 学者关注的热点。一方面，该网站的数据结果有助于高校教授和教育行业工作 者了解当下学生的真实需求和想法，从而改善教育方式和课程内容；另一方 面，对网站数据总体的分析总结也有助于学生对该网站的评分有更全面客观的 了解，从而更好地进行择校、选课和导师选择。

1.2应用现状

Rate My Professor网站将高校教学的评价信息和评价指标公开，旨在帮 助评价者全面理解评价目的和评价内涵，从而更准确地进行教学评价。该网站

公开了美国、加拿大、英国、威尔士等地区8000多所高校的130多万名教师 的基本信息。信息内容包括教师本人的照片、所在地区、学校及任教科目等。 其次，该网站将不同类别的教学评价方法及其评价指标均公开且详细地展现在 评价页面中，并注以具体的内涵解释。例如，在“五分制”的量化教学质量评 价中，评价指标包括了四个具体维度：课程难易程度（Easiness）、教师帮助程 度（Helpfulness）、授课清晰程度（Clarity）、课前兴趣水平（Interest Level Prior to Attending Class）；每一项指标由评价者做出1-5分的评 价：1分表示教师在某项教学方面获得较差的成绩，5分表示教师在该方面获 得较好的成绩。在这一教学质量评价方法中，Rate My Professor网站对其每 一项评价指标所代表的具体内容及含义均作出了详细的解释，以帮助评价者理 解该评价指标所设立的评价目的及评价指向。同样地，Rate My Professor网 站于2015年进行的改进中，新出现了 “标签评价”（Tag）方式。该网站公开 了 22个关于教师教学风格和特点方面的标签，包括“教师特点”、“课程特 点”、“课程出勤率”、“课后作业”等相关方面的“关键词”，由评价者在评价页 面中选择三个标签来代表教师教学风格和授课特点。Rate My Professor网站 以期通过公开的教师性格和教学特点标签指标，为网站访问者在教学评价和课 程选择时提供参考和借鉴。同时，网站还对评价者选择的代表教师教学风格和 特点的标签进行数量统计，并以量化排名的方式公开在网站的教师评价页面 中，以清晰、直观的量化数据统计供浏览者参考。

从评价者的角度，该网站资格注册、教学评价过程实施到评价结果反馈等 方面均由评价者自行决定并控制。在评价伊始，评价者通过有效、合法的邮箱 进行简单的用户注册之后，便可进入教学评价页面自行进行相关评价。首先， 评价者可以公开、自由地选择教学评价对象和评价内容，并通过网站自身的 “关键词”检索页面进入相关教师的评价页面进行评价。评价者在进行教学评 价时可以根据自身喜好或要求选择对某位教师的某些方面进行相关评价，网站 并无强制性要求填写全部的教学评价内容。其次，评价者公开进行高校教学评 价的时间及地点等不受约束。评价者可以自行决定进行教学评价的时间，在进 行授课的过程中或是课程结束后对教师教学内容、教学方式及教学效果等做出 相关评价。同时，这一类公开评价方式在任意一台接入互联网的电脑终端或手 机客户端均可进行，打破了传统校内教学评价中受评价时间、评价地点的限 制，也打破了以往高校教学评价中只能使用校内局域网进行评价的局限。

再者，每年年终，Rate My Professor网站会将公开在网站中的高校教学 评价结果进行处理并量化排名，评选出“评分最高的教师”、“最热辣的教师”、 “最顶尖的学校”以及“最有趣的评价”等不同类型的“年度排行榜”，并公布 在网站中供访问者进行浏览和查询。最后，Rate My Professor网站上的教学 评价反馈也公开在网站中进行。教师可以通过“教师大反击”栏目上传视频或 是文字等，针对评价者提出的问题公开进行解答，及时给予评价者反馈。评价 者通过美国“评师网”进行教学评价，从评价资格注册、评价时间、地点与对 象的选择、教学评价实施到年终教学排名以及评价反馈等各个方面均由评价者 在网站上公开进行，整个教学评价过程具有公开性与透明性，不受高校等其他 组织的操控与制约。

目前，Rate My Professor网站已经成为了所有免费评价高校教学网站中 点击率最高的网站，也成为了北美地区评价高校教学水平最权威的网站之一。 该网站对北美乃至世界的高等教育行业产生了深远长久的影响，相关研究成果 也越来越丰富完善，下面介绍相关文献情况。

1.2国内外文献综述

1.2.1国外研究现状分析

国外与Rate My Professor网站相关的研究主要集中在三个方面：一是对 于Rate My Professor网站运作机制研究，包括对其评价理念与操作方式的研 究；二是对于Rate My Professor网站价值和影响的研究，如对高校、教师、 学生以及社会群体等产生的不同影响；三是对于美国“评师网”评价方式局限 性的研究，包括评价理念的困境、评价主体的偏差、操作方法的局限等方面。

1) 对Rate My Professor网站运作机制的研究

学者关于Rate My Professor网站运作机制的研究主要包括两个方面：首 先是对于美国“评师网”评价理念的研究。学者关于该网站评价理念的第一类 讨论是学生成为教学评价的主体，通过网站公开进行教学评价，扭转高校教学 评价中教学管理部门的强势地位；第二类讨论是Rate My Professor网站中的 教学评价方式公开了高校教学的评价目的、评价指标、评价方法、评价内容、 评价结果与评价反馈，同时还公开了高校的教学过程及教学效果。这一评价方 法能够为教师提供更多的教学反馈信息，对帮助教师积极改进教学内容和教学 方式、提高高校教学质量产生了重要影响。第三类讨论是Rate My Professor 网站提供了针对所有高校教学的统一评价方法，构建了高校教学校际评比平 台，打破传统教学评价过程中仅局限于高校内部产生影响的评价模式，有利于 提升教学在高校发展中的地位和影响。

其次是对Rate My Professor网站运作方式的研究。Rate My Professor 网站通过评价者浏览网页并对教师进行1-5分的评价，评价内容包括以下几个 方面：课程难易程度(Easiness)、教师帮助程度(Helpfulness)、授课清晰程 度(Clarity)、课前兴趣水平(Interest Level Prior to Attending Class)、教材使用情况(Textbook Use)以及教学综合评分(Overall Quality )等。同时，学生还可以针对高校教学的其他方面进行长达350字符 的评论；网站同时设有“教师大反击”栏目，教师可通过上传视频、文字等形 式针对学生的不合理评论进行反驳，及时给予学生反馈。

2) 对Rate My Professor网站的价值和影响的研究

学者关于对Rate My Professor网站价值和影响的研究主要体现在以下四 个方面：一是对高校的影响。评价者可以通过Rate My Professor网站对各高 校的学术声誉、校园环境、地理位置、图书资源等情况进行评价。每年年终， 该网站中的教学评价结果及高校评价结果成为美国“福布斯高校排行榜”中的 重要指标，对高校排名的高低产生直接的影响。同时，Rate My Professor网 站中公开的教学评价结果还影响高校管理运作。学者安吉拉•莱格(Angela M. Legg)和珍妮•威尔逊(Janie H. Wilson)等研究得出公开的教学评价影响了 高校管理部门对于教授加薪、晋升、改善教学岗位市场流通等方面的决策。二 是对教师的影响。Rate My Professor网站中的教学评价结果对增强教师的工 作动机、规范教师的教学行为，促进师生沟通、提高教师教学产生了影响。三 是对于学生的影响。学者伊丽莎白•戴维森(Elizabeth Davison )等人认为公 开评价高校教学这一方式提高了学生参与教学评价的权利。学生积极参与教学 评价活动，有利于充分发挥他们行使教育服务的监督权；而由学生反馈的教学 评价意见也能够帮助教师改进教学中存在的不足、提高高校的整体教学质量。 四是对于社会的影响。Rate My Professor网站所代表的公开评价高校教学方 式使原本局限于学校之内的教学评价展现在社会公众面前，能够帮助公众了解 高校内部教学评价机制，知晓高校的教学方式、教学内容、评价方法与评价结 果等，从而加强社会对于高校运作机制、人事管理的认识与监督，提高公众对 高校教学的关注程度。

3) Rate My Professor网站评价方式的局限性

学者关于Rate My Professor网站评价方式局限性的研究主要集中在以下 三个方面：一是关于Rate My Professor网站评价理念困境的研究。该网站的 评价主体为学生，但部分学者对于“学生评价能否代表教师真实、整体的教学 水平”仍然存在疑虑。反对者认为，按照标准条件绝大多数学生并不具有评价 高校教学的资格。学生或许能判断教师教学的某个方面，但无法直接测量出教 师的教学业绩。此外，Rate My Professor网站运作机制中的评价指标也为反 对者所诟病。部分学者认为该网站仅从课程难易程度、教师帮助程度、授课清 晰程度、教师热辣程度以及教学综合评分等几个维度进行的评价不能显示出高 校关于教学方面的整体和质量水平。尤其是关于“教师热辣程度”这一评价指 标的研究，学者西奥多•克拉达奇(Theodore Coladarci )和欧文•康菲尔德 (Irv Kornfield)认为“教师热辣程度”指标是基于评价者个人的主观判断， 是对Rate My Professor网站评价信度和评价效度的轻浮诽谤和损害，建议取 消该网站中关于“教师热辣程度”的评价。

二是关于Rate My Professor网站评价主体偏差的研究。网络所具有的自 主性和特殊性等特点，使得Rate My Professor网站参与教学评价的主体不同 于高校教学管理部门组织的教学评价中的“一人一号制”或是传统纸笔评价中 的“一人一纸制”，其评价主体并没有覆盖参与教学活动的所有群体，不具有全 面性。美国学者詹姆斯•奥托等人(James Otto)认为仅以部分学生的评价结 果来评判教师，可能使评价结果产生一定的偏差。部分学生通过Rate My Professor网站进行的教学评价并不能代表所有学生对于教师教学的评价，由 此而产生的评价结果也不能代表高校教学的整体水平和质量。

三是对Rate My Professor网站操作方式局限性的研究。尽管Rate My Professor网站采用了 IP地址检查、帐号登录限制等方式避免在教学评价过

程中出现“一人多次评价同一个教师”、“教师为自己评高分”以及“教师为中 伤同行故意打出低分”等情况的发生，但并未从根本上解决这一类问题。利用 Rate My Professor网站进行教学评价过程中存在的打“报复分”或“感情 分”等现象也并未通过合理的操作方式予以解决。

1.2.2国内研究现状分析

国内文献研究中对于美国“评师网”的理论研究和实践研究较少，相关研 究主要集中在对于高校内传统教学评价模式的研究以及对于国内高校公开评价 教学方式的研究这两个方面。首先是对于高校内传统教学评价模式的研究。这 一方面的相关研究较为全面，主要集中在传统高校内部传统教学评价模式的目 的与功能，教学评价的内容、指标及方法，教学评价实施过程中存在的问题及 对教学评价改革等方面。

其次是对于公开评价高校教学方式的研究，主要集中在两个方面：一是对 国内“评师网”（现变更为“学邦网”，其域名为www.xuebang.com）的相关媒 体报道。该网站自称是“中国首家高校教学在线评估第三方中立平台”，将网站 功能定位于“评选优秀教师，聆听精彩课程”国内相关媒体针对该网站产生的 背景、部分学生和教师对于该网站的态度和看法以及该网站的出现对高校教学 评价方式带来的影响与冲击等方面进行的相关描述性报道。二是对于公开评价 高校教学方法的研究。该方面的研究主要集中在国内学者对于“网络教学评价 平台”及对于“大学社会评价”两方面的研究。

关于“网络教学评价平台，，的研究，学者主要集中在对于网络教学评价的 特点、内容、实施策略等方面的论述，同时注重对于如何构建网络教学评价平 台的研究。对于“大学社会评价”的研究，学者主要集中在第三方机构利用公 开评价的方法对高校进行排名，促使高校主动适应市场需求和社会经济、政 治、文化、科技发展的需要。学者余小波认为，“大学的社会评价活动是指运用 社会的力量对大学的主要职能，即人才培养、科学研究与社会服务是否满足社 会和受教育者个人的需要程度并作出相关的价值判断的活动” 1.2.3研究趋势

纵观上述研究，国外学者通过对Rate My Professor网站的运作机制、价 值与影响及局限等方面进行了相关研究，较为全面且具体的介绍了美国“评师 网”的实施及对高校教学方面产生的影响，并对美国“评师网”存在的问题提 出了相关建议；而国内学者对于美国“评师网”的理论研究和实践研究较少， 相关研究主要集中国内媒体对于国内教学评价网站一一“学邦网”的相关媒体 报道中，研究深度和研究广度不足。另外，无论是国内研究还是研究，分析实 验的样本量都局限在少数学校，少数专业，或者距研究者较近的少数样本群 体，样本数往往在几百左右，缺乏跨学校、跨专业的大样本研究。

基于此，对Rate My Professor网站的评分数据进行大样本量的综合研究 分析，深入了解不同学校和不同学科之间教授评级的差异，分析与评分相关的 主要因素，是十分有必要的。该研究能够为教育工作者了解学生情况、改善自 身的教育方式等提供数据基础，以及学生择校择师和客观看待Rate My Professor网站评分等提供借鉴。

1.3研究思路与方法

本研究主要采用对数据统计描述的方式，首先描述教授评分的总体分布情 况，包括对不同学校和不同专业之间的比较；其次是利用相关系数和回归分析 等方式，探究影响评分的主要因素和影响方式；最后是结合教授标签文本数据 和评论文本数据，分析学生对不同层次教授的描述标签和热门评论的特点。

2.研究工作主要进展及所取得的研究成果。

本研究的数据来源是Rate My Professor网站上2016年1月至2020年8月共 1455926个教授的评分数据，每个数据条目包含14个数据项，变量名和变量含义 如表1所示：

 

本研究的主要任务为：

1） 描述教授评分的分布情况，并分析不同学校和不同学科之间教授评分的 差异。

2） 分析影响教授评分的数据维度，寻找与教授评分关系最大的维数；

3） 分析高/低评分教授的主要标签类型和主要评论特点。

2. 1评分情况的描述

2.1.1数据清洗

由于教授评分是关键变量，所以首先将该项数据缺失的数据条目删除，并将 “学生再次选课的概率”和“学生认为的课程难度”列中的缺失项“Null”以0替代。 最后得到714950个数据条目。

2.1.2评分的分布情况

首先观察评分的总体分布情况，714950个教授的评分频率分布直方图如图 所示：

 

由图2-1可以看到，大部分评分在3-5之间，且分数为整数的较多，其中2

分的数量最少，5分的数量最多，整体分布类似于反对数正态分布。为了定量

描述评分的数据情况，我们计算了所有评分的7个统计特征量，如表2所示：

表2教授评分的描述统计数据

平均数 中位数 众数 极差 方差 标准差 变异系数

3.78 4.00 5.00 4.04 1.10 1.05 3.60

描述统计结果与评分的频率分布直方图一致，出现次数最多的评分是最高的 5分。平均数和中位数都在4分左右，方差和标准差都在1分左右，说明绝大部 分评分在3-5之间。

2.1.3不同学校的评分差异

本研究使用的数据集中包含了来自2148个不同学校714949个不同教授的 评分数据。每个学校的拥有评分的教授数量从侧面反映了该学校的学生数量， 教授数量，学生使用Rate My Professor的意识等问题。我们对每个学校统计了 拥有评分的教授数量，其中教授数量排名前20的学校如下图所示：

 

 

 

图2-2拥有评分的教授人数排名前20的学校

由图2-2可以看到，排名前二十的学校都是美国的公立大学，佛罗里达洲和 加利福尼亚洲的大学居多。其中亚利桑那州立大学(Arizona State University)参 与被评分的教授人数最多，为7837人，其次是迈阿密戴德学院(Miami Dade College)5178 人和南佛罗里达大学(University of south Florida)4686 人。美国 的公立大学由于学费较低、录取标准较低等原因，往往学生数量和学校规模都大 于私立大学，但教授数量则一般少于私立大学。考虑到Rate my professor上的教 授信息主要由学生添加，公立大学的教授评分数据明显偏多的原因一方面可能是 公立大学的学生数量较多，另一方面也可能是公立大学的学生相对更有使用Rate my professor网站的意识，更倾向于给教授评分。

为了比较不同大学的教授评分差异，我们计算了每个大学的教授平均得分。 其中发现有1281个学校的参与评分的教授人数不足100人。由于在评分人数过 少的情况下，平均分难以代表学校的平均水平，因此我们将这部分学校忽略。最 后计算剩下的867个学校的教授平均得分，平均得分排序正数前十的学校和倒数 前十的学校分别如图2-3所示：

 

图2-3教授均分前10的学校和倒数前10的学校及其平均评分

其中红色的是教授均分排名前10的学校，灰色的是教授均分排名倒数前10 的学校。平均评分最高的是佛罗里达国立大学(Florida National University), 均分为4.29分，其次是加兹登州立社区学院(Gadsden State Community College)，均分4.17分，以及科罗拉多州基督教大学(Colorado Christian University)，均分4.16分。这三所大学均不是学术排名靠前的知名大学，主要 学院偏向于艺术、人文、商业管理等，但都以丰富多样的校园活动和美丽宜人 的校园环境为特色。在均分排名前10的学校中，学校类型大多为文理学院，其 中学术水平最高的是卡尔顿大学(Carleton College)，该校致力于营造校园的 多元文化，课余生活较为丰富，且名列文理学院中本科教学质量之首。

教授均分最低的大学是爱荷华大学(Upper Iowa University)，均分3.128 分，其次是凤凰大学在线(University of Phoenix Online)，均分3.128分，以及 科罗拉多社区大学在线(Colorado Community Colleges Online)。均分较低的 10所大学大都以远程网络授课作为特色，这说明网络授课可能很大程度上降低 了学生对教授的评分，而这和教授本身的教学水平并无直接关系。

为了具体更进一步地观察评分排名前10和倒数前10的大学评分分布，我 们绘制了这20所大学的评分箱型图，如图2-4所示:

图2-4教授均分前10的学校和倒数前10的学校评分箱型图

由图2-4可以看到，排名前10的大学分数相对集中，排除少部分异常数据 后，下边缘最低分都在2分以上，其中排名第一的佛罗里达国立大学(Florida National University)75% (即下四分位数)以上的评分都在4分以上。排名倒数 前10的大学分数分布则都比较分散，其中阿斯福德大学(Ashford University)、 斯特雷耶大学(Strayer University)、伊克塞尔希尔学院(Excelsior College)和 科罗拉多州立大学(Colorado State University)的前25% (即上四分位数)都接 近5分，且其他排名倒数前10大学单看前25%的教授评分，与排名前十的10所 大学并无明显差异。这说明排名倒数前10的大学实际上也有一些高评分的教授, 但出现低评分的教授的可能性很大，下限较低，所以拉低了整体的学校均分。

 

 

为了从地理位置上观察高均分学校和低均分学校的分布情况，我们将均分前 10的学校和倒数前10的学校定位在地图的相应位置，如图2-5所示，绿色标记 为均分排名正数前10的大学，红色标记为均分排名倒数前10的大学。均分高的 10所大学大都分布在南方、纽约州、加利福尼亚州和明尼苏达洲，其中纽约州既 有均分很高的大学，也有均分很低的大学。均分偏低的大学主要分布在北方和亚 利桑那州。

2.1.4不同专业的评分差异

数据集中包含了 2338个不同专业的教授评分数据，教授人数排名前20的专 业如图所示。其中英语系(English department)参与被评分的教授人数最多，为 68418人，其次是数学系(Mathematics department) ， 56319人；和心理系

(Psychology department)34487人。可以看到，评分人数多的专业涵盖了文学、 理学、工学三个领域的热门专业，非常全面的覆盖到了常见学科。

人 分 评 免 避 了 为

人

⁰

11 足 不 人 授 教 的 分 评 与 参 的 业 专 个

87 O 2 有

11

5

2

下 剩 算 计

nJ

冷 扁 也 这 将

戈

3J

足 不 性 表 代 的

值 均 致 导

分 业 专 的 十 前 数 倒 和 业 专 的 十 前 数 正 序 rFr 分 得 均 平 授 教

分 得 均 平 授 教 的 业 专 个

4

gueos U.2%E」O』U- 2 3 bou£MU muUJ-BuAsnpu-

SO3S3ES stv -(Q」mq-1 s.2SAqd

S8UOQS q4-»-*H gueos

A,t- 一 qeu 為-Hsns

SO'EOUOOIXI bo.£」*.EbouUJ-8 ewlu

u.2A8ns-§swd sseoons」OLA_S.?3ACQ」》S

ueuu ①CD

U.2SS38

■HuawdoQAea S--MS OEOPBOV

① seucudw

.2EV

ea1W3

①o3snr4-0 UO3WASC一 Epv §o£su- AOTd u.2%>v

业 专

/^■l r

q^fl

倒 和 业

Alb*

7

2

均分排名第一的专业是航空飞行员教员(Aviation Pilot Instructor),均分为

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.39分，其次是司法（Administration Of Justice）专业，均分为4.38分，以及急

救护理（EMT & Paramedic）专业，均分为4.33分。在均分排名前10的专业中,

阿拉伯语（Arabic）、日语（Japanese）、俄罗斯语（Russian）、德语（German） 都属于语言类专业，其他专业都属于以职业为导向，应用性较强的非理工科专业, 且这些专业的评分人数都在500以内，相对属于冷门专业。

均分排名倒数第一的专业是图书馆与信息科学（Library & Information

Science），均分为 3.36 分，其次是工业工程（Industrial Engineering），均分 3.39

分，以及统计（Statistics）专业，均分3.41分。在均分排名倒数前10的专业中， 物理学（Physics）和经济学（Economics）是评分人数在10000人左右的热门专

业，且都是基础学科，均分分别为3.42分和3.47分。电气工程（Electrical

Engineering）和统计学（Statistics）是评分人数在1000人左右的中等专业，其他 专业则是评分人数在500以内的冷门专业。这些学科的共同特点是均属于理工 科，相对来说学习难度较大，或者与具体的工作和生活差距较远。

进一步地,我们平均评分排名前10的专业和倒数前10的专业的评分箱型图,

 

从图2-8中可以看到，平均评分前10的专业分数分布都集中在4分以上，其 上边缘都靠近5分满分，说明前25%的分数都十分接近5分。但这些专业也存在 少数的异常点，即分数在1-2分的情况，其中体育(Physical Education)专业在 1-2分之间异常点较多。

平均评分倒数前10的专业分数分布相对分散,其中健康科学(Health Sciences) 的分数最为分散，前25%的分数在4.8分以上，其他传统的理工科专业则都更加 集中地分布在3-4分之间。

2.2影响评分的因素

寻找影响学生给教授评级的因素、研究学生打分的原因，一直是关于Rate My Professors. com网站的热点问题，这直接关系到对教授评价的准确性、对学生学 习的影响甚至于对整个教育行业的影响。类似的研究大多集中于某几个学校，样 本量通常在200左右，缺乏覆盖更多学校的大样本研究，在本报告中，我们利用 经过3.2.1数据清洗后的所有数据，即2016年1月至2020年8月来自2148个学 校共1455926个教授的数据，研究影响教授的因素。

根据2.1.1中的数据集情况，数值型数据共有“教授评分”、“课程难度”、 “学生可能再次上课”、“学生评分次数”、“教授tag数量”、“最有用评论 的赞同数”、“最有用评论的反对数”7个维度，我们对这7个维度计算其相关系 数矩阵，热力图如图2-9所示：

图2-9 7个数值型维度的相关系数热力图

从图2-9中可以看到，教师评分、再次上课概率和课程难度之间的相关性 相对比较紧密，教师评分与再次上课概率呈正相关，与课程难度呈负相关。其 中教师评分与课程难度的相关系数的绝对值最大。为了进一步验证变量相关性 的统计学意义，需要计算相关关系的显著性。由于样本量过大容易使统计显著 性的p值过小，我们从714949个教授数据中随机抽样1000个样本，计算相关 系数矩阵如表3所示：

表3 7个数值型维度的相关系数矩阵

1 2 3 4 5 6 7

5.  打分次数 一一

6.  对最有用评      论的赞同次数——

7. 对最有用评

论的反对次数

*p<0.05;**p<0.01;***p<0.001

从表3可以得到，教授评分分别与再次上课概率呈显著正相关；与上课难 度呈显著负相关；与教授标签数量呈显著负相关；与最有用评论的反对次数呈 显著负相关。这说明：1）再次上课概率越高，教授评分越高；2）课程难度越 低，教授评分越高；3）教授标签数量越多，教授评分越高；4）最有用评论的

反对次数越少，教授评分越高。其中相关系数绝对值最大的是再次上课概率,

其次是课程难度。下面逐一分析这四个维度与教授评分的关系。

1 ）再次上课概率

图2-10显示了教授评分和再次上课概率的关系，上边缘和右边缘图片分别 是两个数据维度各自的分布情况，中间图片表示两个数据维度的散点分布和回 归关系。可以看到，再次上课概率本身的分布非常集中，绝大部分数据都在 100%左右。但即使在100%的再次上课概率的情况下，教授评分也较为均匀地 分布在了 1-5之间。这说明Rate My Professor上的“再次上课概率”可能没有完
全真实地反映学生再次选这个教授课的可能性，但总体而言，再次上课概率越 低，教授的评分越低。

（2）课程难度

 

图2-11教授评分与课程难度的联合分布图

图2-11单独显示了教授评分和课程难度的关系，上边缘和右边缘图片分别 是两个数据维度各自的分布情况，中间图片表示两个数据维度的六边形核密度 估计图，颜色越深表示数据分布密度越高。与其他变量不同，课程难度本身呈 比较标准的正太分布，这说明该变量比较接近于现实中学生对课程难度的看 法，具有较高的参考价值。显然，难度越高，教授评分越低。这与已有的研究 吻合。在教授评分为5的情况下，课程难度集中于1-3，当难度在4以上时，评 分为5的情况很少，在难度为5的情况下，大部分教授评分都集中在1分，反 之，课程难度为1的情况下，教授评分几乎只集中在5分。这说明课程难度对 教授评分的影响是非常显著的。教授想要获得较高的评分，就必须确保自己的 课程难度在学生接受范围内。

由于Rate My Professor网站的评分为学生，相关结果对课程难度的强调暗 示着，大部分学生可能对学习过程或教育的最终产品不感兴趣。相反，他们喜 爱寻求获得大学学位的阻力最小的道路。由于容易程度很少通过机构评估来衡
量，这说明学生、教授和管理层对课程和高等教育的期望之间存在较大的脱

节。从学生选课的角度考虑，若主要期望于找到一个课程简单的教授，那么

Rate My Professor网站的评分是有较高参考价值的。但若更偏重于知识的获取

和教学的质量，那么该网站的评分则可能有失偏颇。

（3）教授标签数量

 

图2-12教授评分与教授标签数量的联合分布图

 

图2-12单独显示了教授评分和教授标签数量的关系，上边缘和右边缘图片 分别是两个数据维度各自的分布情况，中间图片表示两个数据维度的散点分布 和回归关系。教授标签数量最多的是5和0，在5个标签的情况下，低评分的 出现次数相对0个标签的情况下要少，在1-2分的低分段，教授标签数量为0 的数据偏多。这一方面说明学生给教授的标签对教授评分有一定提高的作用， 另一方面则暗示，学生对自己不喜欢的教授并不想花太多时间进行更丰富地评 价，而是仅仅给予较低的评分。

（4）最有用评论的反对次数

 

 

 

 

0 10 20 30

对最有用评论的反对次数

 

图2-13教授评分与最有用评论反对次数的联合分布图

图2-13单独显示了教授评分和教授标签数量的关系，上边缘和右边缘图片 分别是两个数据维度各自的分布情况，中间图片表示两个数据维度的散点分布和 回归关系。可以看到，对最有用评论的反对次数大多集中在0-10之间，反对次 数相对较少，说明最有用的评论的确反应了大多数学生对教授的看法。在反对次 数较多的情况下，教授评分往往偏低，这说明最有用评论可能通常是相对温和的, 对教授较为宽容的评论，而出现反对意见则意味着学生对教授明显的不满。

2.3标签和评论特征

Rate My Professor网站的教授标签是学生在评分时给教授附加的具体的关键 词。由于每个教授的授课风格可能存在很大差别，不同学生对教授的喜好也可能 天差地别，单看评分往往无法客观全面地了解一个教授的真实情况。这时候，学 生给教授的标签就显得比评分更值得重视。该网站共有22种标签，按照情感倾 向对标签进行正面、负面和中性分类后，如表所示：

表4 Rate My Professor网站的教授标签种类

正面标签 中性标签 负面标签

好的反馈 重在参与 大量的家庭作业

 

为了观察学生给教授打标签的差异，我们以平均分土标准差为高/低评分的标 准，筛选出高/低评分的教师，高分教授的评分在4.83以上，人数为118076人; 低分教授的评分在2.73以下，人数为120143人。之后分别对这两类教授的每种 标签的数量进行统计，图2-14描述了高分教授的主要标签及其所占比例：

Gives good feedback

Skip class? You won't pass.

 

 

Hilarious

Respected

Clear grading criteria

Participation matters Inspirational

Amazing lectures

图2-14高分教授的主要标签及其所占比例

可以看到，其中高评分教授有60%以上的标签都是正面标签，出现次数最 多的是“好的反馈”(Gives good feedback)，其次是“关爱的"(Caring)和 “尊重的"(Respected)。这说明大部分学生在评分时更看重教授对自己的友 好程度。许多研究表明，当一个教师是友善的、体贴的、理解的、乐于助人

的、热情的、娱乐的，而且最重要的是容易相处时，学生们认为导师的教学是 有效的，我们的结果为这样的观点提供了新的证据。

 

图2-15高分教授“最有用评论'‘的词云图

图2-15是对高分教授的所有“最有用评论”进行词频统计后的词云图。可以 看到，出现次数最多的词汇之一是“cares student”（关心学生）；除此之外， “really care” （真正的关心）＞ “class easy” （课程简单）、“helpfUl”（有帮助 的）等词汇也能反映学生对课程简单且容易相处型教授的明显偏好。从表5的 部分评论内容中，同样可以看出学生对教授性格和相处时的感觉的重视要远远 大于对教学质量的重视，学术给那些对学生耐心、有爱心、关心热情的老师给 予了高度的赞美。

表5高分教授的“最有用评论”举例

This professor should have a BMCC building named after him. He made the lessons understandable and gave simple steps. Quick with email response and super patient. Only wished he taught other Math class levels. I've always felt dumb in math but he gave me the confidence to believe in myself. Thank you.

“这位教授应该有一座以他的名字命名的BMCC大楼。他使课程变得 易懂，并给出了简单的步骤。邮件回复迅速，超级耐心。只希望他 能教其他数学课。我一直觉得我在数学方面很笨，但他给了我自 信，让我相信自己。谢谢您。”

Usually I never look up any of my professors on RMP or rate any professors but I really wanted to rate professor Medina. If youre looking to take an EDU202 class andyo-u see prqfessor Medinas name listed I highly recommend her. Professor Medina is a ver^y understandable, loving.

“通常我从不在RMP上查找我的教授，也不给任何教授打分，但我 真的很想给麦地那教授打分。如果你想参加一个EDU202课程，你看 到麦地纳斯教授的名字，我强烈推荐她。麦地娜教授是一个非常容 易理解、充满爱心和关心他人的人。”

作为对比，我们描述了评分在2.73以下的低分教授主要的标签分布情况,

如图2-16所示：

 

 

图2-16低分教授的主要标签及其所占比例

对于低分教授，出现次数最多的标签是“打分严格”(Tough grader)，其次 是“逃课？你不会及格的"(Skip class? You won't pass.)> “做好阅读的准备” (Get ready to read)> “大量的家庭作业”(Lots of homework)和“课程繁重” (Lecture heavy)。这些标签都意味着低分教授给学生的学业压力相对较大， 在成绩方面较为严格。在传统的教育观念下，这样的教师可能被认为是认真 的、负责任的，但在Rate My Professor网站这样的开放匿名的环境下，严格的 教师就不可避免地会受到学生的反感，从而获得较低的评分。这些教授可能并 不是不在意学生的利益，而是过于重视课程和成绩，从而忽视了学生在相处方 式方面的需求。从低分教授的“最有用评论”的词云图2-17中也可以看到， “cares student”(关心学生)、“helpfhl”(有帮助的)等词汇也有一定的出现概 率，但“class”（课堂）、“lecture” （讲座）、“test” （测验）、“exam” （考试） 等词汇有着明显更高的出现频率。

 

 

实际上，从表6的部分评论内容也可以看出，学生对于这类教授的看法比 较矛盾，即使有些学生能意识到课程过难或者课业繁重并不代表着一个教授的 教学效果不好，但这些教授还是被大部分学生给予了较低的评分。

表6低分教授的“最有用评论”举例

To be successful in life, you must work. I had to stop blaming others including my teachers for my poor study skills. You and your class prepared me for Baruch. I thank you. Tough love is not easy. Most teachers at BMCC would rather lie to keep students happy.

“要想在生活中取得成功，你必须工作。我必须停止指责其他人， 包括我的老师。我的学习技能很差，但你和你的课程为我准备了很 多，谢谢你。强硬的爱并不容易。BMCC的大多数老师宁愿撒谎来让 学生开心。”

First off, this class is a difficult class to take since its gearing you for the profession you want to be in! That being said, this professor is an amazing person and is very direct! Never take this class over the summer, its to much information to learn and if you work, then don't even think about it!! Great teacher, loves what he does!!!

“首先，这门课是一门很难上的课，因为它能让你适应你想从事的 职业！实际上，这位教授是个了不起的人，而且非常直接！千万不

要在暑假里上这门课，因为要学的信息太多了，如果你要工作，那 就别想它了！！伟大的老师，热爱他所做的！！！"

值得注意的是，结合先前的发现：学生评分与课程难度呈显著负相关，说 明Rate My Professor网站的高评分传达出的主要含义是教授的课程难度低且容 易相处，这些特质与教授本身的教学水平和知识水平并无明显的关系，也不能 预测实际的学习效果。相应的，学生在通过该网站选择教授时也应该明确自己 的目的：是想找简单轻松的教授，还是想要严厉认真的教授？是仅仅以通过课 程为目的，还是以获取真正的知识为目的？由于该网站的评分主体是学生，尤 其是部分想要轻松、舒适和娱乐的学生，可能无法以任何可靠或有效的方式评 估教学效果。如果学生仅仅是想通过课程，那Rate My Professor网站的评分或 许有较高的参考价值，但如果更重视自己的学习效果，该网站的评分则可能会 有完全不同的意义。

总结：

本研究利用Rate My Professor网站上2016年1月至2020年8月共 1455926个教授的评分数据，从学校、专业、影响评分的因素、标签、文本评 论五个方面，分析了该网站教授评分的特点和影响因素。主要的研究成果如 下：

1） 学校：

平均评分最高的学校并非是学术水平很高的知名大学，而是以艺术、人文、 商业管理和文理学院类院校为主，往往以教学风格丰富多样，教学文化多元开 放而著称。

平均评分最低的学校以远程授课的在线大学为主，网课可能严重影响了学生 对教授的满意度和教学质量。

2） 专业：

平均评分最高的专业以语言类专业和职业导向的应用型专业为主，均不是理 工科专业，且学生规模都相对较少。

平均评分最低的专业均为传统的理工科专业，主要特点是学习难度大，且与 职业发展和实际应用有一定差距。

3） 影响评分的因素：

教授评分很大程度上由课程难度影响，难度越大，学生的评分越低。另外， Rate My Professor网站上的课程难度较为真实的反应了现实中学生对课程的难 度看法，具有较高的参考价值。

4） 标签：

高评分教授的标签主要是“有良好反馈的”、“关心学生的”、“尊重的”这一 类反应教授温和性格的标签，学生往往给容易相处的老师给予很高的评价。

低评分教授的标签则主要是“打分严格”、“不能逃课”、“作业繁多”等反应 教授课业压力大的标签，即使学生知道自己能学到东西，这类教授的评分也明 显偏低。

5） 文本评论：

Rate My Professor网站上对“最有用的评论”反对次数很少，反应了大部分 学生对教授的看法，且相对来说客观温和，具有较高的参考价值。

三、支出决算

课题支出决算表

四、单位审核意见