中国教育和科研计算机网 中国教育 高校科技 教育信息化 下一代互联网 CERNET 返回首页
破除“SCI至上”,要从质量与分类评价入手
2020-04-08 中国教育和科研计算机网

  近期多部委先后印发了《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》等政策文件,要求破除“唯论文”、论文“SCI至上”的顽瘴痼疾,探索建立科学的评价体系,营造高校、科研院所良好的创新环境,加快提升教育治理体系和治理能力现代化水平。

  SCI论文主要作为自然科学、生物、医学、农业、工程技术等众多基础科学领域论文发表的主阵地,是当今公认度最高的科技文件检索工具。其制度设计的初衷是帮助科技人员快速获取需要的文献信息,同时通过论文的被引用频次等的统计索引功能,对学术期刊和科研成果进行多方位的评价研究,并以此载体为依据,实现对科研产出的学术性评判。上世纪80年代由南京大学率先引入后,SCI主要作为科技论文质量的筛选工具加以使用,并逐步转变为评价高校院所、科研人员工作成效与学术能力的硬性指标。

  近年来,SCI定量成为人才评价、学科评估、资源配置、绩效考核等的“通用指标”,一方面,执行方便、简单易行,且可以规避行政命令和人情因素等非学术干扰,一定程度上刺激广大科研工作者投身科研,提高了高校院所的国际知名度;另一方面,“SCI至上”风气严重制约了学者多样化研究能力与贡献发挥,一刀切地使用统一标准对个体进行学术评价,造成评价片面、失当。就具体评价行为而言,SCI指标使用上的异化、扭曲、粗放,也客观误导了论文的发表:人为制造他引、过度追逐学术热点、不同领域“严重偏科”。许多论文粗制滥造,为发而发;而优秀论文如沧海遗珠,引而不索,导而难得。客观上造成了学术价值迷失,滋生学术浮躁,产生诸多不良后果。

  “SCI至上”的价值导向,一方面不利于科研人才的全面培养,不利于高质量科研成果持续产出;另一方面也反映出当前学术管理水平不高、科研评价手段简单粗放,与高等教育内涵式发展的要求不相适应。因此必须对科研评价体系进行再认识和全面革新,对科研文章评价方式进行打破和重塑,设计更加科学精细且管理成本可控的评价指标,实行指标体系的综合治理。笔者提出以下几点建议。

  一、重视高质量SCI论文的主导作用,坚持科研活动高质量导向

  多位专家曾撰文领学,明确教育部、科技部发文是要“规范”SCI论文相关指标使用,而非“打倒”SCI的索引评价功能,更不是反对发表论文。笔者认为,这一要求的根本目的是将论文发表从过去“无”(或“少”)向“有”的要求,转变为现在的“有”向未来的“高质量”校准。

  SCI期刊作为目前科学成熟的科研指标具有暂时无法替代的优劣可甄选性与研究对比的易操作性,科研工作者应客观看待并使用好SCI指标,减少各类科研评价中的“数数现象”。具体来说,应该鼓励高质量SCI论文发表,在科研产出绩效考核评价中,注意发挥高水平SCI论文的主导作用,赋予不同级别的SCI期刊不同权重,同时适当拉大不同级别SCI论文的评价级差,变“唯SCI”为高质量导向。

  其次,SCI的指标异化一定程度上还和传统SCI评价指标使用僵化、片面化有关。可参考统计学相关理论方法,引入文献计量学等指标,加入更能全面反映学者论文质量总体情况的衍生指数,如h指数、g指数、特征因子、论文影响分值等。同时在使用时,应当重视不同文章间各项衍生指数的相对值,明确不同学科领域不同的学术趋向,基于一致性原则对论文进行评估,引导、激励高水平论文创作、发表。

  二、强化分类评价的基本原则,设计创新成果分类体系

  习近平总书记在两院院士大会上强调:“要改革科技评价制度,建立以科技创新质量、贡献、绩效为导向的分类评价体系,正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值。”近年来,分类评价导向已经深入人心,根据不同特点对评价对象采用各有侧重的评价标准,是各高校进行科技评价过程的普遍遵循。在进行科研成果评价、特别是论文评价时,亦应遵循分类评价的基本原则。

  1.坚持不同学科采取不同的学术论文评价原则。明确自然科学、人文社科、医学、文化艺术等不同学科的不同特质,解决不同领域学术水平“一刀切”的弊端。“SCI至上”导致的泛SCI化也影响到了其它学科,以社会科学领域为例,出现了“唯SSCI”“唯CSSCI”的不良倾向。盲目跟进、效仿西方研究方法和研究潮流,社科研究规律得不到必要的尊重,我国高水平期刊建设也受到一定影响。因此,不同学科应坚持不同的评价原则,通过分类分层明确自然科学、哲学社会科学、医疗卫生和文化艺术、工程技术应用示范等重点不同领域学术评价的核心要素,分类构建体现不同学科领域的学术评价机制。重视不同学科评价的差异化需求,使不同领域、不同形态的学术成果都能获得“最高的学术表达”。

  2.不同科研项目采取不同的学术论文评价方式。科研项目是科研创新活动的重要载体,其申报、实施、结题验收一定程度上代表着科研活动的选择。通过过往科研成果实现对申报团队的筛选,通过阶段性成果实现对此次科研活动的监督,通过最终科研成果实现对科研行为准确度和完成度的考核评价。然而,不同的科研团队拥有不同的优势领域,不同的项目有着不同的预设目标。例如,涉及国家安全、重大成果落地类科研项目,不应过分强调SCI论文数量,而应以构建国家安全战略体系、解决社会经济发展需求为落脚点进行考量;基础研究应科学运用SCI指标;文化传承、艺术创作等研究项目,以国内高水平期刊论文、行业建议为主,兼顾论著以外高价值研究成果评价。

  3.分类评价应体现可及性和区分度。不同领域的科研活动、人才培养应坚持分类的导向原则,具体操作时要本着长期性、一致性,同时兼顾公允度。在考核标准和奖励制定方面,不同学科间的可及性应基本一致;在人才评价和职称考核中,根据人才聘任岗位、实际工作需要,设置不同的论文指标,体现不同岗位、工作的区分度。

  三、建立多元化评价体系,提高科研管理精细化水平

  科研活动的活跃性、复杂性和创造性决定了它不能仅靠简单的一个或几个量化指标“包打天下”。反对“唯论文”“唯SCI”的重点,不在“论文”或“SCI”,而在于“唯”。即反对单一核心指标对科研成果、科研人才的评价模式,反对醉心发论文、投名刊而背离科研创新、追寻真理的科学精神,反对“摆资格”“数篇数”等简单粗暴的科研管理手段。这就需要建立多元化评价体系,建立开放评价机制及长效评价机制。

  1.代表性成果评价。代表作评价是一种评价数量精简化、评价内容高质化的评价方式。推行代表作制度,鼓励潜心研究,发表高质量、有价值的学术论文,改变学术评价中的量化管理问题,向质量与内容管理过渡,是破除教育评价“五唯”问题和科技领域“四唯”问题,真正实现以质量与贡献为导向的根本解决之道。代表性成果不局限于论文、专著、决策报告、专利、国家标准、软件著作权等形式,将具有创新性和显示度的学术成果作为评价教师科研工作的重要依据,更加鼓励从事原创性和系统性的科研工作,更加注重学术思维、学术组织能力、学术影响力等。

  科学的代表作评价改革是一项系统工程,选取代表作的标准、评价的方法、评价结果的使用,都应建立科学的标准和具体可操作的办法。同时代表作评价应以质量、创新和贡献为原则,从根本上破除唯论文数量的惯性思维,使科研评价回归价值创造初心。

  2.多元与开放评价。多元评价主要包括同行评价、市场化评价、院系为主的评价改革等方式。例如基础研究可开展同行评价,应用研究和产业化开发则加强第三方市场评价等。这就需要从以下几个方面改革发力:

  第一,推行第三方评价,实现管评分离。一方面,加大对第三方评价的引导、支持和推广力度,探索构建权威的官方认可的第三方评价机构;构建基于第三方主体的科学、公正、公平的科研评价体系,发挥第三方评价独立自主的设计优势;另一方面,推行院系为主体的考核评价改革,破除评价指标“一根尺子量到底”的单一性问题,满足学院个性化发展需求。将科技评价权利和责任主体回归学者和学术共同体。

  第二,实行开放评价,实现评价的可追溯性。在评价流程控制上严格做到“管办分离、收评分开、物理隔离”。由科研管理部门制定评价机制并组织材料,评审部门负责组织力量开展评审活动。维护好国内外同行领域专家库,对评审专家名单进行严格保密,健全专家库遴选机制与责任制度。近年来,开放评审作为一种积极的评审方式而为一些学术期刊、出版集团、学术组织接受并采用,如Nature Communications等。开放评价能够促进评价人做出相对公平的个人判定,可追溯性评价有利于通过评价偏好、评价效率、评价稳定性等维度分析,对评价人进行跟踪和分析,为专家库筛选提供依据。

  第三,建立健全科学诚信体系,打造同行评议专家库。同行评议制度的公信力依赖于良好的学术环境与公正的科学家,应加强科研诚信建设,塑造评估文化,完善社会信誉评价体系,将创新文化、科学精神引入到评价体系之中。同时细化专家学术专长分类,建立科研诚信档案制度和评审专家承诺机制,将科研诚信记录与专家个人征信记录作为专家入库的条件。在选取专家时,通过实行专家间背靠背评审、评审名单严格保密等措施,破除人情因素、行政力量等非学术因素的干扰;在专家评审时,鼓励专家基于原创性工作本身的逻辑自洽性和初步证据的强壮性进行评价,在论文评价上不仅要保证从1到N的论文质量,也要关注并遴选有价值的“从0到1”的论文,维护整体论文质量的同时,更加重视高价值原创工作。

  第四,持续加强大学内部评价机制建设,发挥各级学术委员会监督职能。推进各级学术委员会为主的科研评审体系建设,规范章程与甄选程序,严肃专家评审流程,贯彻会评、答辩、通讯评审及完善专家意见打分规则等。同时加强监督,确保同行评价的公信度和公允性,一方面适当降低评价过程中的定量指标,另一方坚持必要的学术评价门槛,不能决然摒弃论文,错误理解,使科研评价沦为无序、失控。

  四、改革现有科研资源分配机制,淡化导向功利性

  当前,高校科技评价以终结性评价为主,评价结果成为资源分配、个人奖惩等的直接依据,直接与资源配置、科研经费、职务晋升、考核绩效等物化的利益挂钩。论文作为重要科研成果,其级别、数量更成为人才工程、科研资源分配的必备条件。然而过分推崇SCI论文、过分推崇“唯论文”,不可避免导致科研导向的功利性,滋生为完成指标而集中突击发表文章、申请专利,功利驱动而非问题驱动等科技创新失当行为。

  1.坚决废止SCI论文数量与职称评定直接挂钩现象,废止“五唯”奖励措施。对科研人才的评价应坚持长期性和动态化的基本原则,综合考虑工程应用型人才、基础研究型人才、教学为主型人才等不同类型人才的培养和使用路径,在职称评定等工作中,应坚决废止SCI数量“一刀切”“一扇门”的评价标准,从根源上改良“五唯”的生存环境。

  2.推行中长期评价改革,为基础研究提供持续稳定支持。许多基础学科研究周期长、风险高、回报率低、显示度较弱,在通用评价中往往得不到承认或接纳,造成部分人才流失,客观上降低了其得到持续支持的可能性。一些艺术类、文化传承类人才、项目表现尤其突出,科研人员不得不人为制造SCI论文,以论文应付交差,长期来看,不利于科研人才队伍稳定发展,不利于国家科技创新能力持续提升。

  3.正确处理评价结果与资源配置等利益相关事项的关系。弱化科技评价评价结果在资源配置中的作用,推进高校科技拨款制度改革,优化科技评价激励体制。正如上文所说,破除“唯论文”等“五唯”问题的核心在于设计科学精细的评价指标体系,解决多指标并列与多渠道共存的问题,构建多维统一的评价系统和评价方式。同时在应用评价指标时,降低科技评价结果在资源配置中的影响力,淡化评价结果功利性导向。

  4.不提倡公布SCI等论文数量排行榜。SCI是文献计量学和科学计量学的重要工具,引用数反映的是论文受关注度,并不必然反映创新水平和实质贡献;高被引论文反映的是学术研究热点,也不能直接说明其创新贡献。将SCI直接等同于高水平科研显然是一种理解错位。因此,不提倡高校在对外宣传或公开资料中进行误导性排行宣传,避免公众误读。

  五、培养校园创新氛围,引导科研人员宁心静气开展科学研究

  党的十九大报告明确提出,加快一流大学和一流学科建设,实现高等教育内涵式发展。内涵式发展更加注重内在品质和潜力挖掘,其要求之一就是培养踏实严谨的学风,避免随波逐流、冒进浮躁。这就需要培养校园创新氛围,驱除急功近利的障蔽。鼓励广大师生从问题入手、从兴趣出发,探索科学真理,不断提升自身学术品味,在砥砺中获得真知、增长才干。

  另一方面,深入推动中办、国办《关于进一步弘扬科学家精神加强作风和学风建设的意见》落地落细落实,使科研活动回归“初心、创新、好奇心”。加强制度建设和文化建设,提升科研管理水平和能力,切实为科研人员减负松绑,创造更多高水平、高质量科研产出;加快现代大学治理体系建设,完善适应创新驱动发展的科研评价体系,持续提升大学文化品味、学术坚守和治理能力。不负先贤、不负时代。

  本文作者系中国传媒大学科学研究处 黄伟、华北电力大学科学技术研究院 花之蕾

教育信息化资讯微信二维码

特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。

邮箱:gxkj#cernet.com
微信公众号:高校科技进展