中国教育和科研计算机网 中国教育 高校科技 教育信息化 下一代互联网 CERNET 返回首页
影响因子:一个简单变量的“封神”之路
2020-03-04 中国教育和科研计算机网 王世新

  为破除“SCI至上”导致的种种乱象,教育部、科技部日前联合发文,要求高校规范各类评价工作中SCI论文相关指标的使用,鼓励探索建立更加科学的评价模式。这里所说的SCI其实是一套体系,其相关指标包括论文数量、被引次数、高被引论文、影响因子、ESI排名等,这其中,影响因子与论文数量、被引次数、高被引等指标相辅相成,被认为是论文(学术期刊)质量、水平和影响力的标志,也是之前长期居于评价体系核心位置并与广大科研工作者休戚相关的指标,因此有必要专门拿出来剖析一番。

  事实上,通过梳理影响因子的“封神之路”,可以让我们再次深刻的认识到,纠正因SCI以及影响因子所带来的“以刊定文”或者“量化至上”的唯一途径,是对同行评审、代表作评价方面拿出符合中国国情、切实可行的操作办法,而决不能继续在“看刊物、数数量”上打转转,否则SCI也罢,影响因子也罢,即便用文件将它们拉下神坛,也会换个“马甲”还魂而已。

  最简单算法的“上位”套路

  “影响因子”(Impact Factor,IF)1955年首次出现在尤金·加菲尔德(Eugene Garfield)发表在《Science》杂志上的一篇文章中,这位无可争议的SCI创立者,影响因子之父这样写道:对于意义重大的文章,引用索引具有量化价值,它能帮助历史研究者评估文章的影响——这也就是“影响因子”……通过科学引文索引(SCI),可以有效检索收录期刊论文被哪些文章引用过,这在历史研究中将发挥明显作用,当人们尝试评估某项研究成果的意义,或它对同时期的文献或思想产生的影响时,“影响因子”应该比科学家出版成果的绝对数量更具说服力。

  后来由于期刊规模大小、刊文数量差异所衍生的问题较多,加菲尔德在1963年将“影响因子”的定义修订为“期刊文章的平均被引用次数”。

  1975年,期刊引证报告(JCR)首次以SCI附卷的形式出版,逐年发布期刊影响因子。如今,影响因子算法的标准定义是:期刊X在前面两年发表的源刊文本(source items)在当年度的总被引用数,除以期刊X在前面两年发表的文章(article)总数量,即为期刊X当年度影响因子的得数。

  千万不要被这个看似复杂的定义吓倒,其实这是一个非常简单地四则运算,甚至只用到加法和除法。

  举个例子,我们想计算某一本学术期刊2020年的影响因子,假如它在2018年发了500篇文章,在2019年发了500篇文章,而这1000篇文章在2020年总共被引用了10000次,那么该杂志在2020年的影响因子就是10(10000除以1000)。

  从本质上说,影响因子虽然意图用量化手段来评价期刊的学术水平,但最初只是作为科研工作者向学术期刊投送论文的参考性数字,这样一个简单至极的变量如何会一步步成为众多科研人员推崇备至的核心评价指标呢,有以下几个原因:

  一是名字高大上。这很像加菲尔德最早注册的名为DocuMation或者“尤金?加菲尔德学会”的公司名都默默无闻,而四年后定名为“科学情报研究所”(Institute for Scientific Information,ISI)之后,虽然私营公司性质没有任何变化,但很快就拿到了美国国家科学基金会(NSF)30万美元资助,承担建设遗传学文献引用索引库(Genetics Citation Index)项目。加菲尔德本人也坦率地承认,他就是要用这样的名字与当时的政府学术机构争夺市场,特别是在国外,“科学情报研究所”这样的叫法,很容易被当成一家非盈利机构。试想“影响因子”如果根据定义命名为“期刊文章的平均被引用次数”,还会有现在这么大影响吗?

  二是时势造英雄。1960年代前后,经历了二战之后的美国科研进入全面爬坡阶段,当时美国大学要进行终身教授的评选时,管理者们发现,在欧洲备受推崇的“同行评议”评价方法根本没有办法进行,因为按照理想状态应该将已经成为终身教授的人都找来,拿着每一篇论文集体进行研判,但这个过程实在太过复杂,再加上科研人数大幅度增加,现实中很难操作,美国大学退而求其次去寻找可以量化的手段,SCI以及影响因子就成了替代的评估方法之一,这也像极了三十年前SCI刚刚引入中国并迅速成为评价指标的情景。1980年代之后,科技的重要性使得各发达国家以及后起的发展中国家大幅度增加了相关投入,投入需要依据,就必须对研究论文、报告、专利等成果进行评价、评估;对于研究者个人来说,成果在哪里发表事关自己的学术生涯,并希望自己的论文被同行所关注并引用……在这种认知氛围中,SCI特别是影响因子作为美国先进生产力的代表,借势全球一体化扩张,很快巩固和加强了自己的世界学术圈的“江湖地位”。

  三是宣传造势强。作为一个学术指标,最重要的是要让科研管理者与科研人员相信,这个指标与学术水平、论文质量是成正相关的,而影响因子要证明的是引用情况好的论文就是影响力大,质量高的论文,此类论文的载体就是好期刊。在这方面,最鲜明的例子就是加菲尔德将SCI相关指标与诺贝尔奖联系起来,并在一次学术会议上用数据显示13位诺奖学者在得诺奖的前一年,他们的成果被SCI论文引用的平均数量和次数远高于一般水平,以此证明SCI对于诺奖的预测能力。同样,影响因子这个显示学术期刊的文章在特定年份或时期被引用的频率,也被宣传为是衡量学术期刊影响力的重要客观标准,2002年汤森路透开始靠“影响因子”预测诺贝尔奖,并颁发“引文桂冠奖”。虽然一直以来都有学者批评SCI以及影响因子是有选择的呈现,但确实体现了它们在占据市场的过程中,巧妙地宣传造势所起到的重要作用。

  当然,打脸的“反例”也比比皆是,比如2018年诺贝尔物理学奖获得者唐娜·斯特里克兰,相关论文就发表在了低影响因子期刊《光学通讯》上。

  四是重赏和刚需。2006年,著名的学术期刊同时也是高影响因子的《Nature》曾经有些“受宠若惊”的刊文称:中国有些科研单位以及高校在他们杂志上发一篇文章能够拿到25万、30万元的奖金;2009年,广州一所医学院对系统内2008年度SCI论文发表者抛出158.7万元巨奖,按论文发表刊物的影响因子每1分奖励1万元……这种奖励数目在之后愈演愈烈,水涨船高。

  而重赏之下的另一面,则是从根部渲染SCI尤其是影响因子在大学生或者科研人员学术生涯中的关键性作用:比如本科生、研究生毕业,高校或者研究机构求职,硬性要求高校教师每年需要发表多少篇影响因子多少以上的论文,否则末位淘汰等等来设置门槛。同时,论文数量和发表杂志的“档次”则成为部分学者衡量自己价值、地位的象征。正是在我们自己这种不遗余力的全方位推动下,影响因子才异化成了中国科研人员安身立命的“怪物”。

  影响因子如何沦为学术的对立面

  学术圈里一直流传着这样的段子:ESI是高校领导的心头肉,影响因子是科研人员的命根子。盖因ESI反映的是高校以及学科排名进退的整体情况,而影响因子则决定了科研人员投中论文的期刊分数是否降低或者升高,这直接影响他们当年的待遇以及未来的发展、升迁,同时也会影响论文发表的走向。

  因此,每年汤森路透JCR的公布都会引起巨大的反响和讨论,喜气洋洋有之,顿足捶胸者亦有之。略显讽刺的是,论文还是那篇论文,期刊还是那个期刊,只因为一个简单变量不同了,其学术价值以及写作者的实际利益甚至命运就改变了。此时,影响因子更像是股市的大盘,坊间科研人员之间的互动最能体现这种黑色幽默:楼市股市都涨了,你的论文(投中期刊)影响因子涨了吗?

  如果向前推十几年的光景,客观来说,当时国内高校以及研究机构通常是以SCI论文发表数量作为学者考核的核心指标,但被SCI收录的期刊学术水平未必都是高的,而且考核中往往对论文和简讯、自引率和他引率“一视同仁”,导致一些人钻了空子。当这种评价标准在屡受抨击之后,影响因子被推到前台,本质上是将SCI收录的学术期刊再次划分三六九等,依据刊物影响因子实施奖励,这比起“唯数量论”来虽有小小进步,却依然挡不住它成为评价体系核心指标后所体现出来的荒谬。

  第一,平均值下的逻辑游戏。影响因子一直在玩一个逻辑游戏,那就是让管理部门、科研人员人员都相信一个“真理”:学术期刊前两年发表文章在当年被引数的平均值等同于该期刊当年的学术水平,那么,在该期刊发表的论文也等价于你的学术水平。在这个逻辑闭环中,无论是前提还是结论都有很大的漏洞:比如,为什么统计的是前两年而不是前五年的数据至今没有非常明确的依据。同时,一本高影响因子的期刊,只能表明它拥有多篇被多次引用的论文,但并不意味着它刊载的每一篇论文都是高引用的,这意味着,即便高引用就相当于高质量这个前提成立,由于它无法体现每篇文章的情况,那么反过来说也不能证明每篇论文都是高质量的,更不能证明你投送并发表的论文就是高质量的。

  第二,高被引未必是高质量。高被引是否等同于论文高质量、高水平,这是影响因子甚至SCI的立身之本。从数据统计学角度来看,高被引与论文的意义以及重要性方面不能说绝对没有联系,但这种联系有多大程度上的正相关值得怀疑。2013年诺贝尔奖得主兰迪·谢克曼(Randy W.Schekman)曾在媒体上直言不讳:影响因子是一种噱头,这种衡量方法有重大缺陷,引用与质量并不完全相关,“一篇论文被大量引用可能是因为它是好的研究,也可能是因为它吸引眼球,或者是挑衅式的甚至是错误的”。对于中国人来说,这方面最有代表性的就是前两年闹得沸沸扬扬的“韩春雨事件”。

  2016年5月,河北科技大学副教授韩春雨在《自然?生物技术》(Nature Biotechnology,Nature杂志的专业子刊之一)上发表论文,宣称他成功利用NgAgo进行基因编辑,可媲美当前最为流行的基因编辑工具CRISPR-Cas9。此事经国内媒体报道之后,韩春雨顿时名声大噪,名利双收,论文发表两个月后还当选为河北省科协副主席,他论文中所说的这项工作也被评为“诺奖级别的工作”。一篇论文为何能得到如此的推崇?就是因为《自然?生物技术》当年的影响因子高达43,比母刊《Nature》的还要高。然而好景不长,这篇文章很快受到了国内外学者的广泛质疑,甚至国内13位科研团队的负责人实名指证韩春雨的实验无法重复,2017年8月,韩春雨主动撤稿,该事件暂告一个段落。但在这个过程中,韩春雨的这篇文章却成为了高被引论文,其中有很大一部分是引用该文进行批驳的。

  这种事例在科技史上并不鲜见,比如之前曝光的前哈佛医学院安维萨教授的31篇与心肌干细胞“c-kit+”相关的论文,不仅引用量很大,还有很多模仿研究,最后因涉嫌伪造和篡改实验数据被撤稿。所以仅仅根据引用率来评定科技成果,就很难全面评定出可经受起长期考验的科学成果,甚至可能评出错误的结果,可惜SCI相关指标无法进行区分。

  第三,可操作的空间。从某种程度上说,影响因子首先带歪的其实是学术期刊。一旦学术期刊认定自己要专注的除了发表所在领域比较重要的学术作品之外,更要关注影响因子这个变量,尤其是这个变量将影响期刊投稿质量甚至生存的时候,很难不产生一些想法。

  如同SCI不能区分自引和他引的漏洞一样,影响因子也有操作的空间,秘密就隐藏在定义它的那个简单公式中,想要增加一个分子式的结果无非就是加大分子数或者减少分母数,实际解决的途径就是大幅度加大发文量以提升引文量或者减少发文量,当然最好是减少发文量的同时还能增加引文量,如何来操作呢?根据上海交通大学江晓原教授的研究,其秘密就隐藏在对分母里“文章”(article)的定义当中。

  我们可能很难想象,现在的高影响因子的代表,《Nature》、《Science》、《柳叶刀》等神刊,在1972年的时候SCI期刊排名全在40名开外,原因就是当时的影响因子将期刊的所有文本(社论、技术通信、通告、读者来信等)都算作分母。针对这种情况,在1975年的JCR报告中,加菲尔德对规则作了调整,规定分母项只包括三类“学术文本”:原创研究论文(original research articles)、综述文章(review articles)和技术报告(technical notes);1995年度的JCR报告中分母规则再次调整,“技术报告”也被剔除,只保留“原创研究论文”和“评论文章”两项。

  这种“最终解释权由定义者调整”的做法,使得《Nature》、《Science》、《柳叶刀》、《美国医学会杂志》等期刊的影响因子大幅提升,尤其是《美国医学会杂志》较定义修改前惊人的上升了100个位次,基本上奠定了它们如今的“学术江湖地位”。

  第四,学术期刊也追热点。现在很多人批评学者们写论文追求热点,其实根源在于学术期刊本身就在追热点,基于影响因子游戏的需要,被引用数可谓是学术期刊的命脉。因此在保证论文学术价值的同时,期刊还要考虑刊发的论文是否有“看点”或者争议性,从而产生了特别的偏爱:比如《Science》、《Nature》虽是综合性学术刊物,却格外青睐生命科学领域的文章,像数学、计算机等领域的学者,很少能在上面发文,《Nature》等不少期刊还被指责过分追求趣味性。

  这种“按影响因子和期刊喜好定研究方向、写论文”所带来的蝴蝶效应是非常可怕的,往小里说,科研工作者不是从自身兴趣、改变科学面貌、提升科技水平的初衷出发,而是去钻营哪个领域、哪个方向更容易写论文,更容易发论文,完全嵌入了本末倒置的陷阱当中,学术论文沦为逢迎的“水文”,自然谈不上学术水平、科学价值;往大里说,一茬茬按照这种模式晋升成长起来的学术人才自然而然的扭曲了学科体系,好发论文的化学、医学、材料学等领域人满为患,数学、物理、人文学科等领域举步维艰,此消彼长之下,必然会造成学科布局的畸形发展。

  一场反影响因子的全球行动

  影响因子作为一个全球性的重要学术指标,并非仅在中国学术圈受到重视。据《Nature》发表的一项调查发现,北美40%的研究型大学在决定提拔谁时都会考虑期刊的影响因子。该调查对美国和加拿大129所高校的800多份文件进行了分析。结果显示,在研究型机构中,约40%在涉及员工考评、晋升和终身职位评审的文件中提到影响因子。这些数据表明,很多大学正在使用一种被广泛批评为粗糙且具有误导性的指标评估科学家的工作质量及表现。

  令人高兴的是全球学术界已注意到影响因子的不良导向,开始寻找解决之道。

  在2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上成立了旧金山科研评价宣言小组,他们认为,科学界应停止使用“期刊影响因子”来评价科学家个人的工作,并起草了著名的“旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)。宣言提出:“影响因子不能作为替代物用于评价个人研究论文的质量,也不能用于评估科学家的贡献,以及用于招聘、晋升和项目资助等评审”。DORA还提出系列改进科研论文评价方式的建议,供科研机构、出版商以及评价机构借鉴。这些建议得到超过150多位知名科学家和包括美国科学促进会(AAAS) (《Science》出版方) 在内的70余家科学机构联名签署支持。

  2015年4月,《Nature》发表了在前一年荷兰莱顿召开的一次国际会议上几位教授提出的合理利用科学评价指标的十条原则,这个被学术界称为“莱顿宣言”的第一条原则开宗明义:“量化评估应当支撑质化的专家评估,而不是取而代之”,实际上是纠正“量化至上”的科研评价风气。

  全球科研人员对抗影响因子的实践和思路对于我们来说都有很大的借鉴意义。应该说,科研评价尤其是科学家贡献的个体评价是一项非常复杂又牵涉整个国家科技发展走向的大事,我国在2020年这个关键历史节点提出规范SCI相关指标使用,破除“SCI崇拜”的细则和负面清单无疑是具有积极意义的。但需要注意的是,“立”比“破”更加困难,纠正因影响因子所带来的“以刊定文”或者“量化至上”的唯一途径,是对同行评价和代表作评价方面拿出符合中国国情、切实可行的操作办法,而决不能继续在“看刊物、数数量”上打转转,否则SCI也罢,影响因子也罢,即便用文件将它们拉下神坛,也只会换个“马甲”还魂而已。

教育信息化资讯微信二维码

特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。

邮箱:gxkj#cernet.com
微信公众号:高校科技进展