ISI引文统计用来评价科学家们的工作对科学界是福还是祸？

stopit

一个叫ISI 编辑的引文统计经常用来评价科学家们的工作，可这些工作有用性和可靠性究竟
如何呢？David Adam 对此在《自然》杂志上进行了分析(2000年2月14日)。以下是摘译。

俗话说谎言有三类：谎言，该死的谎言还有就是统计学。很多科学家，尤其是那些被人用文
章引用率来评价他们工作的科学家对此深有体会。在那些没有专业的人手里，引用统计只能
是一个极其笨拙的工具。更何况这个工具本身经常包含错误。

使用引用分析的人主要依赖于一个原来叫科技信息研究所的美国费城ISI 公司提供的数据。
40多年来，ISI 审视了学术论文中的对前人工作引用的参考文献，并编辑称为一个数据库以
供研究人员迅速查询文献以及鉴定某一个人在某一领域的研究情况。

由于没有适当的工具用来评价研究工作，政府部门及基金机构便经常使用ISI 的引文数据来
进行此类评价。一般说来，人们假定越重要的论文被引用也就越频繁。但是如果盲目的使用
这些数据，结论有时难免谬之千里。

一个典型的说法就正如荷兰雷顿大学的范瑞恩所言：由于事关一个科学家的声誉，用一个供
文献查询使用的数据库去评价一个科学家的工作不是非常合适。虽说ISI 反复强调引文统计
有它的局限性，但对那些负责评价研究人员工作的人的诱惑是不容置疑。尤其是ISI在90 年
代初转让给一家叫汤姆森的公司后，更是强调这种功能来迎合需求。去年更是开发了软件包
-Essential Science Indicators 供用户调查其数据库，并承诺可用于对求职雇员，合作者，
评审以及同行进行评价。与此同时，ISI 其商业色彩愈发强烈，开始限制独立的文献计量研
究人员对其数据库的使用。对此文献计量研究人员认为这样ISI 可能失去质量控制，另一方
面ISI可通过用户对其数据库的滥用而大发其财。

引文统计最常被误用的是的期刊影响因子。出版商最迫切了解这些数据，因为这有利于他们
促销他们的产品，另一方面，可帮助图书馆的人员选购期刊o.但是目前普遍趋势有点作得太
过了，影响因子成为了评价一个机构及研究人员的工具。由于独立评估机构经常耗时而且很
昂贵，影响因子就自然成为了“穷人们”的评价工具。德国大学就使用影响因子来分配经费。
别的地方影响因子有人用来决定任命和提升。

为什么影响因子充满争议呢？的确对一个具体学科领域而言，影响因子和期刊质量是紧密相
关的。问题就出在外行们把它应用到了用于不同领域，不同学科之间的对比。比方说数学研
究论文通常只引用1-2篇文献，而分子生物学文章则引用成打的文献，因此按ISI的计算方法，
后者自然比前者影响因子高出前者许多。另一个问题就是影响因子总是有利于综述性期刊。

影响因子的另一个不太明显的缺陷出现在对单个研究人员评价时。一般说来期刊的引用常常
是由50% 的文章贡献的，因此发表再高影响因子期刊的文章未必就优于低一等的期刊上的文
章。总体上是虽然好的文章常常能提高影响因子值，好的期刊未必帮得上文章的忙。(The
journal does not help the article; it is the other way round。)尽管ISI也一再强调
影响因子不是用来评价单个科学家工作，但这种趋势确是愈演愈烈。在芬兰政府对医院的研
究经费就是以影响因子作为指标下发，一篇影响因子高于3的论文就可得到7000美元经费。

期刊影响因子的计算本身就有问题。根据ISI 的计算公式是期刊前两年的总引用数除以期刊
两年总的可引用的论文。公式中分子分母都能出现很大误差。比方说中国的地球物理学报在
最新引用统计报告里只有13次引用，而实际引用是260次原因就在于地球物理学报有3种称呼：
Diqiu Wuli Xuebao, Acta Geophysica Sinica and Chinese J. Geophys. 分母的误差主要
来自可引用这3个字。比方说英国《柳叶刀》(LANCET)在98年以前影响因子一直在17 以上，
但1999年开始便掉到了11点多。原因就在于其中的新闻及报道有时也计入了分母，比方说2
000年分母就由684增加到了821。同样这种类型的这种如科学自然等都是如此。

对科学家评价的另一个误区就在文献的误引。误引是非常普及的现象，文献计量专家说，很
多高引用的文章之所以被人引用，是因为里面所综述的文献内容，而不是文章本身的内容。
的确ISI面临巨大困难，因为数据库中有5700种期刊。ISI也有专门的质量控制部门，对各种
各样的误拼进行了修订。但是其准确性到底如何只有天知道。

现在对那些购买了Essential Science Indicators 软件的人可以对机构和个人进行评价。
但是很多专家认为非专业人员进行评估时可能产生严重后果。尤其是人名地名的非规范性，
使得结果有时是面貌全非。

在ISI出售给汤姆森以前，ISI的主要宗旨是一个文献计量工具。文献计量的研究人员可以自
由使用其数据库。当时老板对经济上效益考虑很少，相反对文献计量有很大兴趣。而汤姆森
则为了加强对引用数据的垄断性，这也许最终会导致别的替代数据库的产生。而汤姆森则说
他们看到了很多人使用他们的数据库制造产品为他们自己牟利。的确盗版当时为他们带来了
一定损失，很多政府官僚把评估工作委派给别的公司，而这些公司实际上使用ISI 的数据库
在操作。

无论如何，ISI 从法律上他们操作上没有任何问题。问题时是这样广泛使用引用统计对科学
界是福还是祸？


【虹桥科教论坛网友文库(www.rainbowplan.org/cgi-bin/edu/mainpage.pl)】