不同引对学术期刊评价的影响研究——以CSSCI1998—2009图情类期刊

不同引对学术期刊评价的影响研究——以CSSCI1998—2009图情类期刊


2024年3月25日发(作者:)

重庆大学学报(社会科学版) 2010年第l6卷第4期 

JOURNAL OF CHONGQING UNIVERSITY(Social Science Edition)Vo1.16 No.4 2010 67 

不同引文库对学术期刊评价的影响 

研究 

——

以CSSCI 1998—2009图情类期刊为例 

邱均平,宋艳辉,温芳芳,马 凤 

(武汉大学中国科学评价研究中心,湖北武汉430072) 

摘要:期刊评价变得越来越重要,国内对期-D】评价的研究主要集中在评价指标,对评价S--具——引文数据库 

的影响往往会忽略。事实上,选择不同的引文库对评价结果往往会产生颠覆性的影响。文章选用中文社会 

科学引文索引(Chinese Social Sciences Citation Index)和中国引文数据库(Chinese Citation Database)这两种国 

内比较流行的引文库作为评价工具,以CSSCI图情领域的14种来源期刊从1998—2008年间发文量、被引 

量、篇均被引率、h指数等评价指标入手分析比较不同引文数据库对评价结果的影响,并以相关分析来论证 

这种影响,得到不同引文库对重要评价指标的影响比一般指标更大的结论。最后,在结果分析的基础上提出 

了一些相应的改进建议。 

关键词:引文库;期刊评价;评价指标 

中图分类号:G237.5 文献标志码:A 文章编号:1008.5831(2010)04.0067.06 

2003 if-5月,科技部、教育部、中国科学院、中国工程院、国家自然科学基金 

会联合下发了《关于改进科学技术评价工作的决定》的重要文件,其后不久又制 

定了《科学技术评价工作管理办法》…。各种评价活动空前繁荣,科学评价的意 

义和作用已受到极大的重视,而期刊评价是科学评价中不可缺少的重要组成部 

分之一。期刊评价在科学评价中的地位和作用是由期刊的功能和作用所决定 

的。期刊是科研成果的重要网地,是知识传播的重要载体,同时也是人们获取和 

利用知识信息的重要工具和途径 。然而,在肯定期刊评价的必要性的同时,也 

不得不考虑评价的合理性和客观件。引文数据库的盛行以及其强大的功能会让 

我们认为找到了强有力的评价_[具,运用引文数据库对评价对象进行评价比较 

也的确成为众多评价机构的典型做法。现在国内对学术评价攻击的矛头还停留 

在评价指标的选择及其合理性I ,而对引文数据库的选择的质疑却相对较少,这 

可能是评价指标更多地植入了人为参与的因素,而引文库的定量化和科学性等 

特征具备更有力的说服力。然而,我们在从事中国大学及学科专业、世界大学、 

期刊、研究生教育等评价工作时却发现,选择不同的引文数据库可以对同一对象 

收稿日期:2010—03—19 

基金项目:国家自然科学基金资助项目“基于作者学术关系的知识交流模式与规律研究”(70973093) 

作者简介:邱均平(1947一),男,湖南涟源人,武汉大学中国科学评价研究中心主任,教授,博士生导师,主 

要从事信息管理与科学评价、信息计量学与科学计量学研究;宋艳辉,武汉大学中国科学评价 

研究中心博士研究生,主要从事科学评价研究。 

68 重庆大学学报(社会科学版) 2010年第l6卷第4期 

的评价结果往往会产生颠覆性的影响,在本文中笔 

的期刊作为研究对象,这样做的目的主要是使得 

者试图将这种影响以一种定量的方式将它展示。我 CSSCI与CCD中的期刊在这10年间始终保持一致, 

们选用中文社会科学引文索引(Chinese Social Sci— 

保证在不同引文数据库中研究对象的一致性和连续 

ei1ces Citation Index)和中国引文数据库(Chinese Ci— 性。主要方法是文献计量学引文分析法,定性、定量 

tation Database)这两种国内比较流行的引文库,从发 研究方法相结合,借助EXCEL软件对数据进行初步 

文量、被引量、篇均被引率、h指数等评价指标人手分 

处理、统计:运用SPSS13.0对数据进行频次分析和 

析比较不同引文数据库对评价结果的影响。 

相关分析。 

数据来源与研究方法 二、期刊计量指标的数量分布及排名 

本文选取中文社会科学引文索引(CSSCI)中 

表1中的14种期刊是图书情报学CSSCI1998— 

1998—2009被连续收录的图书情报领域的14种期 

2009被连续收录的来源期刊。CSSCI发文量为l4种 

刊 为研究对象,CSSCI是精选数据库,对期刊的筛 

期刊在CSSCI中1998—2008发文的总和,这个数据可 

选和收录比较严格,而CCD则为一般选择的数据 

从CSSCI中的来源期刊中直接得到;由此对应的CCD 

库 ,因此我们以CSSCI中1998—2009被连续收录 发文量是期刊在中国引文数据库(CCD)中的发文量。 

表1 1998—2009年图书情报学CSSCI来源期刊各计量指标数量分布 

CSSCI被引量跟发文量原理一样,不过CSSCI 

性,CCD h指数值也是CCD中1996—2006年间的结 

中不提供跨年度的被引检索,我们采取将这10年每 果。而且笔者已经在CCD中验证过,期刊在1998— 

年期刊论文的被引量检索出来,然后由计算机软 

2006年间的h指数值与1998—2008年间的h指数 

件汇总的方法得出数据。篇均被引率计算比较简 

值相比变化不大,或者说几乎没有变化,所以虽然采 

单,为10年被引量/10年发文量。可用如下公式 用的是1996—2006年的h指数,但不会影响到最终 

表示: 

结果。 

∑ , 

表2将CSSCI中1998—2010收录的图情类14 

篇均被引率= 一(m=0,1,2,3……) 

种期刊在CSSCI和CCD中分别根据发文量、被引 

>Ⅳ 

量、篇均被引率、h指数4个指标从高到低做出排名, 

K为统计的起始年份;N为 +i年的发文量;n为 

如:CCD发文量为14种期刊在CCD中的被引量排 

+i年的被引频次。表1中K值应为为1998。需要 

名,CSSCI发文量为14种期刊在CSSCI中的发文量 

特别说明的是,期刊的h指数 我们采用的是1998 

排名。R1、R2、R3、R4为根据4个指标在CSSCI和 

2006年度的数值,CSSCI中的h指数是利用武汉 

CCD中做出的排名的差值,如:R1为14种期刊在 

大学科学评价研究中心周春雷于2008年计算出的 

CCD中的被引量排名减去在CSSCI中的被引量排 

结果 J,该结果经过验证并公开发布;为保持一致 

名,依次类推。 

邱均平,等不同引文库对学术期刊评价的影响研究——以CSSCI 1998—2009图情类期刊为例 69 

表3期刊排名变动 表4 Rl频次分析表 

首先从定性的角度分析,期刊的发文量是一个 

相对客观数值,因此如果该期刊在统计年间被引文 

数据库连续收录,没有出现任何的断层,期刊的发文 

量在不同的引文数据库中的检索结果应该是一致的 

(除去一些期刊声明、来稿须知等非学术论文的收录 

情况不同导致的统计偏差),它在不同数据库中的排 

名也必然不会发生多大的变动。观察表4的R1的 

三、结果分析 

频次统计分析可以看到,排名变动3位的仅仅m现 

了一次;出现了5次零变动,即期刊在CSSCI和CCD 

中的排名完全一致。0~3之间均是可以接受的范 

围。实质上,R1的频次统计分析结果恰恰证明了数 

本文主要是研究不同引文数据库对期刊评价的 

影响,至于期刊排名的上升和下降并不在本次研究 

的范围之内,因此为有效分析这种影响,我们对R1、 

R2、R3、R4分别做取绝对值处理建立表3,即认为1 

与一1,2与一2是一样的,这样做其实也有利于下一 

步对数据的深层次的挖掘。 

据的准确性。我们可以对CSSCI发文量和CCD发 

义量做相关分析进一步验证结论,如表5所示。 

从表5中可以看到,CSSCI发文量与CCD发文 

运用SPSS对R1、R2、R3、R4进行频次分析和 

EXPLORE检测分析得到表4的数据表。 

量的皮尔逊相关系数达0.930,而且显著性水平 

0.000<a值0.Ol,即极其显著。 

70 重庆大学学报(社会科学版) 2010年第16卷第4期 

表6 K2频次分析表 

标。遗憾的是,从表7的R3的频次分析结果中看到 

了不同引文库评价结果的差异性很大。变动5位出 

现1次,变动4位出现3次,变动3位出现4次,有效 

百分比分别为7.1%、21.4%、21.4%,累积百分比达 

到了50%。也就是说已有半数的期刊在不同引文数 

据库中的排名发生了较大变动(大于3)。只有中国 

图书馆学报没有任何变化。 

Frequency Stem&Leaf 

根据表6所示,期刊被引量排名在不同的引文 

数据库中开始出现变化,其中变动3、4、5位各出现 

2.00 0. 00 

了一次,观察表2可以看到,它们依次是:大学图书 

7.O0 1 

0000000 

馆学报、图书馆T作与研究、图书馆杂志。期刊被引 

1.00 2. 

0 

量体现了期刊对其他期刊、其他学科的影响力。我 

2.OO 3. 

0O 

们都知道,不同于中文社会科学引文数据库,中同引 

O0 4. 

文数据库收录了许多自然科学类的期刊,因ltL期刊 

1.00 5. 

0 

的排名变动可能由这部分期刊导致。像图书馆工作 

1.00 Extremes 

(>=8.0) 

与研究的被引量排名由CSSCI中的13位上升为第9 

位,最有可能的就是图书馆工作与研究被其他非 

Stern width 

1.0O 

CSSCI图情期刊和自然科学类期刊引用较多,它对 

Each leaf: 

1 case(s) 

其他学科的影响力相比其他期刊应该较大。因此, 

选择不同的引文数据库也体现了不同的评价理念, 

如果评价侧重于期刊对本学科或者相关学科的影响 

图l R4的茎叶图 

力,可以选择集中收录本学科及相关学科的引文库; 

图1表示,CSSCI与CCD给出的h指数排名并 

如果侧重于期刊的综合影响力,最好是选择一些综 

没有多大的变大。排名变动1位出现的频次最多,总 

合性强的引文数据库。简言之,重要的是选择适合 

共出现了7次,也就是说CSSCI和CCD的期刊h指 

的数据库,并不一定是综合性数据库。 

数排名基本一致。但是从茎叶图却看到了一个极值 

表7 R3频次分析表 

8,这表示有一种期刊的排名变动了8位,这对于仅 

仅包含14种期刊的评价来说不可谓不大, 此被当 

做了极值处理。观察表2,该期刊是图书馆杂志。由 

此看来,在进行期刊评价时选择不同的引文数据库 

对某些期刊的影响的确很大,也进一步表明选择不 

同的引文数据库对于评价活动的重要性。 

四、相关分析 

以上已经得出,不同的引文库对期刊评价会产 

生或多或少的影响,而且已经具体到各个评价指标。 

篇均被引率对于期刊来说是非常重要的评价指 为进一步分析CSSCI与CCD对各指标的影响程度, 

邱均平,等不同引文库对学术期刊评价的影响研究——以csscI 1998—2009图情类期刊为例 71 

我们对各评价指标的排名做相关分析,如表8所示。 

表8期刊各指标之间的相关分析 

CSSCI发文量 

Pearson Conelation 1 930(¥{)0 156 0.35 一.600( ) 一0.48 

0 32 

Sig(2一tailed)0 0 594 0.23 0.02 0.081 

O.267 

N 14 14 l4 14 14 14 14 

CCD发文量 

Pearson Cot ̄.1ation 930f ) 1 0.257 O.39 一O.5 —0 5 

0 22 

Sig.(2一tailed)0 0 375 0.16 0.08 0 069 

O.455 

N l4 14 14 14 14 14 14 

CSSCI被引量 

Pearson Correlation 0.2 0 257 1 .855f 1 0.51 0.52l 

719( ) 

Sig(2一tailed)0.6 0 375 0 0.06 0.056 

0.O04 

N 14 14 14 14 14 l4 14 

CCD被引量 

Pearson Correlation 0 3 0 393 855( ) 1 O.28 O.486 

670( ) 

Sig.(2一tailed)0 2 0.164 0 0 33 0 078 

O.009 

N 14 14 14 l4 14 14 14 

CSSC!篇均被引率 

Pearson Correlation 一.600( ) 一0.48 0 512 0.28 1 .754( ) 

842(} ) 

Sig(2一tailed)0 0.081 0 061 0 33 0 002 

0 

N 14 14 l4 14 l4 14 

14 

CCD篇均被引率 

Pearson Correlation 一0 —0 5 0.521 0.49 754( 1 l 

864(¥ ) 

Sig(2一tailed)0 1 0.069 0.056 0 08 0 

O 

N 14 14 l4 14 14 l4 14 

CSSCIh指数 

Pearson Correlation 一0 —0 35 .631( )0.27 .899(}¥) .648( ) 

74l( 1 

Sig.(2一tailed1 0 1 O.2l5 0.016 0 35 0 0.012 0.O 

N l4 14 14 14 l4 l4 

l4 l4 

CCDh指数 

Pearson Correlation 一0 —0.22.719( }) 670( )842( {)864( ) 

741( ) 

Sig(2一tailed)0.3 0 455 0(104 0 01 0 0 

0 

N 14 l4 l4 】4 14 14 14 14 

根据表8,关注以下几对数值:CSSCI发文量与 

五、结论与改进建议 

CCD发文量、CSSCI被引量与CCD被引量、CSSCI篇 通过对14种CSSCI中1998—2009年图书情报 

均被引率与CCD篇均被引率、CSSCIh指数与CCDh 

来源期刊,运用CSSCI、CCD两种不同的引文数据库 

指数,主要是它们的相关系数值与显著性水平值。

8 

 

统计分析可以看到,当我们在对同一研究对象进行 

CSSCI发文量与CCD发文量的相关系数为

1 硒 

0.930, 

8 

科学评价时,不同的数据库会产生不同的评价结果。 

Sig.=0;CSSCI被引量与CCD被引量的相天系数为 

H叭 ㈩㈣ 蚴吣 ㈦。 ㈩ 

越是重要的指标,例如文中的篇均被引率、h指数,就 

0.855,Sig.=0;CSSCI篇均被引率与CCD篇均被引 

往往越会表现出较大的差异。期刊评价时,引文数 

率的相关系数为0.754,Sig.=0.002;CSSCIh指数与 

据库的选择是一项极其重要的工作。为此,提出以 

CCDh指数的相关系数为0.741,Sig.=0.002。首 F L点建议。 

先说明的是它们的显著性水平分别为0、0、0.002、 

其一,选用多个数据库进行评价。选用多个数 

0.002,都远远小于a值0.Ol,即极其显著,表明CSS— 据库是中国科学评价中心的典型做法,笔者认为,结 

cI与CCD在期刊评价过程巾具有很强的相关性,这 合评价的实际情况选用多个数据库可以存解决小同 

两种不同的数据库做出的评价结果并不是相互独立 数据库对期刊评价结果的影响上提供一一点有益的思 

的,而是高度棚火。但是CSSC1与CCI)各评价指标 考。中心存评价过程中的数据来源上,基金论文比、 

排名的卡甘关系数0.930、0.855、0.754、0.741,又是逐 总被引频次、影响冈子、web即年下载率4个评价指 

渐降低的,相关系数表示的是相关性,也就是说,从 标的数据主要来自清华同方《中国学术期刊引证报 

发文量排名、被引量排 、篇均被引率排名一直到h 

告》与《万方学术期刊引证报告》这两个第三方评价 

指数排名,CSSCI与CCD做出的排名的相关性越来 

机构的公开出版物。清华同方与万方数据库均有的 

越低,独立性越来越强,即它们的排名的差异性变得 

数据,则取两者的最大值;若任一数据库中数据空 

越来越大。选用CSSCI与CCD对篇均被引率与h 缺,则取其中之一。如影响因子这项指标,清华同方 

指数的影响要超过发文量与被引量。我们都知道, 与万方数据库提供数据,则评价中期刊的影响因子 

篇均被引率与h指数对于期刊评价来说是非常重要 

数值就用两个数据库中数值较大者 j。 

的评价指标,它们的重要性远远大于发文量与被引 其二,定性与定量相结合。引文数据库为我们 

量,由此看来选择不同引文库对重要指标的影响可 

提供了定量分析的方法和角度,但不应该滥用,定性 

能会比一般指标更大。 

方法的有效运用会弥补引文数据库在定量方面的不 

72 重庆大学学报(社会科学版) 2010年第16卷第4期 

足,从而增加期刊评价的客观性和公正性。在定性 选择CCD较为适合,因为CSSCI忽略了期刊被其他 

方面,可以以专家评审意见作为期刊排名微调的依 学科期刊的引用情况,期刊对其他学科的贡献力也 

据。专家评审的目的是甄别系统排序的合理性或减 

是评价期刊的重要方面。 

少因某些特殊因素没有被纳入评价指标而遗漏优秀 我们认为,在进行科学的评价时不仅应该选择 

期刊的可能性。为了保证学术期刊评价的公正、公 合适的指标对研究对象进行评价,评价数据库的选 

平、合理和权威性。参加对同一组期刊评审的专家 

择也应该谨慎对待,否则,即使是评价过程无懈可 

应该来源于三个领域:一为学科专家,他们是期刊文 击,评价结果也无法令人信服。 

献的直接创造者和使用者,来自于该学科领域的带 

头人和高校教授;二为期刊杂志社的编辑专家,他们 

是期刊文献的生产者和发行者,来自于出版界和期 

刊学会; 为图书馆的学科馆员,他们是期刊文献服 

参考文献: 

[1]邱均平,胡宗仪.新形势下期刊评估与发展趋势[J].情 

报探索,2006(3):12—15. 

务的传播者和提供者,主要来自于高校图书馆界。 

以上专家全部须具有高级职称和长期业内从业 

经验。 

[2]邱均平.信息计量学[M].武汉:武汉大学出版社,2007. 

[3]叶继元.数据库来源期刊与学术评价关系探寻[J].情报 

学报,2004,23(6):730—736. 

[4]中国社会科学研究评价中心.CSSCI来源期刊(1998— 

2009)[EB/OL]//http://cssci.nju.edu.en/cssei—qk. 

htm. 

其三,根据评价目的选择最适合的数据库。如 

果评价期刊的综合影响力,可以尽量选择一些综合 

性强的引文库进行评价;如果仅仅是评价其在社会 

科学领域的影响力,可以选择如中文社会科学引文 

索引之类的社会科学引文库。 

其四,根据评价指标灵活运用多种不同的数据 

[5]HIRSCH J.An index to quantify art individual’S scientific 

research output[J].Proceedings of the National Academy of 

Sciences of the United States of America,2005,102(46): 

16 569—16 572. 

库。不一定是对所有的评价指标都选用一种数据库 

进行数据搜集和评价,可以根据不同的评价指标灵 

活选择最适合评价需求的不同的引文库。-'f,7 ̄多评 

[6]周春雷,苏金燕,罗力.基于CSSCI的图情类期刊h指数 

评价研究[J].图书情报工作,2009,53(8):138—141. 

[7]邱均平,李爱群.中国学木期刊评价特色、做法与结果分 

析[J].重庆大学学报(社会科学版),2008,14(4):64— 

68. 

价指标其实并不适合我们选用的数据库,例如文中 

所说的被引量指标如果是选用CSSCI就不太适合, 

A Study on the Impact of Academic Journal Evaluation 

Based on Difierent Citation Database: 

CSSCI 1 998——2009 Library and Intelligence Science Journals as an Example 

QIU Jun—ping,SONG Yan—hui,WEN Fang—fang,MA Feng 

(Research Center of Chinese Science Evaluation.Wuhan University.Wuhan 43oo72。P.R.China、 

Abstract:As iournal evaluation becoming increasingly important,domestic iournal evaluation study focused 

on the evaluation index。and often overlook evaluation tools.citations database.In fact.the choice of different cita. 

tions database often gives disruptive impact on the evaluation results.Choosing the Chinese Social Sciences Citation 

Index f Chinese Social Sciences Citation Index)and the Chinese Citation Database(Chinese Citation Database1,two 

popular domestic citations database,as an evaluation tool library,making CSSCI LIS field of 14 kinds of source 

journals over the past 10 years as the research objects,the paper from published articles,cited volume,cited rate, 

h index fully analyzed and compared with the impact of different Citation Databases on the evaluation outcomes. 

The paper uses correlation analysis to demonstrate the size of this effect。gets the conclusion that different citation 

database leads to the impact of important evaluation indexes greater than ordinary indexes.Based on the analysis 

the results,we put forward some relevant suggestions for improvement. 

Key words:citation library;iournal evaluation;evaluation index 

(责任编辑彭建国) 


发布者:admin,转转请注明出处:http://www.yc00.com/news/1711349112a1890086.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信