PNAS发文:“同质化”论文暴增从根本上阻碍了科学的进步

760次阅读  |  发布于3年以前

近日,美国著名SCI期刊PNAS(Proceedings of the National Academy of Sciences )刊登文章《Slowed canonical progress in large fields of science》指出,在科学研究领域,“同质化”论文的大规模生产可能会阻碍新兴思想的出现。

这篇文章出自美国西北大学和芝加哥大学联合研究团队,他们通过241门细分学科的9000万篇论文的18亿次引用的定量分析发现,大量论文的发表不但没有加快研究范式的更替,反而巩固了经典研究。那些可能蕴含潜在的、颠覆性观点的新论文正面临出版难、阅读量低、引用量少的困境,并且没有因为时间的演进而吸引更多人的关注。

这种现象所带来的后果是:如果科学家和研究机构仍然以“数量”来衡量科研能力,而不是关注科研质量和影响力,那么论文的暴增将从根本上阻碍科学的进步!

新论文引用率低,无创新是普遍现状

对大多数人而言,科学进步最直观的表现就是“越多越好”,某一学科发表的论文越多,科学进步的速度就越快;研究人员越多,覆盖的范围就越广。即使不是每一篇论文都有翻天覆地的影响力,但每一篇论文都可以为聚沙成塔贡献一粒沙子,增加新范式出现的可能。

事实上,众多科学领域每年的论文发表数量正在快速增长。以人工智能为例,从2007年到2017年,近10年的时间中国AI论文增长了400%,企业论文增长了73%。在国际学术会议中,ACL 2019年的投稿量超过2800篇,相比2018的1544篇,增量超过81%。同年NeurIPS也增长40%,投稿量达6809篇。CVPRICCVECCV三大计算机视觉顶会更是增幅明显。

其背后的原因一方面与学术政策和激励措施密切相关。在科学研究领域,不论是职位晋升还是考量绩效,专利、发表文章、文章的引用以及刊登杂志的影响因子都会成为核心指标。这些量化指标决定了科研人员的职业轨迹以及学术机构、企业和评估标准。对于一名高校学者而言,如果在规定的时间内发表足够多的论文,就有可能获得晋升或者终身教职的机会。

而另一层原因是,论文的“质量”也越来越倾向于定量化评估,引用量普遍被用来衡量某一学科领域内个人、出版商和期刊的重要程度。一篇引用次数多的论文会被默认为最佳、最有价值的研究,甚至会被视为该领域内的里程碑之作。

然而,这项研究中发现大量科研成果的发表不但没有推动科学的发展,反而成了行进的阻力,这是因为某一科学领域发表的论文数量逐年增多时,学者更倾向于引用已有的经典论文,而不是新论文,反过来,较低的引用次数又进一步影响了新论文的关注度,这导致学术研究很难摆脱现经典研究思想的束缚,而事实也证明,更多的新论文创新度不高,多局限于已有的理论框架。

作者在文中具体列出了六项可能带来的影响,并强调如果是研究范围更广的科研领域,以下现象可能会更明显:

1)新引用更偏向经典论文,而不是引用较少的新论文;

2) 引用最多的论文在每年的引用排名中几乎保持不变;

3) 一篇新论文最终成为最常引用论文的概率下降;

4) 新论文不会通过长时间的累积传播进入最常引用行列;

5) 新论文延续现有科学思想的比例增加,颠覆性思想的比例减少;

6)具有足够影响力的论文,出现的可能性降低

至于为什么会出现这种现象,作者认为在理论上可能存在两方面因素,一是大量的新论文可能会剥夺专家和学者充分认识和理解一个新想法所需的时间和认知程度。二是过多新想法之间的竞争也可能会妨碍学者们发现或者将注意力集中在一个更有前景的idea上。

随着每年各学科领域科研成果数量的持续增长,这种影响会只增不减,且不可避免,除非采取政策措施重组科学生产的价值链,使大众的注意力集中在有前途的、新颖的想法上。

实验证明及分析

总结来看,在大多数学科领域中,高引用量的经典论文一直持续占据主导地位,这导致新论文的引用几率较低,并随着时间的推移淹没在了海量论文库中。此外,从内容上来讲,最新发表的论文更倾向于扩展现有理论,而不是进行底层创新,很少有打破常规的新观点被提出。以下是241门细分学科和9000万篇论文的实证结论:

一、在大多数学科中,引用最多的论文获得了更高的引用份额。

如图1(A),引用次数最多的论文在最大研究领域的基尼系数为0.5,相当于贫富差距最大的两个国家的系数水平——只有中国和南非的基尼系数高于0.5。重要的是,论文引用份额的严重失衡,导致研究方向出现明显的“马太效应”。

图1:不同学科论文引用量的动态变化过程

左图(A)表明,当某个领域发表的论文越多,被引用最多的论文在新引用中所占比例就会越大;右图(B)表明,当某个领域发表的论文越多,高引用论文的排名就越稳定。

如电气和电子工程领域,如果每年有10000篇论文出版,前0.1%的论文获得1.5%的引用概率,前1%的论文获得8.6%的引用;如果发表50000篇论文,前0.1%的论文获得3.5%的引用,前1%的论文获得11.9%的引用;如果发表10万篇论文,前0.1%的论文获得5.7%的引用,前1%的论文获得16.7%的引文。相比之下,随着每年论文发表量的增多,50%低引用论文在新引用中所占份额明显下降,从每年10000篇论文 43.7%的引用次数占比,下降到每年50000篇和100000篇论文占比仅稍稍高于20%。

二、在范围更大的学科领域,论文发表数量越多,引用最多的论文在高引排名中的波动越小。

如图1(B)所示,在引用最多的前50篇论文中,论文发表的本年和下一年之间在排名上存在明显的相关性。而在随后的几年,如果预测前50名引用最多的论文的斯皮尔曼等级系数,该系数从一年1000篇论文的0.25,增加到了一年100000篇论文的0.74。这是因为当研究范围较大时,引用最多的论文每年都会保持其引用次数,而其他所有论文的引用次数都会减少。

图2:引用衰减率

图(A)表明尽管有大量新论文发表,引用最多的论文平均每年保持在高引用前列;图(B-C)表明除引用最多的论文外,所有论文在该研究领域的引用次数均逐年减少。图(D)表明在所有学科领域,只有引用最多的论文每年保持高引用水平,其他所有论文平均每年的引用量都较少。

上图显示了在不同引用份额上论文本年与上一年引用的预测比率。可以看出,在论文发表量少的年份,引用最多的论文比例明显低于1,与引用较少的论文没有太大区别。然而,当论文发表量增加时,引用最多的论文比例接近1,明显超过引用量较少的论文。如果某领域一年发表100000篇新论文,引用最多的论文平均每年收到的引用数量不会出现明显下降,但在年度引用最多的论文中,排名前1%的论文每年平均会损失约17%的引用次数,而排名前5%及以下的论文会损失四分之一的引用次数。

三、如果同年发表大量论文,其中一篇论文进入该领域最高引用0.1%的概率会明显下降,且不同学科和各个年份都遵循这一规律。

图3(A)表明,如果是小众学科领域,论文会随着时间的推移而慢慢上升到最常引用的前0.1%。如图3(B),1980年所有学科的线性回归预测显示,在1000篇新论文中,一篇论文达到该领域引用率最高的0.1%需要9年时间。

图3:新论文进入高引用排名的可能性

图(A)表明,一篇新在该学科领域进入最常引用0.1%的概率会随着论文的增多而降低。图(B)表明如果同一年发表大量论文,其中一篇并不会随着时间而逐渐积累到最常引用0.1%的范围内。

相比之下,如果是主流学科领域,一篇新论文会迅速跃升到排名列表的顶端。如图3(B)的回归预测,在100000篇新论文中,一篇进入前0.1%的中位数只需要不到一年的时间。

四、同年发表的论文大多建立在现有文献的基础上,而不是突破现有文献。

图4(A)表明,当某个学科领域每年发表1000篇论文时,颠覆性的创新论文占比49%;当每年发表10000篇论文时,该比例下降至27%;每年发表100000篇论文时,进一步下降到13%。即使当D>0时,新发表论文的创新性也会在更广泛的研究领域内被减弱。

图4:学术创新倾向图

图(A)表明多年来各个学科发表的新论文倾向于扩展现有的理论,而不是引入颠覆性的创新观点(蓝色代表D>0;红色代表D<0)。图(B)表明在各个学科中,同一年发表的大量论文普遍不太可能具有高度的创新性(D≥ 0.0256).

研究人员注意到,“场大小”所带来的影响明显超过了时间维度的影响。随着一个科学研究领域的扩展,资深学者的引用模式会发生明显变化。即使是久负盛名、经验丰富的学者,在许多新论文发表时也会更多地引用经典文章。

如何打破“论文泛滥”的局面?

这项研究发现让我们不得不面对一个现实:如在短时间内发表太多的论文,新的idea很可能淹没在传统观念中,科学发现的过程也就无法选择更有价值的创新。更讽刺的是,当今科学事业的“数量驱动”性质可能从根本上阻碍科学的进步,而访问权限,期刊的激增和刊物体系的失衡又会加剧这一现象。

那么我们可以减少论文发表的数量吗?答案显然不可能。

我们不可能能禁止出版、关闭期刊、限制科研机构,或者减少科学家的数量。对于科学家而言,即使他们知道大量“无用”论文可能会对学科发展产生影响,但考虑到个人的职业发展和学生的学术前景,他们也不会主动减少科研“数量”。而如果采取强制措施,无疑又可能增加破坏科研氛围、阻碍科研创新的风险。

作者认为,如果不从根本上改变激励政策和评估准则,这种现象只会持续恶化。他在文章中提出了几点改进措施,并表示虽然政策很难落实和推进,但它能够引导科研人员从经典研究走向更新颖的前沿领域。

虽然各个学科引用最多的论文在每年的高引排名中基本保持不变,但我们很难说学科发展就因此而停滞不前。不过现有证据表明,每年生产大量“无用”的科学成果耗费了昂贵的人力成本的资金,生产率也正在急剧下降。而更重要的是,我们是否可能因为沉浸在泛滥的论文中而错过更丰富的新范式?

论文地址:

https://www.pnas.org/content/118/41/e2021636118

推荐文章

刘强东夫妇:“移民美国”传言被驳斥

京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。

博主曝三大运营商,将集体采购百万台华为Mate60系列

日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。

ASML CEO警告:出口管制不是可行做法,不要“逼迫中国大陆创新”

据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。

抖音中长视频App青桃更名抖音精选,字节再发力对抗B站

今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。

威马CDO:中国每百户家庭仅17户有车

日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。

苹果据称正引入3D打印技术,用以生产智能手表的钢质底盘

据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。

千万级抖音网红秀才账号被封禁

9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...

亚马逊股东起诉公司和贝索斯,称其在购买卫星发射服务时忽视了 SpaceX

9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。

苹果上线AppsbyApple网站,以推广自家应用程序

据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。

特斯拉美国降价引发投资者不满:“这是短期麻醉剂”

特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。

光刻机巨头阿斯麦:拿到许可,继续对华出口

据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。

马斯克与库克首次隔空合作:为苹果提供卫星服务

近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。

𝕏(推特)调整隐私政策,可拿用户发布的信息训练 AI 模型

据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。

荣耀CEO谈华为手机回归:替老同事们高兴,对行业也是好事

9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。

AI操控无人机能力超越人类冠军

《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。

AI生成的蘑菇科普书存在可致命错误

近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”

国产扫地机器人热销欧洲,国产割草机器人抢占欧洲草坪

2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。

罗永浩吐槽iPhone15和14不会有区别,除了序列号变了

罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。

Copyright© 2013-2020

All Rights Reserved 京ICP备2023019179号-8