跳转到主要内容
移动世界。
科学如何学习承认错误

我们为什么要相信科学?如果你问科学家,那是因为科学是基于对外部世界的仔细研究——不是猜测、预感、哲学思考或谣言——因为科学是一个自我修正系统,不断修正理论,更新事实,以反映新的证据。

1660年英国皇家学会成立时,它的使命是“提高自然知识”,其座右铭是nullius in verba——拉丁语的意思是“不相信任何人的话”。在社会的观点中,仅仅根据说这话的人——教会、国王、古代哲学家——的权威来接受任何说法都是错误的。他们的原则“要经得起权威的支配,并通过诉诸实验确定的事实来验证所有的陈述。”

从那时起,这种理想化的科学愿景就一直伴随着我们:论断的真假取决于实验的结果,而不是特定的人说了什么。

然而,现实却并非如此。实验是由人类进行的,然后人类告诉其他人他们的发现。科学知识是人们对其实验结果的各种主张的积累。

更多的人声称发现了同样的东西可以增加结论的信心,但一定程度的信任是根深蒂固的科学因为没有人有时间亲自检查他们可能看到或依赖的每一个事实。如果科学家没有理由怀疑一项研究的表面——它来自一个可信的作者,它发表在同行评议的期刊上,而且它不是明显的疯狂——他们可能会简单地接受它,并在其结论的基础上继续发展。

科学事业是建立在不断发现新发现的基础上的发布而不是重做别人的实验。与此同时,证据确凿的出版偏见意味着期刊更有可能发表报告积极结果的研究,而不是无聊的“无效”结果。

这意味着,即使在某种程度上,科学家们正在测试彼此的工作,他们更有可能听到证实他们结果的实验,而不是失败的实验。

更麻烦的是寻找新发现的压力似乎会增加倾向于寻找积极的结果。研究人员知道期刊想要积极的结果,所以他们搜索他们的数据来找到“具有统计学意义”的东西来发表。

但是统计上的显著性(结果是巧合的可能性)取决于研究人员是不是在玩弄这个系统。如果一段感情偶然发生的概率只有5%(或者说二十分之一),但研究人员测试了20到200种可能的联系,他们找到新恋情的几率就会大大增加。有了现代的计算机程序,研究人员现在可以很容易地测试数千个变量之间的联系。

这叫做p-hacching.或者“数据搜集”,这是官方不赞成的,但科学家经常这样做在不知不觉中这只是因为他们很自然地选择在哪里寻找数据以及如何分析数据。他们常常被无意识的偏见所引导,认为什么“有效”地找到结果。

在20世纪的大部分时间里,这种偏见和实践的后果并没有得到充分的重视,而博士、科学期刊和研究论文的数量却在飞速增长。不幸的是,这一迅速积累起来的知识体系即将再次遭到质疑。

再现性危机

2005年,约翰·P.A.埃尼迪斯在《公共科学图书馆·医学》杂志上发表了一篇令人震惊的论文,题为为什么大多数发表的研究结果都是错误的。” Ioannidis argued that biases from scientists and journals in publication, research methods, and study design strongly implied that the majority of published biomedical research studies are false—and other, less rigorous fields were likely to be worse.

这一惊人的指控促使许多科学家尝试在他们的领域复制重要的研究。在发表的心理学研究的一半无法在2015年的一次重新测试中复制。在另一个,只有53个“里程碑式”癌症研究中的6个被发现是可以复制的在另一项社会科学复制研究中,即使实验证实了最初的发现,效果大小大约是一半正如原始论文中所报道的那样。

这种“再现性危机”蔓延了几十多个学科,现在填补了一个维基百科上的词条越来越多

最近,扫描顶级科学期刊的图像搜索程序发现了大量(超过6%)生物医学研究中含有操纵、重复或错误标记的图像。根据一项研究,多达3.5万篇医学论文可能需要修改或撤回关于“不适当复制的图像”。

图像只是一种容易检测到的问题。编码错误(电子表格中变量的位置错误或公式中的拼写错误)很容易犯,没有原始数据很难发现。编码错误破坏了顶尖学者在热点问题上的里程碑式研究歧视对健康,堕胎与犯罪率,政府债务对经济的影响

回过头来看,对于那些费心去问科学家们自己的人来说,这并不奇怪。在一项对1500名科学家的调查在《自然》杂志的调查中,超过50%的人承认他们未能复制自己的一些研究成果,70%的人报告称未能复制同事的实验。

原因也不难理解。在对18项调查的荟萃分析在问及科学不端行为时,2%的科学家承认他们曾亲自伪造或伪造数据,约14%的科学家报告称曾看到同事这样做。

一个2012调查询问不太严重的研究错误(所谓的“可疑的研究实践”或QRPs)发现,QRPs在所有学科的认可率都很高。“即使是原始的自认率也高得惊人,”作者总结道,“对于某些行为,推断的实际估计接近100%,这表明这些行为可能构成了事实上的科学规范。”

换句话说,每个人都在这么做。

忠诚和认知失调

这是怎么回事?为什么这么多发表的研究是错误的,却没有被撤回?为什么这么多的研究人员知道,他们自己的一些发现经不起推敲,但不能全盘托出呢?有问题的研究实践怎么会如此广泛,以至于它们“构成了科学规范”?

Carol Tavris是一位社会心理学家,也是这本经典著作的合著者犯了错误(但不是我)如果是这样的话,我一点也不会感到惊讶。她指出,认知失调,即人们因自己的信仰、身份或想法发生矛盾而感到的不适,是如何直接导致自我辩护的。

塔夫瑞斯说:“我们可以通过以下两件事之一来减少不和谐:我们必须改变我们的想法或行为,使之与我们的信念相一致,或者我们证明我们的信念和行动是正确的。”

“如果你处于认知失调的状态,你可以说,‘哎呀,谢谢你提供了这么重要的证据,证明我错了。我真的很感激这个非常重要的信息——毕竟,这应该是成为一个自由思想者的目标。不幸的是,太多的人通过维持他们的错误信念和告诉自由思想者他们可以把数据粘贴在哪里来减少失调!”

“不幸的是,太多的人通过维持他们的错误信念和告诉自由思想者他们可以把数据放在哪里来减少失调!”

如果一个非常聪明的人发现自己犯了错误,他们就不得不在承认自己没有想象中那么聪明和找到一种方法证明自己基本上一直都是正确的之间做出选择。

如果一个通常非常道德的科学家稍稍扭曲了科学规则,他们可以承认这一点,撤回论文,也许还会丢掉工作,失去关系,或者失去一些声誉——或者他们可以找到一种方法来证明它。“这对我的研究结果没有太大影响,其他研究也发现了同样的结果,每个人都会做一点,我不能因为我的错误而惩罚我的合著者……”

由于复制失败的自我报告率如此之高,很可能忘记它并将第二组结果放在文件抽屉中比试图深入挖掘并解决失调更容易。很少有人花很多时间试图证明他们错了,所以他们为什么要担心呢?

其他同事观察到的欺诈或qrp比率与个人承认的欺诈比率之间的巨大差距表明,认知失调也在那里起作用:字面上说,“有人犯了错误,但不是我。”

合作扩散的责任

另一个因素是增长倾向于更大的共同作者。科学合作是有价值的,更多的眼睛检查工作可能是有帮助的,但这也意味着个人的对最终产品的责任是分散的

检查这一部分是其他人的责任,而对于共同作者来说,不知道其他合作者所做的一切是很容易的。

如果一个错误在发表后被发现,小题大做可能会严重损害同事的关系和职业生涯。如果这不是故意的,也没有真正的欺诈或伤害,放弃它的愿望是可以理解的。

毕竟,科学是自我纠正的,所以如果它站不住脚,别人就会来证明它。结果可能是有效的,也可能是无效的,但如果采取了所有正确的步骤,数据是真实的,方法是透明的,那就由其他人来判断了。Nullius在动词中可以演变成“买家当心”。

把改变主意当成一种美德

围绕再现性危机和可疑的研究方法的许多问题正在通过鼓励更多的透明度和更密切的审查来解决。

科学家们被鼓励北语他们在开始工作之前测试的假设,是为了阻止p黑客和事后寻找相关性。鼓励或要求更多的期刊共享基础数据用于计算,使其他科学家更容易核实他们的结论。PLOS One是一个主要的开放获取期刊组织,最近变成了“收放引擎”部分原因是它已经建立了一个专门的团队来审查有关研究完整性的问题。

简单的更多的问题意识鼓励许多学者回顾期刊,系统地检查他们领域内最基础的研究,这在以前很少有人做。

但所有这些努力都依赖于期刊、大学和其他科学家更积极地监督彼此的工作,而这需要时间和金钱,而且可能会降低研究人员之间的信任。同事之间的这种猜疑和摩擦有其自身的代价,虽然难以量化,但同样重要。

最有可能知道他们研究的潜在问题的人是作者自己,调查显示,许多学者都很清楚他们的方法论、数据质量或再现性的问题,而这些问题对其他研究人员、同行评审人员或记者来说并不明显。

为了在科学领域推广一种开放和自我纠正的新文化,2016年,一组心理学家创建了一个名为the的试点项目丧失信心计划鼓励研究人员提出影响他们对自己工作信心的担忧或披露。

该项目收集了那些不再相信他们的研究站得住脚的科学家的陈述。不像撤销,这将是对搞砸的极端和昂贵的惩罚,丧失信心(LOC)声明并不意味着作者做了任何不诚实的事情或犯了重大的技术错误。

相反,这项工作是善意地完成的,并且在技术上是正确的,但作者不再认为结论是站住脚的,因为他们的方法论、设计或解释存在缺陷。

例如,心理学家斯特凡·施穆克尔(Stefan Schmukle)就他合著的一项研究发表了LOC声明,该研究是关于手指长度和性别偏见之间的相关性。Schmukle现在认为,这个结果是由多次测试造成的假阳性,但他们只发表了给出阳性结果的测试。

尽管如此,他认为这篇论文不应该被完全收回,因为他和他的合著者是出于善意而做这项工作的。在一个出版物数量是获得工作或晋升的关键的世界里,其他科学家一致认为,应该有一种方法可以公开质疑一份出版物,而不至于彻底失去它。

Schmukle说:“在我看来,如果数据是伪造的,如果统计分析是错误的,或者类似的情况,撤回声明是合适的。”然而,他的论文的问题是,有些结果没有被报道,事后看来,这些结果对理解它很重要。Marcus Munafò是英国布里斯托尔大学的一位生物心理学家,他在发现一个错误后,拿出了一篇论文,他也做了类似的研究。“是否撤回一篇论文是一个棘手的问题,”他说。“但我不会撤销那些报告结果几乎肯定是错误的,但却是出于善意的论文。”

该项目希望给研究人员一个质疑研究的途径不会因为他们的诚实而惩罚他们关于错误或改变他们的想法。在一篇分析他们收集的第一轮LOC语句的论文中,题目是“把自我放在自我纠正中研究小组指出

研究文化中,个人自我修正错误或误解发生时的默认反应可能不仅减少作者和批评家之间的冲突,而且变化的方式批评第三方办理,因为这将创造更多的研究者的身份和他们的发现之间的距离。

Tavris说,简单地承认认知失调可以帮助一个人克服它。承认你可能写的东西和你的自我形象是有区别的,这是减少认知失调的一个重要方法,而不是固执己见或失去对自己作为一个谨慎、诚实的研究者的信心。

在他们的论文中,LOC团队小心翼翼地强调,承认错误并不能证明某人是一个糟糕的研究人员,更正记录实际上可能是一种科学美德的标志:

面对公开承认错误的研究人员,人们应该记住,这不是一个可靠的指标,表明研究人员在他们的工作中没有其他人勤勉——毕竟,错误在整个科学记录中是经常发生的。相反,考虑到个人自我纠正的潜在(或可感知的)成本,公开承认错误可以被视为一种代价高昂、因而可信的信号,表明发行者关心科学记录的正确性。

他们希望这个新的范式将鼓励科学界整体练习更多的自我纠正。他们建议期刊允许作者附加LOC语句,解释他们怀疑结果的原因,而不是需要总撤回。他们还提到了一个更激进的想法:一个发布系统,允许根据新的证据或理解不断更新文章,同时仍然保留以前的“Wiki for Science”模型。

最终,不管出版模式如何,我们的目标是改变围绕科学纠正的文化,不再是一种主要对立的风气,在这种风气下,其他科学家必须互相指责,从而也允许一个自我完善的轨道。如果幸运的话,看到科学家们亲自实践这个系统作为一个整体所渴望的修正和自我修正模型,可能是恢复公众对科学界和科学本身的信心的关键。

下一个

监测
反对面部识别的时尚宣言
anti-facial识别
监测
反对面部识别的时尚宣言
这些设计师试图通过反面部识别的化妆、眼镜和服装来战胜监控系统。他们能帮我们隐身吗?

这些设计师试图通过反面部识别的化妆、眼镜和服装来战胜监控系统。他们能帮我们隐身吗?

音乐
Chance the Rapper正在把音乐带回芝加哥的学校
Chance the Rapper正在把音乐带回芝加哥的学校
音乐
Chance the Rapper正在把音乐带回芝加哥的学校
在芝加哥的最南边,你能到的最南边——离邻近的Riverdale有一个交通灯——…

在芝加哥的远南侧,尽可能远离邻南 - 远离邻近的Riverdale - Ira F. Aldridge小学的交通灯正在为永远围困的芝加哥公立学校系统提供学生罕见的东西:机会。由于Lapper的慈善社会奖励,学校现在可以提供更强大的音乐计划,确保每个学生的手中的乐器。“一世...

退伍军人节特别
荒野经验有助于陆军兽医在战争后调整生命
荒野经验有助于陆军兽医在战争后调整生命
退伍军人节特别
荒野经验有助于陆军兽医在战争后调整生命
来认识一下托马斯·温海默(Thomas Weinheimer),他是一名陆军老兵,在北卡罗来纳州的一条小道上经历了53天的荒野生活,帮助他轻松地过渡到平民生活。

来认识一下托马斯·温海默(Thomas Weinheimer),他是一名陆军老兵,在北卡罗来纳州的一条小道上经历了53天的荒野生活,帮助他轻松地过渡到平民生活。

民事
来认识一下想通过区块链拯救新闻业的初创公司Civil
民事区块链
看现在
民事
来认识一下想通过区块链拯救新闻业的初创公司Civil
区块链能打击假新闻,恢复对媒体的信任,拯救一个垂死的产业吗?
看现在

新闻业正处于危机之中。传统的广告模式还没有很好地适应数字世界,许多报纸已经关门大吉。随着以任何价格获取浏览量的压力上升,以及质量下降,“点击诱饵”(Clickbait)数量有所上升。人们对媒体的信任越来越少,这使得特殊利益集团越来越容易操纵公众舆论。但一家新成立的公司Civil希望通过以下方式帮助解决这些问题:

处于
本周的《思想》:告别实验鼠,用无人机取代蜜蜂
本周的《思想》:告别实验鼠,用无人机取代蜜蜂
处于
本周的《思想》:告别实验鼠,用无人机取代蜜蜂
这一突破可能意味着实验动物的终结,暴力犯罪几乎减半,以及雄蜂授粉花的终结。
通过迈克尔·奥谢

这一突破可能意味着实验动物的终结,暴力犯罪几乎减半,以及雄蜂授粉花的终结。