当专家团意见不一时,如何找出最佳者
majer @ 2019.11.26 , 02:00 下午进行预测或诊断时,专家们并不总能得到一致的意见。那么,我们如何找出专家组给出的最佳、最准确的判断?在马克斯·普朗克人类发展研究所和莱布尼兹淡水生态与内陆渔业研究所合作展开的跨学科研究中,研究人员发现了一种简单的识别方法,并成功地完成了测试。《科学进展》刊发了他们的论文。
乳房X光照片里的阴影是否代表乳腺癌?塞尔维亚会在2025年加入欧盟吗?5年后的德国会发生更多洪涝灾害吗?医生、科学家和专家做出的判断往往会产生深远的影响。而且在很多情况下,只有经过一段时间后,我们才能知道那些预言是准确的。
莱布尼兹淡水生态与内陆渔业研究所的研究员、论文合著者沃尔夫·麦克斯指出,他们的方法可从一组专家中找出那个最佳决策者,而无需知晓专家的履历信息。“在实验中我们假定,如果某个意见得到了超过半数的专家的支持,那么我们就认为它是正确的(实际操作中常见的程序),同时,我们要求每位专家用是/否,做出20个判断。结果表明,我们的方法非常有效。”。
该方法基于对集体智慧的理解。核心思想源于一个简单的假设:越接近平均值,就越接近真相。在用是/否回答问题的小游戏里,可以通过数学建模轻松地验证这一假设。为了在现实场景中检验方法,研究人员分析了已发表的病理诊断,如美国100位放射科医生的诊断。
在2000年初,放射科医生对155名妇女的乳房X线照片进行了解读,以判断是否患有乳腺癌。研究团队分析了上述数据,找出每个诊断总是和大多数医生的意见相一致的医生。由于他们可以获取155名筛查妇女的后续信息,因此研究人员可以直截了当地知道最准确的诊断结果。
“一次又一次地证明,在领域内表现出色的专家总是有相似的看法,而表现欠佳的专家则各有各的不同。在此观察结果的基础上,我们开发了这种新方法并对其进行了测试。”马克斯·普朗克人类发展研究所自适应理性中心的首席作者兼研究员拉尔夫·库弗斯说。
除了放射科诊断,研究小组还分析了40名意大利皮肤科医生所做的皮肤癌诊断;90位分析师在在线平台Good Judgment Project上做出的地缘政治走向预测;以及一个简单的常识测试的结果——要求100名参与者比较随机选出的两个美国城市的大小。
“我们相信决策的相似性和准确性之间的关系可以充当实践中的有效工具。该方法可用于改善医学诊断、环境风险分析和商业环境中的集体和个体决策过程。”
PREV : 在注射疫苗后,我们的手臂为什么会痛?
NEXT : 十万个冷知识(六十九)