我们的世界观与合力作用经常为简单的定理所驱动,由低调的英国数学家和神学家Thomas Bayes在150年前私下提出,并仅在他死后才发表。
贝叶斯定理曾被用于二战中破解德国的恩尼格玛密码,如今已广泛用于科学、技术、医药和其他领域中。
所以是什么原理呢?
贝叶斯定理解释
Thomas Bayes的观点十分简单。一个假设为真的可能性取决于两个标准:
1. 基于当前知识,有多合理(先验);
2. 与现有证据的符合程度。
然而,在他死后100年里,大部分科学家仍旧只根据新证据评估自己的假说。这是传统的假设-检验(或频率学派)的方法,在科学课上我们也是这么被教的。
在难以置信的解释完美符合一些新证据的时候最能看出贝叶斯与频率学派的方法的区别所在。
比如捏造一个假说:“月亮是奶酪做的。”
credit: 小编自己照原文画的
我会抬头望望夜空,收集相关的新证据,注意到月亮呈奶酪般的黄色。利用传统的假设-检验框架,我会总结到新证据与我的激进的假说相一致,因此增强了我对其的置信度。
credit: 小编自己照原文画的
但利用贝叶斯定理,我就会更加慎重。虽然我的假说与新证据相符,但本来这个假说就是荒唐的,违背了我们所有的宇宙学和矿物学的知识。
credit: 小编自己照原文画的,石头图片credit: 123RF
因此,月亮是奶酪的整体概率就是两项的乘积,非常低。
当然,这是极端情况下的讽刺。没有哪位著名科学家会无聊到去测试这种愚蠢的假说。
但世界范围内的科学家总是在评估大量的假说,并且其中某些还是蛮牵强的。
例如,一项2010年的研究最初表明政治主张温和的人能看到更多字面意思的灰色阴影。
经过进一步的测试后来这一说法被推翻了,因为研究者认识到本来这一说法就是不可能的。但其他类似的研究几乎是不加批判的被接受了。
生活中的贝叶斯方法
我们从自己的经验和记忆中提取先验知识,从我们的感知中得到新证据,为日常事务分配概率,管理我们的生活。
就比如考虑一件简单的事情,要不要接你的工作电话,你工作的时候会把工作电话放在办公桌上,或者在家的时候充电。
你在家里的小院子里,听到屋里的工作电话响了。你的新数据与其位于室内某处相一致,但你直接就去充电器那里了。
在此过程中你已经结合了你对电话的先验知识(要么在办公桌上,要么在家里的充电器那里)和新证据(家里的某处),来判断出其位置。
如果电话不在充电器那里,那么你会利用有时候会把电话放在哪里这一先验知识缩小搜索范围。
你会忽略屋子里的大部分地方(冰箱,放袜子的抽屉),因为先验上较为不可能,并前往你认为最可能的地方直到最终找到电话。
置信度和证据
贝叶斯推理的特点之一是在数据不足的时候先验置信度最为重要。我们可以从直观上使用这一准则。
例如,你在酒馆里玩飞镖,附近有个陌生人说他/她是一个专业飞镖玩家,你可能最开始会假设这家伙在开玩笑。
你对这个人几乎什么都不知道,但遇到一个真正地专业飞镖玩家的几率是很小的。澳大利亚的专业飞镖玩家也不过大约15个。
如果这个陌生人扔飞镖并且正中靶心,可能还是不能令你信服,因为这可能只是运气。
但如果这个人连续十次都正中靶心,你就会倾向于接受他/她的专业说法了。你的先验置信度就被累积的证据所覆盖,贝叶斯定理又起作用了。
驾驭一切的一个理论
贝叶斯推理现在是大量人类问询领域的支柱,从癌症筛检到全球变暖,遗传学,货币政策以及人工智能。
贝叶斯推理是风险评估和保险的基石。每当龙卷风或者洪水袭击某个区域,保险费就会突然飞涨。为什么?
量化风险极其复杂,当前状况为未来可能灾难提供的信息很少。因此保险公司会根据现状和曾经发生的情况进行风险评估。
每当自然灾害袭来,他们就会更新那个地区的先验信息,将其变得较为不利,因此预计未来发生灾害的可能会更大,从而提高保险费。
贝叶斯推理在医学诊断中也扮演相似的角色。症状(新证据)是多种可能疾病(假设)的结果,但不同的疾病对于不同的病人的先验概率也不同。
诸如webMD的在线医疗工具的主要问题在于无法正确考虑先验概率。他们对你的个人历史所知甚少,因此会诊断出很多可能的疾病。
向了解你病史的医生求助将会缩小可能范围,得到更合理的诊断。贝叶斯定理又起作用了。
阿兰·图灵与恩尼格玛密码机
贝叶斯方法使我们能从含糊的数据中提取精确的信息,从各种可能性中找到一小撮解。
贝叶斯方法对英国数学家阿兰·图灵破解德国的恩尼格玛密码至关重要,并加速了二战盟军的胜利进程至少两年,拯救了数百万生命。
要解密一组德国的编码信息,搜寻近乎无穷的可能翻译显然是不可行的,特别是通过不同的复杂恩尼格玛密码机转子设置还会每天改变编码。
图灵重要的贝叶斯观点是特定信息出现的可能性比其他的信息更高。
研究团队将其成为“cribs”,是基于先前解密的信息,以及逻辑上的期望。
例如,从U型潜水艇出来的消息可能包含与天气或者盟军船只的短语。
破解德军恩尼格玛密码的Bombe机器的重建复制品。Credit: Ted Coles/Wikimedia
这些cribs提供的强先验信息大大缩小了待评估的可能翻译的数目,使得图灵的解码机器破译恩尼格玛密码的速度能赶得上每天更换的速度。
贝叶斯与进化
我们为什么对贝叶斯理论如此感兴趣呢?在我们自己的研究领域,进化生物学,贝叶斯方法变得越发重要。
从预测气候变化产生的效应到理解传染病的传播,生物学家能从众多可能性中搜寻得到少量的可能解。
我们的研究主要包括重构生命的历史和进化,这些方法能帮助我们从理论上数十亿种可能的分枝模式中找到唯一的正确进化树。
在工作和日常生活中,贝叶斯方法都能帮助我们找到沧海一粟。
贝叶斯推理的不利方面
当然,在先验信息不正确的情况下贝叶斯推理也会出问题。
在法庭上,这会导致严重的误判(参见检察官谬论:泛指多种根据不相关资讯认定被告“无辜的机率”很小的情况)。
在英国的一个著名例子中,1999年,Sally Clark被错认为谋杀了她的两个孩子。
检察官曾争论道两个孩子死于自然原因(她是无辜的先验概率)的可能性非常低,只有7300万分之一,因此她肯定谋杀了两个孩子。
但他们没有考虑母亲杀死两个孩子的概率(她有罪的先验概率)更是极其之低,因此她完全无辜与双重谋杀者的相对先验概率其实比最初争论认为的更为相近。
Clark随后进行了上诉,并且上诉法院批判了原始判决中统计方式的错误使用(这一事件的后续是二审判决宣判无罪,并于2003年出狱,但这一经历造成了严重的精神问题,2007年因乙醇中毒死于家中,sigh)。
这表明了贝叶斯定理的错误使用能带来深远的严重后果。但好处是合理调整的具有正确先验信息的贝叶斯方法能提供替他方法不具备的洞察力。
本文译自 conversation,由 CliffBao 编辑发布。Mike Lee&Benedict King
PREV : Facebook想“开脑洞”,不过科学家认为这还远呢
NEXT : 周末啦:蛋友FML集锦