贝叶斯思维：统计

 
  录
息
内要
荐
1章 贝
1.1 条件概率
1.2  合概率
1.3  饼问题
1.4 贝
1.5 历时
1.6 M&M 问题
1.7 Monty Hall 题
1.8 讨
2章 统
2.1 分
2.2  饼问题
2.3 贝架
2.4 Monty Hall 题
2.5 封架
2.6 M&M 问题
2.7 讨
2.8 练习
3章 
3.1 骰子问题
3.2  问题
3.3 怎看待先概率？
3.4 其他先概率
3.5 
3.6  积分
3.7 德军克问题
3.8 讨
3.9 练习
4章  进
4.1 欧元问题
4.2 后概率的概
4.3 先概率的没
4.4 优
4.5 Beta分
4.6 讨
4.7 练习
5章  率和
5.1  率
5.2 贝的率形式
5.3 奥利的迹
5.4 
5.5 最大
5.6  合分
5.7 讨
6章 决分
6.1 “ 的格”问题
6.2 先概率
6.3 概率密度
6.4 PDF的示
6.5 选手
6.6  然度
6.7 更新
6.8 最优出
6.9 讨
7章 
7.1 波顿熊问题
7.2  松过
7.3 后
7.4 入球分
7.5  的概率
7.6  然法则
7.7 讨
7.8 练习
8章  察的差
8.1 红线问题
8.2  型
8.3  待时
8.4  待时
8.5  到达率
8.6 消除不
8.7 决分
8.8 讨
8.9 练习
9章  维问题
9.1 
9.2 Suite对象
9.3 三学
9.4  然度
9.5  合分
9.6 条件分
9.7 
9.8 讨
9.9 练习
10章 贝近
10.1 变异说
10.2 均和准差
10.3 更新
10.4 CV的后分
10.5  据下溢
10.6 对然
10.7 一个小的优
10.8 ABC（近贝）
10.9  的可靠
10.10 谁的变异更大？
10.11 讨
10.12 练习
11章 
11.1  到欧元问题
11.2 来一个平的对
11.3 三
11.4 讨
11.5 练习
12章 证据
12.1  读SAT成
12.2  例得分SAT
12.3 先
12.4 后
12.5 一个更好的型
12.6  准
12.7 效率的后分
12.8  分
12.9 讨
13章  真
13.1 肾的问题
13.2 一个型
13.3 更普的型
13.4  现
13.5 缓合分
13.6 条件分
13.7 
13.8 讨
14章  型
14.1  器问题
14.2  的开始
14.3 分型
14.4 一个小优
14.5 抽取后
14.6 讨
14.7 练习
15章  多维问题
15.1  部细菌
15.2 狮子，和熊
15.3 分
15.4  抽
15.5 优
15.6  的结构
15.7  一个问题
15.8 还有工要做
15.9 肚据
15.10  分
15.11  合后
15.12 
15.13 讨
译
封
译后记
迎来到异步社！
信
：贝维：统的Python学习法
ISBN：978-7-115-38428-7
本人电出社发行字所有
购买的人出社子个人用，未，不得以式和内。
我们愿读有这的良和，我们共护产。
购买有为，我们可能对用户施不闭维措施，并可能究法
责。
•  着        [美] Allen B. Downey
 
   译        许
   责编   王峰松
•  人出社出发     北台成路11
    编  100164   子件  315@ptpress.com.cn
    址  http://www.ptpress.com.cn
•  读服热线：(010)81055410
   反盗热线：(010)81055315
 
明
Copyright ©2013 by O’Reilly Media, Inc.
Simplified  Chinese  Edition,  jointly  published  by  O’Reilly  Media,  Inc.  and  Posts  &  Telecom  Press,  2014.
Authorized translation of the English edition, 2013 O’Reilly Media, Inc., the owner of all rights to publish and sell
the same.
All rights reserved including the rights of reproduction in whole or in part in any form.
本中文简 O’Reilly Media, Inc. 人电出社出经出面许可对本的

分不得以方式复播
所有
 
要
这在帮助那希望用学工决问题的人们，有的要可能就是一点概率和
。贝法是一常的利用概率学去决不问题的学法，对一个专业
人，应悉其在诸器翻译、语、件常的领域的应用。
上会扩大你的，不是一个专业人，你也可以看到在环境下（

界大德军克问题），法问题上（肾的证），体育博领域中（熊和人 NHL
问题）贝法的威。怎么有的息断德军甲部的？你支的球有多大可能得
军？在《龙地下》勇中，你应对游戏色的最大有怎的期？甚至在普通的射击
游戏中，拥有一贝维也能帮助你游戏平。
除此以外，在共 15章的篇幅中讨了怎决十个现生活中的问题。在这问题的

决过中，还默地帮助读形成了决的法，误差和误差怎么取，怎为
体问题创学型，住问题中的要矛盾（型中的键参），一步一步地优证
型的有效。在这个上，这是一学的成功。
 
推序
很多人界为基的、的，非一、非黑白的。是真的界却是非常杂
的，不是一个式可以美总结概的。就像我们的成和我们的学习平，有很大的，
是最后会受到很多的（体状况，是休息好了，心情，天），进得我们的最
成在真平上下有很大的波动。这就像我们分很多事情时，常得到的结，“既有必然，
有偶然 ”。
这个时，基概率和统的法给了我们很多的帮助。很多时，我们不能给出一个人、一件

事的结。是我们察大量的事件后，我们就会发现一个集体的上的是在的。
个事件可能得到不的结，这结以最有可能的结为中心，服一的概率分。了这
分据，我们更和期真界的多形。
顾在进自然语过中过的路，我们就会发现研究则到研究统的转变。最

，研究人都为，语是基语法则。这个也很，为我们学习语的时，总是
词，学语法，然后握语。基这维，自然语历了多年的发展后，到了巨大的挑。那
就是便语法则非常杂，然不能大多的语情况。结上，自然语的准
度人类，不有真的用。后，有一学开始蹊径，基统的路进探。
语是根据人类通自然发生，然后有总结出来的语法呢？基这想，研究人语法
则，开始创基统的型。他们用了大量的真据，分个词和后的词出现的统
，用贝法以科过，创了新的自然语型。这一，语准率有了巨大
的，进达到可以用的要。今天，我们用歌翻译、苹的Siri语服的时，后都有
基统的型的功。
还有很多的真界的事情都是这的，路上的交通是、银的时、球的结

，都是以一概率的形式出现的。了贝法，也是了真界的一有效径。中也
了很多的真例来告诉我们，贝法和真界的。
外，在我们在历的大据时，为据分法的一个巨大分支，基贝的器学习

法也在广泛地用，并产生很多。贝法、贝念，广泛地应用
分类和。对海量据的分类问题，例，件的选和过滤，基贝法的法取得
了非常好的效，并在很多司中在用，帮助我们件的扰。
更能可的是，用对的Python语，对涉的例进了编。对有一
基础的人来说，通过，可以进一步贝法的应用，真握并可以利用这达到
一反三的效。
用的语，大量的例和故事，以的Python语，原燥的概率讲得生动

。在学习到的时，还了了的真以可以用的地。对有的工和
感兴的读，这是一自我的很好的图。
酷我   雷鸣①
①雷鸣，现酷我事、CEO，国家人聘专家，度创始七客一，度发动的

早期和术负责人一。北大学科学硕学位和福大学学 MBA学位，北
大学学生会和福大学中国学生学合会。
 
前言
学习之道
这以 Think 其他籍的一个是：只要得编，你就能用这个能去学习其他的内
。
大多贝统的用学符并以学概念的形式示学想，微积分。用
了Python 不是学，散近不是续学。结就是原要积分的地变成了和，概率分
的大多操变成了的环。
我为这的是的，至少对有编的人们来说是这的。选择时也非常

用，为我们可以选取最合的型不用担心常分太多。
外，这也了一个型到真问题的平滑发展路线， 3章就是一个好示例。由一个

骰子的例子开始，那是基概率的一个题；接着到了一个我 Mosteller《50个挑的统学
题》（Fifty Challenging Problems in Probability）一中用的问题；最后是德军克问题，这个
界大中成功的贝法应用案例。
建模和似
中多章的灵感都是由真界里的问题激发的，以涉了一，在应用贝
法（其他的分法），我们必须决真界中的部分可以进型，细可
以抽象。
例， 7章中那个冰球伍的例子，我入球得分为一个松过，这示着在

的时段入球会都是的，这并不符合情况，就大多目的来说可能就了。
12章中，问题是对SAT得分进（SAT是用美大学的入学准试）。我以一个有

SAT试题度的型开始，其 SAT的试题中既了对，也了对较的试
题。后出了个反这一目的的型，结显出个型在最效上没有大的差。
我为在决问题的过中，过为其中一部分是重要的，为这会醒我们误

差（也就是中和带来的误差）。
中的很多法都基散分，这让一人担心误差，对真界的问题，误差

来都小误差。
，散法总能允许较好的选择，我宁愿要一个近的良好的型也不要一个却糕

的型。
一个度看，续法常在能上有优势，能以常时杂度的法线平

时杂度的法。
总的来说，我荐这步的一个通用流下。
1．研究问题时，以一个型开始，并以清晰、好、证无误的现。集中
在好的决不是优上。
2．一型有效，找到最大的误来。这可能要散近过中的量，

洛法中的，型细。
3．对你的应用能就了，则没必要优。要做，有个向可以：

你的以寻找优，例，你缓了的结，你也许能免重冗余的；
可以去发现找到捷径的分法。
这一流的好是一、步较快，以你能在入大量研究多个可的型。
一个好是在三步，你可以一个大体的可参现开始进归试。也就是，查优

后的是得到了的结，至少是近的结。
指
中的很多例子用了在 thinkbayes.py 中的类和，可以
http://thinkbayes.com/thinkbayes.py下载这个。
大多章了可以 http://thinkbayes.com下载的，其中有一依也要下载，我

你这件部入一个目，这就可以此用无变更Python的库件路
径。
你可以在要时下载这，一 http://thinkbayes.com/thinkbayes_code.zip下载，这个

件也了用的据件，压时，创为thinkbayes_code的中有的
目。
外，是 Git 用户，你可以通过 fork 和 clone 来一得这个仓库：

https://github.com/AllenDowney/ThinkBayes。
我用到的一是 thinkplot.py ，对 pyplot 中一进了封，要用要好

matplotlib，还没有，查你的软件管器看看是在，则你可以 http://matplotlib.org得到
下载指南。
最后，中一用了NumPy和SciPy，可以 http://numpy.org和http://scipy.org  得。
有的 Python 会到中的没有符合 PEP  8 这一最通用的 Python 编指南

（http://www.python.org/dev/peps/pep-0008/）。
切地说，PEP 8 用带有词下线的小写 like_this，在中和现的里，和

法以大写开并用隔式的大小写，LikeThis。
没有 PEP 8 的原是在我为中内准时在歌做访问学，以就了歌的

编，只在少地沿袭了PEP 8，一用上了歌风格我就上了，现在要改太。
，在题风格上，在“Bayes’s theorem”中，s 在后，在风格指南中倾向这用
在其他指南中不是。我没有的好，不得不选择其一，以就是你们现在看到的这个。
最后一个上的脚是：穿，我用PMF和CDF 示概率密度积分这学

概念， Pmf和Cdf是指我的Python对象。
预备
还有个出色的能在Python中进贝统的， pymc和OpenBUGS，由读要有
多的景能开始用这，此中我没有用们，我想读的条件最
小。你了 Python和一点点概率，就可以开始读。
1章概率和贝，没有。 2章了Pmf，一望是用来示概率密度

（PMF）的Python字对象。然后 3章我了Suite，一个Pmf对象，也是一个能进贝更新的
架，万事了。
好了，后的章中，我用了（态）分，和松分，beta分分型的概率

分，在 15章，我了不太常的狄利克雷分，不过接着也进了。你不悉这类分，
可以维基科了们。也可以读的一指南《统维》（Think Stats），其他入门的统
学籍（不过，怕大多类籍都会取对没有太大帮助的学法来）。
中用的惯写
中用了下的印刷例。
体（Italic）
示新术语，URL，件地址，件和件扩展。
宽（Constant width）
用，也那示元的段，例，变量和，据库，据类型，环

境变量，和键字。
宽粗体（Constant width bold）
命其他由用户入的字。
宽体（Constant width italic）
应由用户入由上下决的。
这个图示这是一个示、一般的记。
这个图示这是醒示。
我们的联方式
你想就发有问，敬请出社。
美国：
O’Reilly Media Inc.
1005 Gravenstein Highway North
Sebastopol， CA 95472
中国：
北西西直门南大 2 成铭大 C 807室（100035）
奥利术咨询（北）有司
我们还为创了一个，其中含了勘误、示例和其他额外的息。你可以通过地址访问

：http://oreil.ly/think-bayes。
的术问题，请发件到：bookquestions@oreilly.com。
迎我们的站（http://www.oreilly.com），查看更多我们的籍、、会和最新动态

息。
我们的其他式下。
Facebook：http://facebook.com/oreilly
Twitter：http://twitter.com/oreillymedia
YouTube：http://www.youtube.com/oreillymedia
列
你发现有要更的地其他，请发子件至downey@allendowney.com。一
根据你的反进了修，我会你入（除了要不的情况）。
含误的段部分，会让我更找到们。只和也可以，还是不太找

到误。这里先！

首先，我要感大 · 麦凯（ David  MacKay ）的优秀《息、和学习法》

（Information Theory, Inference, and Learning Algorithms），我这里一了贝法。
他允许我用他中的个问题来为例子。
这也得我和圣恩· 哈的互合，2012的天我在欧学审了他的贝
。
在参波顿Python用户项目时，我在时成了的部分内，以我也要感他们以
他们的。
纳 ·爱德华交了一个写误。
· 发现了一个记误。
奥利维出了个有的。
尤里· 西克发现了个误。
克里托 ·欧交了一个更和的清。
伯 · 库发现了一个误的小写i。
麦克 ·黑在 1章一个清章。
库 · 勒指出“ 中有的取出饼干”并不是一个真的场景。
姆·波德和 A．吉纳指出，在案例中的量有问题。
兰姆· 发现了一个写误，还了清章。
2013 天在我的《贝统》上，学生们出了许多有的修和，他们是：凯·奥
汀，克 ·巴，里· 德，瑞 ·铂，凯 ·门多，阿 · 耶， ·克普，内 · ，
凯 ·麦克康诺亥，历克·雷德福，伦 ·里， · 普。
格雷 · 和 ·艾帮我清了“ 的格”这个问题的一讨。
库 ·奥格伦指出问题的原有是有含煳的。
O’Reilly Media的敏和在对的过中也发现了许多可改进的地。
 
第1   贝斯定理
1.1 
有贝统的法都基贝，有条件概率的学习基础，到这一点很自然。此
我们会概率、条件概率开始，然后到贝，最后讨贝统的内。
概率示为0和1 的字（ 0和1），含是一事件为的可度，1 示“事件

为真”的情形发生，为成真； 0 则示“事件为真”这一情形为。
其他中示的度。例，0.5通常也会写成50%，着一个结发生和不发生有

可能。例，在一个币事件中，人像（）朝上的概率就非常接近50%。
条件概率是带有（条件）景约束下的概率问题。例，我想了一下年自己心脏发

的可能。根据疾控中心的据，年大约有 78.5 万美国人罹患心脏
（http://www.cdc.gov//heartdisease/fact.html）。
美国约有3.11亿人，挑选一个美国人，那么其在年心脏发的概率大约是0.3%。
就体个例，“我”可不是那个选中的美国人。流学家们了多心脏

发的风，根据这我的风则有可能平均。
人男，45 岁，有界固醇，这了我发的可能；然，压、不抽烟这

则降了可能。
上这条件入在线器http://hp2010.nhlbihin.net/atpiii/calculator.asp，我发现自己年心脏

发的风约为0.2%，国平均平。这个就是一个条件概率，为是基一的，
这构成了我患心脏的“条件”。
通常条件概率的记是p(A|B)，示在给 B条件下A事件发生的概率。在这个例子中，A 示我年

罹患心脏带的概率， B 示了上的条件。
1.2  联
合概率：是指个事件时发生的概率。p（A和B）是A和B事件的发生都为真的概率。
你了骰例子和的景，我们开始学习下的式：
p(A和B)= p(A)p(B)    醒：达式并非总是成。
例，我个币，A 示一枚币朝上，B 示枚币朝上，那么p(A)=

p(B) = 0.5，的p(A和B) = p(A)p(B) = 0.25。
是上式在A和B都是独事件的情况下成。： A事件的结并不改变B事件

发生的概率。更式示为，p(B|A)= p(B)。
一个事件并不独的例子。  A  示今天下雨的事件，B  示天会下雨的事件。

我道今天下雨，则天还有可能下雨（译：独一天会下雨的概率较），
以p(B|A)＞p(B)。
通常下，合概率为
p(A and B) = p(A) p(B|A)
对 A、B事件，一天下雨的会是0.5，续天就不会是0.25，是可能更一点。
1.3  曲奇
我们开始讨到贝，我还想通过一个称为“ 饼问题”的例子来。有
饼， 1 含30个香草饼和10个克饼， 2有上饼干 20个。
现在想你在不看的情况下地挑一个一饼，得到了一香草饼。我们的问题是：

1取到香草饼的概率是多少？
这就是一个条件概率问题；我们希望得到概率p( 1|香草)，怎进并非显。问题

成在 1中香草饼的概率则得多。
p(香草| 1)= 3/4
不的是，p(A|B)并不和p(B|A) ，有法一个出一个：贝。
1.4  贝斯定理
现在，我们准好进贝导要的有条件了。首先，我们到，合概率是积可交
（法交）的，：
p(A and B) = p(B and A)
对 A，B 示的事件都成。
然后，我们写出一个合概率的达式：
p(A and B) = p(A)p(B|A)
由我们并没有 A和B的含，可以对A、B进互操。
交们的位：
p(B and A) = p(B)p(A|B)
这达式接起来，我们得到下的达式：
p(B)p(A|B)= p(A)p(B|A)
这着我们有式合概率， p(A)，以p(B|A)；一向， p(B)，以

p(A|B)。法是的。
最后，上式除以p(B)，得到：
这是贝！看起来不起眼，不过会显示出人吃惊的强大。
例，我们可以用来决饼问题。
B1 示饼 1的概率，V 示饼是香草饼的概率。
带入贝我们得到：
式就是我们希望得到的，一香草饼来自 1的概率。
式的右示：

p(B1)：这是我们略得到饼这个条件时（条件下）选中 1的概率。为选择的过是

的，我们可以 p(B1)=1/2。
p(V|B1)：这是 1得到一个香草饼的概率＝3/4。
p(V)：里得到一个香草饼的概率。为到选择的会均，个的饼
量都是40，得到饼的会是的。个中香草和克饼总是50和 30，此p(V)
＝5/8。
们在一起，我们得到：
结是3/5。以，“得到一香草饼”是支 “来自 1”的证据，为香草饼来自 1的

可能更大。
这个例子示了一个应用贝的案例：了一个 p(B|A) 得到p(A|B)的略。
这略在决类 “ 饼问题”的情况下是有用的，贝式的右要的情
况下。
1.5  历时
还有外一贝的路：给我们的是一根据据集D的内变更新概率
H的法。
这对贝的称为“历时 ”。
“历时” 着事情着时发生；在例，是的概率着看到的新据变。
在 H和D的情况下，贝的达式可以改写成：
在这里，项下：

p(H)称为先验，在得到新据一的概率。

p(H |D)称为后验，在看到新据后，我们要的的概率。
p(D|H)是下得到这一据的概率，称为似然。
p(D)是在下得到这一据的概率，称为标准。
有情况，我们可以基现有景息进。在饼问题中，我们就选中 1 2
的概率为均。
在其他情况下，先概率是的；对一先概率，派的人可能会有不，许由

他们用不的景息做出断，为他们对的条件做出了不的读。
然度是贝中最的部分，在饼问题中饼来自来自个，则我们就那个

中香草饼的概率。
准常量则有手，为在有的条件下这一据出现的概率，为的是最

一般的情况，以不这个常量在体应用场合的现。
最常的，我们可以指一下的集来。
的：集合中，至多一个为真。
备的：集合中，至少一个必为真，集合含了有的。
我用suite这个词来示上的集。
在饼问题中，有个：饼干来自 1 2，们就是互的和的。
在例中，我们可以用概率式 p(D)，发生一事件有互不的个可能，可以像下

这概率：
p(D) = p(B1)p(D|B1) + p(B2)p(D|B2)
入饼干问题中的，得到：
p(D) = (1/2)(3/4) + (1/2)(1/2) = 5/8
我们早心得到的结也是一的。
1.6  M&M豆
M&M 是有颜色的克。 M&M 的Mars 司会不时变更不颜色克
的合例。
1995年，他们出了色的M&M 。在此一普通的M＆M 中，颜色的搭为：30% 色，20%

黄色，20%红色，10% 色，10% 色，10%黄色。这后变成了：24% 色，20% 色，16% 色，
14%黄色，13%红色，13% 色。
我的一个朋有 M&M ，他告诉我一是1994年，一是1996年。

他没告诉我体个子是一年的，他个子里取了一个M&M 给我。一个是黄色，一
个是色的。那么黄色来自1994年的子的概率是多少？
这个问题类饼问题，只是变了我抽取的式 （还是）。这个问题也给了我一个

会示法：也就在在上就可以决类这的问题（译：为后续章的型
法垫）。在下一章中，我们以法这问题。
一步是枚有。取出黄色M＆M 的子称为 1，一个称为 2，以是：

A： 1是1994年的， 2是1996年的。
B： 1是1996年的， 2是1994年的。
接着我们一个格，示个，示贝中的一项：
 
先验 p(H ) 似然 p(D|H ) p(H) p(D|H ) 后验 p(H|D )
A 1/2 (20) (20) 200 20/27
B 1/2 (10) (14) 70 7/27
一示先。基问题的，选择p(A)=p(B)= 1/2是合的。
示然度，了问题的景息。例来说， A为真，黄色M＆M是来自1994年的

概率20%，色来自1996 的概率为20%。为选择是独的，我们其以得到合概率。
三由得到。此的总和270是归一常（译：参概率式）。为了得到最后一

的后概率，我们三的归一后得到四的。
就是这。吧？
还有，你可能会一个细扰。我 p(D|H)写成了分的形式不是概率形式，这着没

有除以子10000。是我们其除以归一常时就消了，此这不结。
的是互和穷的，你可以然度以子，便，一个子应用到整
上。
1.7  Monty Hall
大（Monty Hall problem）题可能是历上最有的概率问题。问题看，
案此有悖常以很多人不能接受，很多聪人都堪自己搞了反据，是开的。
大是游戏目“来做个交 ”（Let’s Make a Deal）的场。大题也是这一目的常

游戏一。你参目，则是这的：

向你示三个闭的大门，然后告诉你个门后都有一个：一个是一，外个是

像花生酱和指甲这不的。。
游戏的目的是要猜个门后有。你猜对了就可以汽。
你先挑选一扇门，我们称为门A，其他个称为门B和门C。
在开你选中的门，为了悬念，会先开B C中一个没有的门来悬念（汽
上就是在A门后，那么开门B 门C都是的，以他可以选择一个）。
然后给你一个选择。最的选择还是到剩下的未开的门上。
问题是，你应 “ ”还是“ ”？有没有？
大多人都有强烈的直，为这没有。剩下个门没有开，在门A 后的会是50%。
是，这是的。事上，你选择门A，中概率只有1/3；到外一个门，你的

会是2/3。
用贝，我们可以这个问题分成个部分，也许这可以说服自，“ ”的案

上的的是对的。
首先，我们应对据进细描。在例中为D 个部分：开了门B，没有在

后。
接下来，我们了三个：A，B和C，示在门A，门B，门C后。，用格

法：
 
A 1/3 1/2 1/6 1/3
B 1/3 0 0 0
C 1/3 1 1/3 2/3
填写先很，为我们告是的，这可能在门后。
然度要一，在充分合的后，我们的然度下：

A：汽上是在门A后，可以地开门B 门C。以他选择门B的概率为

1/2。为上是在门A后，也就是说不在门B后的概率是1。
B：汽上是在门B后，不得不开门C，这他开门B的概率就是0（译 :
也就是这个的然度为0，不可能发生）。
最后 C：是在门C后，开门B的概率为1，发现不在那儿的概率为1（译：
为在选手选了A门这个情况下，可悬念开门的选择只有B和C， C有，
不会选，此会开B门的概率为1，也就是在这个下，据D的然度为1）。
现在我们成有度的部分了，剩下无非就是术。三的总和为1/2，除以后得到p(A|D) =

1/3，p(C|D) = 2/3，以你最好是个选择。
问题有许多变形。贝法的优势一就是可以广到这变形问题的上。
例，想总是可能选择门B，只有在不得的时选门C（在门B后）。在这

情况下，修后的下：
 
A 1/3 1 1/3 1/2
B 1/3 0 0 0
C 1/3 1 1/3 1/2
唯一的变是p(D|A)。在门A后，可以选择开B C。在这个变形问题里，他总是选
择B，此p(D|A) = 1。
此，对A和C，然度是的，后也是的：p(A|D) = p(C|D) = 1/2，在这情况下，选

择B 门显示不了位的息，以无选手选择不变还是改变都无要。
反过来的情况下，开门C，我们就道p(B|D) = 1（译：为总是优先选择门B，

门D是他开了门C，此在在门B后的下，他必然会开门C，概率为1， p(B|D)=1）。
章中我了问题，为我得这里有的，也为贝问题的杂更控

。这并不是一个型的贝应用，以你得人，没什么好担心的！
1.8  讨
对涉条件概率的很多问题，贝了一个分的略。 p(A|B) 以，
以用量，可以查贝中的其他项是更， p(B|A)，p(A)和p(B)。
大问题让你得有，我在一篇章“All your Bayes are belong to us”中收集了很多类问

题，你可以去击链接进读 http://allendowney.blogspot.com/2011/10/all-your-bayes-are-belong-to-
us.html。
 
第2   统
2.1  分布
在统上，分布是一其对应的概率。
例，动一个骰子，可能的是字1至6，个的概率是1/6。
一个例子，你应有兴了在日常的语用中个词出现的。你可以创一个含

个字出现的的分。
为了示Python中的分，可以用一个字射个和的概率。我编写了一个为Pmf 的类，

利用Python字现了上功能，了一有用的法。为了对应这分的学
示法，我其命为Pmf。
Pmf 的在一个我为成的 Python thinkbayes.py 中。可以

http://thinkbayes.com/thinkbayes.py下载。了更多息参的“ 指南”。
要用Pmf，可下导入：
from thinkbayes.py import Pmf
下的创一个Pmf来示骰子的结分：
pmf = Pmf()
for x in [1,2,3,4,5,6] ：
，
pmf.Set(x 1/6.0)
Pmf创一个的没有的pmf。Set 法个的概率为1/6。
这里是一个例子，个词在一个词中出现的：

pmf = Pmf()
for word in word_list:
pmf.Incr(word, 1)
Incr为个词的应“概率” 1。一个词还没有出现在Pmf中，那么就这个词进去。
我 “概率” 上是为在这个例子中概率还没有归一，也就是说们的和不是1，此不

是真的概率。在例中词概率成。以成了有的，就可以通过除以的总
来得到概率。
Pmf 了一 Normalize 法来现上功能：

pmf.Normalize()
一有一个Pmf对象，你可以像下这得到一个的概率：
print pmf.Prob('the')
这会印出词“the”在词中出现的率。
Pmf 用Python字来储其概率，以Pmf中的可以是可哈希的类型。概率可以是

类型，通常是浮点（float类型）。
2.2  曲奇
在贝的语境下，可以很自然地用一个Pmf 射个和对应的概率。
在饼问题里，是B1和B2。在Python中可以用字符来示们：
pmf = Pmf()
，
pmf.Set('Bowl1' 0.5)
，
pmf.Set('Bowl2' 0.5)
这一分含了对个的先概率，称为先验分布。
要更新基新据（到一香草饼）后的分，我们先分以对应的然度。
1 到香草饼的可能是3/4， 2的可能是1/2。

pmf.Mult('Bowl1' ，0.75)
pmf.Mult('Bowl2' ，0.5)
你愿，Mult 给的概率以的然度。
更新后的分还没有归一，由这互构成了集合（着含了有可能

），我们可以进重新一下：
pmf.Normalize()
其结是一个含个的后概率分，这就是说的后验分布。
最后，我们可以得到 1的后概率下：
print pmf.Prob('Bowl 1')
案是0.6。你可以 http://thinkbayes.com/cookie.py下载这个例子。了更多息，请参

的“ 指南”。
2.3  贝斯
在续讨其他的问题，我想在上一的基础上重写以其更通用。首先我一个类来封
此的  ：
class Cookie(Pmf) ：
def __init__(self,hypos) ：
Pmf.__init__(self)
for hypo in hypos ：
self.Set(hypo,1)
self.Normalize()
Cookie对象是一个射到概率的Pmf对象。__init__ 法给个的先概率。上
一中就有：
，
hypos= ['Bowl1' 'Bowl2']
pmf =Cookie(hypos)
Cookie类了Update 法，以data为参并修应的概率：

def Update (self,data) ：
for hypo in self.Values() ：
like= self.Likelihood(data,hypo)
，
self.Mult(hypo like)
self.Normalize()
Update 历suite中的个，并其概率以据在一下的然度，然度由Likelihood

：
mixes = {
'Bowl 1':dict(vanilla=0.75, chocolate=0.25),
'Bowl 2':dict(vanilla=0.5, chocolate=0.5),
}
def Likelihood(self, data, hypo):
mix = self.mixes[hypo]
like = mix[data]
return like
Likelihood 用mixes，用Python的字结构来射和在中饼的合例。
下这进更新：
pmf.Update('vanilla')
然后我们就可以印出个的后概率：
for hypo , prob in pmf.Items() ：
，
print hypo prob
其结是
Bowl 1 0.6
Bowl 2 0.4
结和我们得到的结一。起我们在章看到的，这段更杂。
一个优点是，可以广到一个取不只一个饼（带）的情形：

dateset= ['vanilla', 'chocolate', 'vanilla']
：
for data in dataset
pmf.Update(data)
一优点是，了决许多类问题的架。在下一中，我们决大问题的，然

后看看架的部分。
中的可以 http://thinkbayes.com/cookie2.py 得。了更多息，请参的“ 指
南”。
2.4  Monty Hall
为了决大（Monty Hall）问题，我一个新的类：
class monty(Pmf) ：
，
def __init__(self hypos) ：
Pmf.__init__(self)
self.Set(hypo 1) ，
self.Normalize()
到目为，大和饼是一的。创 Pmf的也一，除了的称：

hypos='ABC'
pmf =Monty(hypos)
对Update的调用是的：
data='B'
pmf.Update(data)
Update的现也是一的：
，
def Update (self data) ：
for hypo in self.Values () ：
like = self.Likelihood(data hypo) ，
self.Mult(hypo,like)
self.Normalize()
唯一要额外工的是Likelihood：
def Likelihood (self,data,hypo) ：
if hypo==data ：
return 0
elif hypo=='A' ：
return 0.5
：
else
return 1
最后，印出的结是一的：
，
for hypo prob in pmf.Items() ：
print hypo,prob
案是
A 0.333333333333
B 0.0
Ç 0.666666666667
在例中，Likelihood的编写有一点点杂，贝架的Update很。中的可以
http://thinkbayes.com/monty.py 得。了更多息，请参的“ 指南”。
2.5 
现在，我们看看架的元是的，这我们就可以们封进一个Suite对象，一个
__init__，Update和Print 法的pmf对象：
class Suite(Pmf)
“代表一套假设及其概率。”
def __init__(self，hypo=tuple())：
“初始化分配。”
def Update(self，data)：
“更新基于该数据的每个假设。”
def Print (self)：
“打印出假设和它们的概率。”
Suite的现在thinkbayes.py中。要用Suite对象，你应编写一个承自Suite的类，并自

Likelihood 法的现。例，这是一个以大问题改写的用Suite的案 ：
from thinkbayes import Suite
class Monty(Suite) ：
def Likelihood (self,data,hypo) ：
if hypo ==data ：
return 0
elif hypo=='A' ：
return 0.5
：
else
return 1
下是一个用这个类的：
suite=Monty('ABC')
suite.Update('B')
suite.Print()
你可以 http://thinkbayes.com/monty2.py下载这个例子。更多息的“ 指南”。
2.6  M&M豆
我们可以用Suite 架来决M&M 的问题。除了编写Likelihood有点手，其他一切都很。
首先，要对1995年和后的颜色合情况进封：

mix94=dict(brown= 30 ，
yellow= 20 ，
red= 20 ，
green= 10 ，
orange= 10 ，
tan= 10)
mix96=dict(blue= 24 ，
green= 20 ，
orange= 16 ，
yellow= 14 ，
red= 13 ，
brown= 13)
然后，封：
，
hypoA =dict(bag1 = mix94 bag2 = mix96)
，
hypoB =dict(bag1 = mix96 bag2 = mix94)
hypoA 示 1是1994年， 2是1996年。hypoB是反的合。
接下来，的称来射其含：
，
hypotheses=dict(A=hypoA B=hypoB)
最后，开始编写Likelihood。在这情况下， hypo是一个A B的字符，据是一个指了子

年和颜色的元。
bag, color = data
mix = self.hypotheses[hypo][bag]
like = mix[color]
return like
下是创 suite对象并进更新的：
suite = M_and_M('AB')
suite.Update(('bag1', 'yellow'))
suite.Update(('bag2', 'green'))
suite.Print()
结下：
A 0.740740740741
B 0.259259259259
A的后概率大约是20/27，是我们得到的。
中的可以 http://thinkbayes.com/m_and_m.py 得。了更多息，请参的“ 指
南”。
2.7  讨
章了Suite类，封了贝 update 架。
Suite 是一个抽象类（abstract type），这着了 Suite 应有的接口，并不整的

现。Suite接口 Update和Likelihood 法，只了Update的现，没有Likelihood的现。
具类（concrerte type）是承自抽象父类的类，了缺法的现。例，Monty扩展自

Suite，以承了Update并现了Likelihood。
你悉式，你可能会到这其是式中法的一个例子。你可以

http://en.wikipedia.org/wiki/Template_method_pattern了这个式。
大多在以下章中的例子的式，对个问题我们一个扩展的Suite对象，承了

Update法，并了Likelihood。在少情况下，会重写Update 法，通常是为了能的缘故。
2.8  习
练习2-1。
在 11 的“贝架”里，我到了饼问题的法是的，是饼有充的取多个饼的
情况（有的情况）。
更可能的情况是，我们吃了取出的饼，那么然度就依的取饼为（饼少

了）。
修改章中的法以没有饼充的情况。示： Cookie 的例变量来示的状

态，并据此修改然度。你可能要一个Bowl对象。
 
第3  
3.1  子
我有一盒骰子，里有4 的骰子、6 的骰子、8 的骰子、12 的骰子和20 的骰子 1个。
玩过游戏《龙地下》，你然会白我的指。
我盒子中选一个骰子，转动得到了6 。那么一个骰子选中的概率是多少？
我通过一个三步略来决这个问题。
1．选择的示法。
2．选择据的示法。
3．编写然度。
在的例子中我用字符来示和据，骰子问题中我用字。
切地说我用整 4、6、8、12和20来示：
，，8，12，20 ])
suite=Dice([ 4 6
外， 1到20的整为据。有了这达式，编写然就很了：

class Dice(Suite):
if hypo < data:
return 0
else:
return 1.0/hypo
这里Likelihood的原是： hypo<data，着骰子大骰子的，显然这是一个不可能的

情形，以然度是0。
外的情形下，问题变成“ 到有的点，得到个点结的会是多少？”
案是1/hypo无据是什么。
下是用update（转动得到6）的语：
suite.Update (6)
后分的结下：
4 0.0
6 0.392156862745
8 0.294117647059
12 0.196078431373
20 0.117647058824
得到6后，骰子是4 的概率是0。最可能的选是6 骰，也有约12%的可能是20 骰。

我们多，得到6，8，7，7，5，4这一据的情况下呢？
，，，，，
for roll in [ 6 8 7 7 5 4 ] ：
suite.Update (roll)
结合据，可以去 6 骰的可能了（为有大 6的），8 骰看起来可能很大。
结下：
4 0.0
6 0.0
8 0.943248453672
12 0.0552061280613
20 0.0015454182665
现在有94%的可能我们转动了一个8 骰，时还有1%可能是一个20 骰。
骰子问题参了我在Sanjoy Mahajan的贝上看到的一个例子。
你可以 http://thinkbayes.com/dice.py下载。了更多息，请参的“ 指南”。
3.2  车头
我是在雷德里克·莫勒的《十个概率题的法》（多出社，1987）一中发现
问题的：
路上以1到N命。有一天你看到一个 60的，请路上有多少？
基这一察结，我们道路上有60个更多的。这个字到底是多少？
要应用贝进，我们可以这个问题分成步进：
1．在得到据，我们对N的是什么？
2．一个N的后，得到据（“ 志为60 的 ”）的然度？
一个问题的案就是问题的概率。个问题是然度。
在选择概率上，我们还没有太多的基息，我们可以一情况开始，进一步的

法。 N可以是 1到1000 概率的。
hypos= xrange (1 ，1001)
接着我们要的是一个然。先在一个有N个的，我们看到60 的概率

是多少？只有一个司（只有一个我们的司），看到一个有可
能，那么看到的的会为1/N。
然度下：
class Train(Suite) ：
，
def Likelihood(self data ，hypo) ：
if hypo<data ：
return 0
else：
return 1.0/hypo
看起来很悉，然在问题和骰子问题上是的。
Update  下：
suite=Train (hypos)
suite.Update (60)
为有太多的（1000）要印出，以我绘了图3-1 示的结。料中的是，N中60以

下的有都去了。
图3-1  问题的后分，基均分的先
非要猜的，最可能的是60。这不上很好的结，竟，想想你恰好看到最志

的会是多少呢（应不吧）？不过，想猜到的案的可能最大，你应猜
60。
不过，这还不是我们的目。一个可选的法是后概率的平均分：
def Mean(suite)：
total= 0
，：
for hypo prob in suite.Items ()
total + = hypo*prob
return total
print Mean(suite)
你可以用由Pmf 的非常类的法：
print suite.Mean ()
后的平均是333，以要是你想最大度地减少误，这也许是一个很好的猜结。
你一一地玩这个猜游戏，用后概率的平均来为会减少来看的均

差（参 http://en.wikipedia.org/wiki/Minimum_mean_square_error）。
你可以 http://thinkbayes.com/train.py下载这个例子。更多息参的“ 指南”。
3.3  样看先验？
为了进一步决问题，我们必须进一。
其中一是武断的。尤其我们选择了在1-1000 的均分的先概率。其并没有

的由选择1000 为上界均来为分征。
一个着1000个的路司不上，一个点的人可能会对这一问题做出更多
更少的猜。
此，我们可能想道是后概率分对这敏感。依一察的小量据，情况可能

真是此的（敏感）。
一下， 1到1000的均分的先概率，后概率的平均是333。上界为500，我们得到

的后平均为207，一个2000的上界后平均为552。
以结很（猜结对上界敏感）。有法续进分：

取更多的据。
更多的景息。
有了更多的据后，基不的先概率，后分收。
例，除了 60我们也看到 30和90。我们可以这更新分：

，，：
for data in[60 30 90]
suite.Update (data)
用这据时，后概率的均是
 

上限后验值

500 152

1000 164

2000 171
这差异就较小了。
3.4  他先验
没有更多的据，一个法是通过收集景料优先。
大型和小型司有可能的也许不合，大型司可能有1000台，小型司有

1台。
通过一努，我们很有可能发现在察域内司的清，可以访路专家来

收集这司一般的息。
是，没有入了路产业的一体情况，我们也可以做一猜。在大多领域，有大量

小型司，一中型司，一个到个非常大型的司。
事上，司的分往往，参伯 ·阿克在《科学》杂志上的报道
（http://www.sciencemag.org/content/293/5536/1818.full.pdf）。
这，少 10个的司有1000家，100个的司可能有100家，1000个

的司有10家，10000个的司可能有1家。
在学上，示司的量司成反，
其中PMF(x)是x的概率量，α是一个通常接近 1的参。
我们可以构一个服分的先下：
class Train (Dice) ：
，，
def__init__ (self hypos alpha = 1.0) ：
Pmf.__init__ (self)
，
self.Set (hypo hypo** (-alpha))
self.Normalize ()
下是生成概率的：
hypos=range(1,1001)
suite=Train(hypos)
说，上是的，对分的先概率，后概率对这一选择的敏感较小。
图3-2 示了基后基均后概率的较。

图3-2  为的后分，对均分
了分为景料后。我们可以消除大 700的N 了。
基这先概率，在察到 30、60和90时，后概率分是：

 

上限后验值

500 131

1000 133

2000 134
现在的差异小得多了（不上界的）。事上，一个大的上界，平均都收

134。
以基分的先概率是较现的，为基司的一般情况，并在中现得
更好。
你可以 http://thinkbayes.com/train3.py下载的例子。了更多息，请参的“ 指

南”。
3.5  置信区间
一出的后分，通过点对后分进总结通常是有用的。
对点，通常用平均、中位最大然。
对，我们通常给出个，得未量有90%的可能入这个（其他的

概率）。这了一个置信区间。
的一个法是在后概率分中其中的概率，并记对应概率5%和95%的

。也就是说， 5和 95 分位。
thinkbayes 了一个分位：
def Percentile(pmf, percentage):
p = percentage / 100.0
total = 0
for val, prob in pmf.Items():
total += prob
if total >= p:
return val
下是一个其应用：
interval = Percentile(suite, 5), Percentile(suite, 95)
print interval
在的示例（看到了三个，呈分的先概率的问题）中90% 为

（91,243）。此大的围其切的，（管平均收了）我们然不究竟有多少
在。
3.6  分布
在上一中，我们通过出分和Pmf的概率。我们要多个分位，更有
效法是用积分， Cdf。
由含有个分的的息，在这个上Cdf和Pmf是的，并可以时一个转到

一个。Cdf的优点是可以更有效地分位。
thinkbayes有一个示积分的Cdf类。Pmf 了一法生成应的Cdf：

cdf = suite.MakeCdf ()
Cdf 了一个为Percentile的

interval = cdf.Percentile(5), cdf.Percentile(95)
Pmf转为Cdf 要量len(pmf)的时。Cdf 和概率储在有里（list），

以查询个概率得到应的要“对时（log time）”：，时和的量的对成。查询
一个得对应的概率也是对时，以Cdf对很多来说都是有效的。
中的例子位 http://thinkbayes.com/train3.py。了更多息参的“ 指南”。
3.7  德军克
界大期，在伦敦的美国大部门用统分来德国生产的克和其他
①。
西军得了一记簿，记了货和修记，其中克的底盘和发动的。
这
记的分，为克类型分了以100为一个的，个内的都是
成的，并不是个内的字都用到了。此一来，在个100的内，德军克问题的
围就可以的问题来缩小了。
基这，美国和国的分们成了小自情报部门其他形式情报的结。在

后，记显示这结上更准。
他们也对、、进类的分，产生准用的情报。
德军克问题是个历上有的问题，也是一个很好的在现界应用统的例子。到目为

，的许多例子都是游戏的问题，我们上会开始开始决问题。我为是贝分
的优点，是在我们在用的法上，了一条基础到研究沿的捷径。
3.8  讨
贝中，有径选择先分。一人选择最能问题景料的先概率，在
这情况下，先为是“信 ”。问题是，人们可能会用不的景息（进不的）。
以基息的先往往显得。
一法是的“无信参考的先验”，其目的是为了让据来说，越没有约束越好。在情

况下，你可以选择含一期望的殊先，例，就量一个最小先。
“无息先 ” 点在是为们更为客。通常，我倾向用先息。为什么呢？首先，

贝分总是基型决的。选择先就是决一，不是唯一的部分，甚至可能不是最
的。此，无息先较为客，整个分然是的。
外，对大多中的问题，你很可能是在个（对）：也许有大量的据，也许没

有。你有大量的据，先的选择不是键；息先和无息先会得到的结。我
们会在下一章看到类的例子。
不过，像问题，你没有太多的参据，那么用的景息( 分 )就有

很大了。
德军克问题，必须基你的结做出生的决，你就应利用有的息，不

是在“要客 “的幻中不了体情况。
3.9  习
练习3-1。
为问题写一个然，我们必须要这个问题：“ 路上有N个，我们看到60

的概率是多少？”
案取决我们察到时，用的取过。
在章中，我通过指只有一个司（只有一个我们心）决了这个可的问题。
是有很多家用不编的司，看到司的的可能
。在这情况下，然是不的，为你更有可能看到一由大型司的。
为练习，现然的这变，并较结。
① 格， . 证法情报大 [J]. 《美国统协会》杂志，1947，卷42， 237 。

 
第4  
4.1 
在《息：和学习法》一中，大 ·麦凯出了这一个问题：
2000年1月4日，星期，《报》上载了一个统的：
以缘转动利时一欧元币250 后，得到的结是 140 反 110 。“这看起来很可

”，伦敦学的统讲巴里· 说，“ 币是均的，得到这个结的可能
7%。”
那么，这一结是对‘ 币心非均 ’ 了证据呢？
我们取以下个步这个问题。一是币朝上的概率。是据是

支了币心的。
你可以 http://thinkbayes.com/euro.py下载。了更多息，请参的“ 指南”。
以缘旋转一币时都有朝上的概率x。有由 x的取决币的一物，要是

重量的分。
币均，我们 x应接近50%，对一个不称的币，x应会大有差。我们可

以用贝和到的据来 x。
我们一个 101，其中Hx 是朝上的概率x%，其 0到100。首先以均概率开

始，其中Hx的概率对有的x是的。后我们其他先概率的情况。
likelihood 对： Hx为真，向上的概率为x/100 反向上的概率为1−x / 100。
class Euro(Suite) ：
，
def likelihood (self data hypo) ，：
x =hypo
if data== 'H' ：
return x/100.0
else ：
return 1 - x/100.0
下是现suite和update的：
suite=Euro (xrange (0 101))，
dataset = 'H' * 140 + 'T' * 110
for data in dataset ：
suite.Update (data)
其结图4-1 示。
图4-1  为均分的下，欧元问题的后分
4.2  后验的述
总结一下，有式来概后分的征。一选择是找到后分的最大然。
thinkbayes 了一个现：
：
def MaximumLikelihood(pmf)
返回具有最高概率的值。
“ ”
，，
prob val = max((prob val)for val,prob in pmf.Items ())
return val
在这情况下，结是56，这也是察得到的分 140/250= 56%。此这地了察到的

分就是最大然。
我们也可以平均和中位来概后概率：

print 'Mean', suite.Mean()
print 'Median', thinkbayes.Percentile(suite, 50)
均为55.95，中位为56。
最后，我们可以出一个：
print 'CI', thinkbayes.CredibleInterval(Suite, 90)
其结是（51,61）。
现在，到原来的问题，我们想道币是是均的。察到的后可不 50%，这就

了币的是不均的。
切地说，这不是开始的那个问题。Mckay 出的是“这据是恰恰为—— 币心非均

——给出了证据？要这个问题，我们要更地 “ 据为一说了证据”这的含。不
过那是下一章的题了。
那么，在续探讨，我想先讲讲导扰的原。既然我们要道币是均，很自然是得

x为50%的概率：
print suite.Prob (50)
结是0.021，说不了什么。这得对 101的显得毫无。我们可围

分成更多更少的细小，这，对给的概率则会更大更小。
4.3  先验的没
章开始，我们先是均的，这可能不是一个好选择。币是心的，可以 x会大
幅 50%，心到得x是10% 90%就太不可能了。
更合的是选择在 50%附近有较概率，在那端上（指 10% 90%）概率较的一个先。
为一个例子，我构了一个三形状的先概率，图4-2 示。

图4-2  欧元问题的均型和三型分先
下的构成了三状的先：
：
def TrianglePrior ()
suite = Euro()
，
for x in range(0 51) ：
，
suite.Set (x x)
，
for x in range(51 101) ：
，
suite.Set (x 100 - x)
suite.Normalize ()
图4-2显示了结（和均先概率较）。以的据集更新先概率得到图4-3 示的后分

。上不的先，后分也非常。中位和是的，均差小 0.5%。
图4-3  欧元问题的后分
这就是先验没的一个例子：有的据，在先分上有不点，人们也会得到

收的后概率。
4.4  优
到目为，我展示的都是为了便，效率不。通常，我先开发证无误的，
然后查对达到目的是快。是，就没有进优的必要。
在这个例子中，我们时，有法可以速。
一个可能法是减少归一 suite的。在原始中一真（转动币）都调用 Update 一

。
dataset = 'H' * heads + 'T' * tails
for data in dataset:
suite.Update(data)
下是Update 法：
def Update(self, data):
for hypo in self.Values():
like = self.Likelihood(data, hypo)
self.Mult(hypo, like)
return self.Normalize()
Update都会集，然后调用Normalize，集。我们可以通过在Normalize

先update来省一时。
suite 了一个为UpdateSet的法就是这么现的，下：

def UpdateSet(self, dataset):
下是我们怎么调用：
dataset = 'H' * heads + 'T' * tails
suite.UpdateSet(dataset)
这优了速度，时是据量成的。我们可以通过改写 Likelihood 整个据集，

不是一真一。
在最的中，据编写为反的字符：
x = hypo / 100.0
if data == 'H':
return x
else:
return 1-x
有一法，我们可以据集有个整的元来进编：和反的量。
在这情况下的Likelihood 下：
x = hypo / 100.0
heads, tails = data
like = x**heads * (1-x)**tails
return like
然后我们就可以像下这调用Update：
heads, tails = 140, 110
suite.Update((heads, tails))
由我们用指取了重的法，对不量的真（转动币），这个消耗

的时是一的。
4.5  Beta分布
还有一个进一步的优让法更快。
到目为，我们用了Pmf对象来示一散的x 。现在，我们用一个续分，

切地说是beta分（ http://en.wikipedia.org/wiki/Beta_distribution）。
beta分在 0到1（）的上，以是一个描例和概率的自然选择。稍，还
要更好。
你像上一，用一个项式然来现贝更新，上beta分是一个共先验。那就

着 x的先概率的分是一个beta分，那其后概率也是一个beta分。急，这还要好。
beta分的形状取决个参，写为α和β， alpha和beta。先概率是带有参 alpha和beta

的beta分，我们看到h 和t 反的据，后概率就是参为alpha+h和beta+t的beta分。
说，通过个法现了Update 法。
以这很了不起，只不过用先概率的分的是一个beta分的情形。的是，在最

度上，对许多的先分 beta分都可以进良好的近，时也可以美匹均。参
alpha=1和beta=1的beta分就是 0到1的均分。
让我们看看利用这一切优势。thinkbayes.py 了一个类来示beta分：

class Beta(object):
def __init__(self, alpha=1, beta=1):
self.alpha = alpha
self.beta = beta
默情况下的__init__ 用均分。Update进贝更新：

heads, tails = data
self.alpha += heads
self.beta += tails
data是一对和反量的整。
此，我们有一法来决欧元问题：
beta = thinkbayes.Beta()
beta.Update((140, 110))
print beta.Mean()
beta 了Mean， alpha和beta的一个：

def Mean(self):
return float(self.alpha) / (self.alpha + self.beta)
对欧元问题后的平均为56%，这和我们用Pmf得到的结是。
beta还了EvalPdf， beta分的概率密度（PDF）：

def EvalPdf(self, x):
return x**(self.alpha-1) * (1-x)**(self.beta-1)
最后，beta MakePmf 法，用EvalPdf生成beta分的散近。
4.6  讨
在章中，我们用个不的先一个问题，发现在较大据集的条件下，先的
掩了。个人开始对先有不，他们通常会发现，着得到更多的据，后分收
了。在一点上，分的差异小到没有。
这情况出现时，会减一我在一章客的担。甚至对许多现界的问题，显

不的先念最都会据。
事并非总是此。首先，请记住，有的贝分是基型决的。你和我没有选择

的型，我们可能对据进不的读（）。此，用的据，我们也会得到不
的然度，后概率就可能不收。
外，请，在贝 Update中，我们以一个然度以个先概率，以 p(H)为0，p(H|D)

也为0，不 D是什么。在欧元问题上，你 x小 50%，指其他有的概率为0，那么
多的的据都无法说服你。
这看法是克尔则的基础，是：应免一个的先概率为0，怕的

在这可能（ http://en.wikipedia.org/wiki/Cromwell’s_rule）。
克伦威法则以奥利 ·克伦威命，他写下了“我你，看在基的上，为这可能是你是误

会了”。对贝法，这也是个好（有点过度重了）。
4.7  习
练习4-1。
不是直接察币，是用一个不总是的工来量结。体地说，有一个概率

y 报告为反，报告反为。
编写一个类来这一给了结的币的量和 y，后分的围是怎依 y的？
练习4-2。
这项练习受到Reddit上一个帖子的发，一位 dominosci的“redditor”在Reddit的统小上出了

这个问题。http://reddit.com/r/statistics。
Reddit是一个在线，有许多称为的subreddits的兴小。用户称为redditors，redditor会贴上

上内和其他的链接。其他redditors对此链接进决，对量的链接给 “upvote”，不好
是不的链接则给 “downvote”。
Dominosci 出了这一个问题，就是redditor 中一人一人更可，是Reddit并没有

到这个。
我们的挑是一个统， redditor做了票，可以根据redditor的可度并更新链接的

量，对 redditor的可度也会依据这一链接的量更新。
一法是链接的量以得upvote的概率，redditor的可度以对条目给出 upvote

的概率。
编写一个类来 redditors和链接，只要redditor 了票，update 对这个对象进更新。

 
第5   和加
5.1 
示概率的法一是用0和1 的字，不过这并非唯一的法。你玩过球博，可
能到概率的一示，称为（odds）。
你应说过例 “ 率是三一”这的，也许不道含。率是一个事件可能发生的概率

不发生的概率的。
以，为我的球有75％的会，我会说他们的率是三一，为的会三倍

的会。
你可以率写成十进形式，最常的是其写成整。此“三一” 写成3:1。
概率较，通常称为（odds against），不是（odds in favor）。例，得我的

只有10% 的会，我会说赔率是9:1。
概率和率是息的不示形式。给一个概率，你可以这率：

def Odds(p):
return p / (1-p)
给（支）率的十进形式，可以这其转为概率：

def Probability(o):
return o / (o+1)
你以分子和分示率，可以像下这进概率转：

def Probability2(yes, no):
return yes / (yes + no)
带着率维工时，我发现有助人们的点。 20％的人为我的，那么其余

80％的人然就反，赞成赔率是20:80 1:4 。
我的的反向赔率是5:1，那么就是分的人为会，以的概率是1/6。
5.2  贝斯定理的形式
在 1章我写出了贝的概率形式：
我们有A和B 个，我们可以写出后概率的下：

请式中出现的准常 p (D) 。
A和B是互穷的，就着p(B) = 1−p (A)，此我们可以先的率、后的率重写

为率。支 A的可能写为o(A)，得到：
在字形式上，这说了后赔率是先率以然。这是贝的率形式。
这形式合在上脑海中进贝。
例，我们到饼问题：
有饼。 1 含30个香草饼和10个克饼。 2 含饼 20个。
现在你选择了一个，然后选择一个饼。是香草饼，来自 1的概

率是多少？
先概率是50％，以率是1:1，就是1。然度是， 3/2。以后概率就是3:2，对应概

率3/5。
5.3  的血
下是来自麦凯的《息、和学习》的一个问题。
在一个犯罪现场，有人遗了迹。一犯奥利过试发现是“O”型。发现的痕迹

中型分是“O”型（一地人口的常型，有60％的概率）和“AB”型（一的型，概率
1％）。
那么这据[现场发现的痕迹]是支奥利是犯一[在现场遗下液证据的人]？
要这个问题，我们要想想“ 据支了 ”这到底着什么。直上，一

着据的出现呈现更大可能，我们就说“ 据支了 ”。
在饼问题上，先率是1:1，概率50％。后率是3:2，概率60％。此，我们可以

说，香草饼这一据为证据支其来自 1的  。
贝的率形式了一法，这直更准。
顾一下式
除以o(A)：
式是后率和率的。右是然，也称为贝斯因子。
贝子的大 1，则着据更可能支 A 不是 B，也着更大，
率也大 1，着着据的出现率也了。
贝子小 1，就着据支 B的可能大支可能A，以支 A的率降了。
最后，贝子恰好为1时，据说有可能，以率不会改变。
现在我们可以到奥利迹问题了。奥利是在犯罪现场下迹的人一，就了那

个“O”型证据的由来，此据的概率就是在人群中挑中一个“AB” 型人的概率1％。②
奥利没有在现场下液，我们就要对这个进。在人群中选人，有多大

可能好找到一个“O” 型人和一个“AB” 型人？嗯，可能情况：一个人是“O”型个
是“AB”型，反过来合一下。以总的概率是2 (0.6)(0.01) = 1.2％。
不是奥利的液，据的然度还要稍，以液证据这个据上没有支奥利的

犯罪。
这个例子有刻的成分，是一个反我们自的、符合的据却并非必然支的例

子。
这一结此有悖常甚至扰到你，下的路可能有帮助：据由一个常事件

——“O”型，和一个事件 ——“AB”型构成。奥利常事件（O型），这得
的事件还是无法。奥利常事件无，那么我们有可能找到“AB”型的犯。情
况中的这一导了差。
5.4  加
贝统的基操是Update，这要先概率和一据，并产生一个后分。是，决
问题通常涉许多其他操，缩、法和其他术、最大和最小，还有合。
章法和最大；在要的时我会其他的。
一个例子基《龙地下》这个色游戏，在这个游戏里，玩家决的结是通过骰子来

成的。
事上，游戏开始，通过转动3个6 骰子并结得到一个总和，玩家创了自己色的个

）量、、、灵、体和。
以，你应会对总和的分感兴。有法可以。
真：
给一个示骰子分的Pmf，可以绘，们起来，真和的分。
枚：
给个Pmfs，可以枚有可能的对，并和的分。
thinkbayes 这个。下是一个法的现。首先，我一个类来示个骰子：

class Die(thinkbayes.Pmf):
def __init__(self, sides):
thinkbayes.Pmf.__init__(self)
for x in xrange(1, sides+1):
self.Set(x, 1)
self.Normalize()
现在，可以创一个6 骰子：

d6 = Die(6)
然后用thinkbayes.SampleSum产生1000 转动3个骰子的。
dice = [d6] * 3
three = thinkbayes.SampleSum(dice, 1000)
SampleSum以分的（Pmf Cdf对象）和大小n为参。产生n 的和（真

的总——转动3 骰子），并其分为一个Pmf对象。
def SampleSum(dists, n):
pmf = MakePmfFromList(RandomSum(dists) for i in xrange(n))
return pmf
SampleSum 用RandomSum，也在thinkbayes.py中：
def RandomSum(dists):
total = sum(dist.Random() for dist in dists)
return total
RandomSum在个分中调用Random然后总其结。
真的缺点是得到的结只是近的，着n变大，结会更准，是时也了。
一法是枚有成对的，并对的概率和总和。这在Pmf.__add__上现：

# class Pmf
def __add__(self, other):
pmf = Pmf()
for v1, p1 in self.Items():
for v2, p2 in other.Items():
pmf.Incr(v1+v2, p1*p2)
return pmf
self是一个Pmf对象，other可以是Pmf 其他条目的对象。其结是一个新的Pmf对象。

__add__的时取决 self和other对象中的条目的量， len(self)*len(other)。
下是用：
three_exact = d6 + d6 + d6
在Pmf中应用+操符时，Python调用__add__。在这个例子中，__add__ 调用了。
图5-1显示了通过真生成的近结和枚产生的切结。

图5-1  转动3个6 骰子总和的近和切分
Pmf.__add__是基
这的，来自个Pmf的选择是独的。在多个骰子的例子中，这个
不。其他情况下我们则必须扩展这个法以用条件概率。
中的可以 http://thinkbayes.com/dungeons.py 得。更多息请参的“ 指南”。
5.5  最大
你生成一个《龙地下》的色，会对人物的最佳有兴，以你可能想道分
的最大。
有三法来一个最大的分。
真：
给一个Pmf，一选择的分，可以生成，找到最大和真最大的积分。
枚：
给个Pmf，可以枚有可能的对，并分的最大。
指：
我们一个Pmf转为Cdf，有一个有效的法查找最大的Cdf（看后）。
真最大的真和的：
def RandomMax(dists):
total = max(dist.Random() for dist in dists)
return total
def SampleMax(dists, n):
pmf = MakePmfFromList(RandomMax(dists) for i in xrange(n))
return pmf
我做的只是用“max” “sum”。对枚部分是的：
def PmfMax(pmf1, pmf2):
res = thinkbayes.Pmf()
for v1, p1 in pmf1.Items():
res.Incr(max(v1, v2), p1*p2)
return res
事上，你可以操符为参来一般这个。
这一法的唯一问题是，个Pmf 有m个，时 m2。我们想道k个选择的最

大，要的时 km2。
我们转 Pmfs到Cdfs，我们可以以更快的速度进的！键是要记住积分的

：
其中X是一个变量，的是“ 分中选取的一个 ”，以例来说，CDF(5) 示分

中个是小 5的概率。
我 CDF1 中取出X， CDF2 中取出Y，最大Z=max(X，Y)，则Z小 5的可能是多

少？然，在这个案例里，X和Y必须小 5。
选择X和Y是独为，
其中CDF3是Z的分。我选择了5这个让式读，我们可以一般为z是的情况：
有一个例是我们一个分中选择k ，
此，为了 k的最大的分，我们可以枚给 Cdf的概率其变为k 。Cdf 了一

法，法下：
# class Cdf
def Max(self, k):
cdf = self.Copy()
cdf.ps = [p**k for p in cdf.ps]
return cdf
Max法接受选取的 k，然后一个新的示进 k 选择最大的Cdf。此法的时
Cdf中的条目个 m。
Pmf.Max和Pmfs 现的功能。只是 Pmf转到Cdf必须要多做一点工，以时成

mlogm，是这然要好过呈平杂度的时。
最后，这里有一个色的最佳的分的例：
best_attr_cdf = three_exact.Max (6)
best_attr_pmf = best_attr_cdf.MakePmf ()
其中three_exact是上一过的。我们印出结，看到产生一个有18 的色的概

率大约是3％。
图5-2显示了分。
图5-2  转动3个6 骰子的最大分
5.6  分布
让我们一个来自《龙地下》的例子。我有一盒骰子，清下：
5 个 4 面骰子
4 个 6 面骰子
3 个 8 面骰子
2 个 12 面骰子
1 个 20 面骰子
盒子中选择一个骰子转动，结会呈现什么分呢？
你道选到的是个骰子，案很。n 的骰子产生一个均的 1到n的分， 1和n。
是，我们不道选到的究竟是个骰子，由此产生的分则是有不上界的均分的分

布。
在一般情况下，这类合量不合的学型，可以对PMF的直接得到。
往常一，一个选择是真，生成一个真的PMF。这法很，会快速

得到一个近的结。是，想要切的法，我们要一不的法。
让我们只有个骰子的开始，一个6 骰和一个8 骰。我们可以用Pmf来示个骰子：

d6 =Die(6)
d8 =Die (8)
然后我们创一个Pmf 示这一合分：

mix = thinkbayes.Pmf()
for die in [d6, d8]:
for outcome, prob in die.Items():
mix.Incr(outcome, prob)
mix.Normalize()
一个环枚骰子，个环枚环骰子结和概率。在环内部，Pmf.Incr 总了个分

的。
此选中个骰子是可能的。更一般地，我们要道选中一个骰子的概率，以便可以

对结进对应的。
首先，我们创一个射了骰子和骰子选中概率的Pmf对象：

pmf_dice = thinkbayes.Pmf()
pmf_dice.Set(Die(4), 2)
pmf_dice.Normalize()
接下来，我们要合分法的一个更通用的：
mix = thinkbayes.Pmf()
for die, weight in pmf_dice.Items():
for outcome, prob in die.Items():
mix.Incr(outcome, weight*prob)
现在个骰子都有的重了（着骰子有了）。
个结到合分中，其概率以重，得到了图5-3 示的结。期的那，1至

4是最有可能的，为一个骰子都可以生成这。12以上的可能不大，为只有一个20 骰子能
有大 12的（是20 骰子，要产生这的可能也都不到一）。
图5-3  盒子中选中骰子的结分
thinkbayes 了一个为MakeMixture的，封了法的功能，以我们过写成：

mix = thinkbayes.MakeMixture (pmf_dice)
我们在 7章和 8章用MakeMixture。
5.7  讨
除了贝的赔率形式，这一章不是专门贝的。贝分的一切都和分有，
以了分的概念很重要。以的点来看，分就是可以示一（一个过的可能结
）和其概率的据结构。
我们看到了分的示形式：Pmfs和Cdfs。在含了息这一点上，们是的，这

你就可以一个转到一个。们的要在能：有用Pmf更快、更，一
则是用Cdf更快。
章的一个目是入一概率分操，像 Pmf.__add__ ， Cdf.Max 和
thinkbayes.MakeMixture。后续我们用这，这里，我的目的是大家分为概率
的基进入，不是其一个和概率的器。
①译：odds 常直不严谨地称为赔率（这博业有，博业就一事件的赔率严格说是大

1的，则不赚），事上odds是会的。
②译：记住据个，O型和AB型的现场证据。

 
第6   决分
6.1  “ 确的 ”
2007年11月1日，选手希和纳参《的格》这个美国游戏目。他们在为
showcase的游戏环中，游戏题是猜展示的格。猜到最接近展示格的选手得
。
纳先开始。他的展里、酒、笔记和一汽。他出 26000美元。
希的展球、游戏、台球和一去巴的。出 21500美元。
纳展的格为25347美元。由出太他了。
希的展的格为21578美元。起格只少猜了78美元以得了。为
的出差少 250美元，还得了纳的展。
对一个贝维的人，这一场景暗示出的个问题是：
1．在看到，选手对展示的格应有什么的先分断？
2．看到后，选手应修这期？
3．基后分，选手应怎么出？
三个问题，证了贝分的一个常用：决分。给一个后分，我们可以选择出

多少，最大度地选手的期收。
这个问题来自伦·戴维 - 隆的《Bayesian Methods forhackers》一。我为章写的可

http://thinkbayes.com/price.py 得到；入的据可以 http://thinkbayes.com/showcases.2011.csv 和
http://thinkbayes.com/showcases.2012.csv下载。更多息请参的“ 指南”。
6.2  先验
为了选择格的先分，我们可以利用先的据。的是，这个目的详细记了这
据。我戴维 - 隆先生就通时，他了 ·吉收集的据http://tpirsummaries.8m.com。
了 2011年到2012年的目中个展环的格，还有参选手就展的出。
图6-1显示了这展格的分。最常的展大约是28000美元，是一展在50000美

元附近有个征（线图稍微隆起的地），展的格偶会超过70000美元。
图6-1 “ 的格” 目中展格的分，2011-2012
这分基的据，用内密度进了平滑（KDE）。在我们续，我想绕道
先去概率密度和KDE。
6.3 
到目为，我们和概率量 PMF 了很多交道。PMF是一个可能到其概率的
射。在我的现中，Pmf对象一个Prob 法得和概率，也称为概率量。
在学示上，PDF通常写成一个；例，这里是均为0，准差为1的分的PDF：
对一个给的x ，这个可以出概率密度。在更的密度说可能也这个上，密

度和概率量是的。
是密度不是概率。密度可以是0 ；并非概率那在0和1 有界。
你在一个续对密度进积分，其结是一个概率。在中，我们很少这么用。

反，我们要利用概率密度为然的一部分。下上会看到一个例子。
6.4  PDF的示
要在Python中示PDF，thinkbayes.py 一个为PDF的类。PDF是一个抽象类，这着了
PDF接口，不一个整的现。PDF接口法，Density和MakePmf：
class Pdf(object):
def Density(self, x):
raise UnimplementedMethodException()
def MakePmf(self, xs):
pmf = Pmf()
for x in xs:
pmf.Set(x, self.Density(x))
pmf.Normalize()
return pmf
Density取一个x ，并应的密度。Makepmf生成PDF的近散。
Pdf 了makepmf的现，没有Density 法，Density 法必须通过子类来。
实类是承自抽象类的一个子类，了缺法的体现。例，GaussianPdf扩展了Pdf并

了Density 法：
class GaussianPdf(Pdf):
def __init__(self, mu, sigma):
self.mu = mu
self.sigma = sigma
return scipy.stats.norm.pdf(x, self.mu, self.sigma)
__init__接受mu和sigma参，分分的平均和准差，并为下来。
Density 用 scipy.stats 中的一个来 PDF。这个是 norm.pdf ，为分也称

为“ 态”分。
PDF由一个的学，以。由现界中大量的分都可以近为

分，的用也很大。
对真据，并不能证分是其他的学。在这情况下，我们可以用一

个来整体的PDF。
例，“ 的格”中的据，我们有313个一展的格。我们可以为这是展格的

一个。
示例以下（顺）：
28800, 28868, 28941, 28957, 28958
在中，没有出现28801和28867 的，是没有由为这不在。基我们的景

息，我们希望在这个围内的有有可能。说，我们 PDF是非常平滑的。
内密度（KDE）是一法，找到一个恰平滑的PDF进据拟合。你可以

http://en.wikipedia.org/Wiki/Kernel_density_estimation了到一细。
Scipy 了KDE的现，thinkbayes则了一个Estimated Pdf类用：
class EstimatedPdf(Pdf):
def __init__(self, sample):
self.kde = scipy.stats.gaussian_kde(sample)
return self.kde.evaluate(x)
__init__ 集内密度。其结是一个 gaussian_kde 对象，并了一个 evaluate

法。
Density接收据，调用gaussian_kde.evaluate，然后密度结。
最后，这是生成的干：
prices = ReadData()
pdf = thinkbayes.EstimatedPdf(prices)
low, high = 0, 75000
n = 101
xs = numpy.linspace(low, high, n)
pmf = pdf.MakePmf(xs)
pdf是一个由KDE 的Pdf对象，pmf则是一个近 Pdf的Pmf对象，通过在成的距

上的密度现。
示“线
linspace ”的。接收一个由low和high界的，以内的n个据点，并
一个新的numpy ，含了n个low和high 的距元。
现在到“ 的格”问题。
6.5  手建模
图6-1的PDF 了展可能的格分。你是一个参目的选手，你可以用这个分来量
展环中的先念（在看到）。
要更新这先概率，我们必须下这问题：
1．怎么看待据以量据？
2．怎么然？，对个格给出什么的，怎么据的条件然度？
为了这问题，我选手为一误差的格猜来。说，选手看到
展猜个的格时——不是展一部分这一事（也就是不总量）—— 这
格起来，得到的总和称为猜格guess。
在这一型下，我们必须要的问题是 “ 格是 price ，选手的格就是猜格

guess的
然度？”
我们：
error = price – guess （猜测误差 = 展品价格 – 猜测价格）
然后，我们可以出问题“选手的格猜误差error的然度是什么？”
要这个问题，我们要用历据。图6-2显示了diff的积分，diff是参的出和

展示的格的差。
图6-2  选手出和格差，出差diff的积分（CDF）
出差diff的是：
diff = price – bid （出价差＝奖品价格 – 选手出价）
diff的
是负的，出就太。一，我们可以用这个分参出过的概率：
一选手中出的例是25%；选手中出的例是29%。
我们也可以看到出是不对称的；选手更倾向出。由游戏则这很好。
最后，我们可以用这个分参猜格的可靠（译：由猜误差量的）。这一步有

点手，为我们真不道选手的猜格，只道他们的出。
此我们必须做出一。切地说是为error的分是一个和diff 差，均为0的分

。
class Player(object):
def __init__(self, prices, bids, diffs):
self.pdf_price = thinkbayes.EstimatedPdf(prices)
self.cdf_diff = thinkbayes.MakeCdfFromList(diffs)
mu = 0
sigma = numpy.std(diffs)
self.pdf_error = thinkbayes.GaussianPdf(mu, sigma)
prices 是一个展格的， bids 是一个选手出的， diffs 是一个出差的， diff

=price-bid。
pdf_price 是一个格的平滑PDF，由KDE给出。 cdf_diff 是出差的积分，图6-2 示。

pdf_error是猜误差分的PDF，这里猜误差=展格–猜格（error=price-guess）。
强调一下，我们用 diff 的差 error 的差，这并不美。为选手的报有时是有略

的。例，选手2 为选手1出了，选手2可能会用一个非常的报。在这情况下出差
diff就没有反出猜误差error。发生较多这情况，到的diff 差会猜误差error的
差。然，我为这是一个合的。
准参的人可以通过看以的，记下自己猜格和格的猜误差，自己猜

误差error的分。
6.6  似然
现在我们准好编写然了。像通常那，一个新类：
class Price(thinkbayes.Suite):
def __init__(self, pmf, player):
thinkbayes.Suite.__init__(self, pmf)
self.player = player
pmf 了先分，player是一个章的Player对象。Likelihood 下：

price = hypo
guess = data
error = price - guess
like = self.player.ErrorDensity(error)
return like
hypo是展示格的。data是选手的最佳猜格。error是他们的差，like是给后据的可

能。
ErrorDensity在Player中：
# class Player:
def ErrorDensity(self, error):
return self.pdf_error.Density(error)
ErrorDensity通过给的误来 pdf_error，结是概率密度。此并不是真是一个概率。

请记住Likelihood不要概率；只要例，只要有likelihood的例是的，我们
对后分进归一后就没问题了。
以说概率密度是一个好的然度法。
6.7  更新
Player 了一个法以选手的猜来后分 :
# class Player
def MakeBeliefs(self, guess):
pmf = self.PmfPrice()
self.prior = Price(pmf, self)
self.posterior = self.prior.Copy()
self.posterior.Update(guess)
PmfPrice生成PDF的散近格，我们用其构先概率。
PmfPrice 用MakePmf， pdf_price 的：

# class Player
n = 101
price_xs = numpy.linspace(0, 75000, n)
def PmfPrice(self):
return self.pdf_price.MakePmf(self.price_xs)
为了得到后概率，我们先先概率，然后调用Update Update在，中调用Likelihood 一

，用先以然度，最后归一。
让我们到最的场景。你是选手1，看到展后你最佳的猜是“ 的总格是20000美

元”。
图6-3显示了格的先概率和后概率。后概率，为你猜的是先概率的

。
图6-3  基一个20000美元格的最佳猜，选手1的和后分
在度上这个结是有的。在先上最有可能的展格是27750美元，你最好猜是

20000美元，后概率的均在25096美元上下。
一个度上，你可能会发现这个结的悖，为你为格是20000美元，那么
在猜误差的情况下，你应格是24000美元。
要想决这个显的矛盾，请记住你结合了个息来，过去展的历据和你看到后出

的猜。
我们的历据先概率和然后基你的猜去修。的，我们也可以用你的猜

为先基历的据进修（译：修和更新都是Update的译，结合上下用）。
你可以这么 ——最有可能的展格并不是你最的猜 —— 是这一点也就没那么

了。
6.8  最优出
现在我们有一个后分，我们可以用来最优报，我为期收最大的报（
http://en.wikipedia.org/wiki/Expected_return）。
我在中用自向下的法，这着我先示怎么用，示为什么此。你看到

一个陌生的法，不要担心，后接着就是。
为最优报，我写了一个类称为GainCalculator：
class GainCalculator(object):
def __init__(self, player, opponent):
self.player = player
self.opponent = opponent
Player和opponent都是Player对象。
GainCalculator ExpectedGains，为出和期收 :
def ExpectedGains(self, low=0, high=75000, n=101):
bids = numpy.linspace(low, high, n)
gains = [self.ExpectedGain(bid) for bid in bids]
return bids, gains
low和high 示了出可能的；n是报的。
ExpectedGains调用ExpectedGain，对一个给的报的期 :
def ExpectedGain(self, bid):
suite = self.player.posterior
total = 0
for price, prob in sorted(suite.Items()):
gain = self.Gain(bid, price)
total += prob * gain
return total
ExpectedGain 历后概率的，给展的格后出的报。对概率进

然后总和。
ExpectedGain调用Gain，Gain通过报和格期收 :
def Gain(self, bid, price):
if bid > price:
return 0
diff = price - bid
prob = self.ProbWin(diff)
if diff <= 250:
return 2 * price * prob
else:
return price * prob
你出了一无。反过来，我们出和格的差，这个决了你的概率。
差异小 250美元你就了。为起，我展有的格。为这个结是的，

成的差不大。
最后，我们要基 diff 的的概率：

def ProbWin(self, diff):
prob = (self.opponent.ProbOverbid() +
self.opponent.ProbWorseThan(diff))
return prob
你的对手出，你。则的，你必须希望你的对手的出差大这个diff ，Player

了一法来这个可能：
# class Player:
def ProbOverbid(self):
return self.cdf_diff.Prob(-1)
def ProbWorseThan(self, diff):
return 1 - self.cdf_diff.Prob(diff)
这段可能有人，为这一过是以对手的度进的，对手的是“我出

的可能是多少?”和“我的出差超过diff的概率是多少?”
案都是基 diff 的CDF。对手的差异小 1，你。对手的 diff 你大，你

。则你。
最后，最优报的 :
# class Player:
def OptimalBid(self, guess, opponent):
self.MakeBeliefs(guess)
calc = GainCalculator(self, opponent)
bids, gains = calc.ExpectedGains()
gain, bid = max(zip(gains, bids))
return bid, gain
给一个对手和guess，OptimalBid 出后分，例一个GainCalculator 可能
的期收报并最优报和期收。太棒了!
图6-4显示了基这一个场景下的结，选手1的最佳猜是20000美元，选手2的猜是40000美

元。
图6-4  选手1的最佳猜是20000美元，选手2的最佳猜是40000美元时，期收的对。
选手1的最优报是21000美元，产生近16700美元的期报。
这是一个显得很不寻常的最优报其选手的最佳猜一点的案例。
选手2的最优报是31500美元，产生近19400美元的期报。这最优报小最佳猜的情况更

型。
6.9  讨
贝的
点一就是结来自后分这形式。的通常会生成一个一的点
，就是过的最后一步，这是的。你想以一个为后续分的入，点
和隔往往没有多少帮助。
在这个例子中，我们用后分来最优报。给出的报是不对称和不续的（你

，游戏），以分很决这个问题。用的法就对。
贝法的学常常通过均最大然来描后分，这概是有用的，不过
你要的就是这内，也许一开始就不必贝法。
在你要后概率带入后续分进型决时，贝法就有用了，就我们在章做
的一。外，进时，贝法也很有用，下一章我们会看到案例。
 
第7   预测
7.1  士队
在2010—2011的国家冰球（NHL）总决中，我爱的7个军波顿熊我嗤以鼻
的哥华大人对决。波顿以0 : 1和2 : 3 了场，以8 : 1和4 : 0 了后续场。那么
在的这个时点上，波顿下一场的可能是多少？得总军的概率是多少？
往常一，要这的问题我们要做一。首先，有由在冰球中的入球得分至

少近松过，这着在的时上都有的得分可能。
其，我们可以，期来看对一个的对手，都有一个场平均得分，记为λ。
根据这，我这个问题的略是：
1．以的统料，为λ选择一个先分。
2．由四场的得分的λ。
3．用λ的后分来的入球分，得分差的分，还有个球下一场的概率。
4．个得军的可能。
要选择一个先分，我 http://www.nhl.com  得了一统字，体在2010—2011

平均场入球的分，大是均为2.8，准差为0.3的分。
分是续的，我们会用散的 Pmf 近， thinkbayes 了下的 MakeGaussianPmf

现：
def MakeGaussianPmf(mu, sigma, num_sigmas, n=101):
pmf = Pmf()
low = mu - num_sigmas*sigma
high = mu + num_sigmas*sigma
for x in numpy.linspace(low, high, n):
p = scipy.stats.norm.pdf(mu, sigma, x)
pmf.Set(x, p)
pmf.Normalize()
return pmf
mu和sigma是分的均和准差。num_sigmas是和 Pmf均的准差量，n为Pmf

中条目的个。
一，我们用numpy.linspace构一个在上下界（界）上有着隔的n个条

目的。
norm.pdf 出概率密度（PDF）。
到问题上，下是一有 λ 的。
class Hockey(thinkbayes.Suite):
def __init__(self):
pmf = thinkbayes.MakeGaussianPmf(2.7, 0.3, 4)
thinkbayes.Suite.__init__(self, pmf)
这的先分是均 2.7，准差0.3的分，围是上下以均为中心的4个sigma。
一以往，我们必须决示个，在这情况下，我 λ = x（x是浮点）为。
7.2  松过程
在统上，过程是一个物统的型（“ ”是指型含量）。例，一个
伯努利过是一个事件的型，称为试，其中个试有可能的结，成功和。
此，对一的币翻转事件，一的射击得分事件，伯努利过是一个天然的型。松过
是伯努利过的续，一个事件在时点上发生的概率是的。松过可应用到达店的
客户，交到站，冰球的入球得分上。
在许多统中，事件的概率时变。客户在一天的时段去店的可能更，交应

以固的隔到达，中不的时段的得分有分。
有型都是为了事物，在这情况下，以松过真冰球是一个合的选择。豪雅，

勒和纳（ 2010 ）分德国球的得分，得出了的结，
http://www.cimat.mx/Eventos/vpec10/img/poisson.pdf。
用型的优点是，我们可以有效出场入球的分以入球时点隔的分。体

地，一场平均入球是lam，场入球的分可由松PMF给出：
def EvalPoissonPmf(lam, k):
return (lam)**k * math.exp(-lam) / math.factorial(k)
得分隔的分由指型PDF给出 ：
def EvalExponentialPdf(lam, x):
return lam * math.exp(-lam * x)
我用了变量 lam，为 lambda是 Python 中的键字。这个都在thinkbayes.py中。
7.3  后验
现在，我们可以一个给 lam 的球在一场中进k个球的可能：
# class Hockey
lam = hypo
k = data
like = thinkbayes.EvalPoissonPmf(lam, k)
return like
个都是λ的一个可能的；据是得分k，利用这里的然，我们可以为个球准一个

suite对象，接着用四场的得分进修。
suite1 = Hockey('bruins')
suite1.UpdateSet([0, 2, 8, 4])
suite2 = Hockey('canucks')
suite2.UpdateSet([1, 3, 1, 0])
图7-1显示了给 lam的后分结。根据四场的据，最有可能的lam 大人是2.6，
熊是2.9（译：冰球进一球得到一分，此对“得分”和“入球”结合上下灵活用）。
图7-1  场入球的后分
7.4  球分布
要个团得下一场的概率，我们要球得分的分。
我们道切的lam取，我们可以用松分。thinkbayes 了一个法松分

的分段近：
def MakePoissonPmf(lam, high):
pmf = Pmf()
for k in xrange(0, high+1):
p = EvalPoissonPmf(lam, k)
pmf.Set(k, p)
pmf.Normalize()
return pmf
的Pmf 的围 0到high。以， lam 为3.4，我们可以下：

lam = 3.4
goal_dist = thinkbayes.MakePoissonPmf(lam, 10)
我选择了上界10，为中得分超过10球的概率是的。
目为这都很，问题是我们不道lam的切。不过还好，我们有lam可能的分。
对 lam的一个，得分是松分。这得分的整体分就是这松分的合分，根据lam

分的概率进。
给 lam的后分，下是得分分的：
def MakeGoalPmf(suite):
metapmf = thinkbayes.Pmf()
for lam, prob in suite.Items():
pmf = thinkbayes.MakePoissonPmf(lam, 10)
metapmf.Set(pmf, prob)
mix = thinkbayes.MakeMixture(metapmf)
return mix
对 lam的一个，我们创一个松Pmf，并到元Pmf。我称其为元Pmf，
为是一个含多个Pmfs 的Pmf对象。
然后我们用MakeMixture 合分（参 MakeMixture的“ 合分 ”， 45 ）。
图7-2 显示了由此产生的熊和大人的入球分。熊在接下来的中不太可能只进不

到3球，更可能进4球以上。
图7-2  场入球分
7.5  获的
为了得到的概率，首先我们入球得分差异的分：
goal_dist1 = MakeGoalPmf (suite1)
goal_dist2 = MakeGoalPmf (suite2)
diff = goal_dist1 - goal_dist2
减法符调用Pmf.__sub__，枚一对（得分）并差。个分的差和操

一，我们在 40 “ ”看到的。
得分差是的，熊；为负，大人；是0，就是平：

p_win = diff.ProbGreater (0)
p_loss = diff.ProbLess (0)
p_tie = diff.Prob (0)
由一中的得分的分看，p_win是46%，p_loss是37%，p_tie为17%。
在时结束时出现平，会进时，直到其中一得分。由一入球就

会上结束，这时形式称为“ 然法则”。
7.6  突然死则
为了在时通过“ 然法则” 球的概率，重要的统指不是场入球，是一
个入球的时。的入球是一个松过，着得分的时服指分。
给 lam，我们可以得分的时：
lam= 3.4
time_dist = thinkbayes.MakeExponentialPmf (lam, high = 2 ， n = 101)
high是分的上界。在这个例子中我选择2，为超过2场不入球的概率是很小的。n是Pmf里

的个。
我们道lam的切，这就是部要的了。我们不 lam，我们道的是lam 可能

的后概率分。
以，我们在得分分中做的一，我们创一个元Pmf并 Pmfs的合物。

def MakeGoalTimePmf(suite):
for lam, prob in suite.Items():
pmf = thinkbayes.MakeExponentialPmf(lam, high=2, n=2001)
return mix
图7-3显示了生成的分。对时小 1 （的1/3，1场有3 ），熊更得分。时

时得越，大人越可能得分。
图7-3  得分的隔时分（时以场）
我了的n ，以最大度地减少平的量，为支球是不可能时得分的。
现在我们熊首先得分的概率：
time_dist1 = MakeGoalTimePmf (suite1)
time_dist2 = MakeGoalTimePmf (suite2)
p_overtime = thinkbayes.PmfProbLess (time_dist1 ， time_dist2)
对熊，得时的概率为52%。
最后，的总概率为常时得的会上时得的概率。

p_tie = diff.Prob (0)
p_overtime = thinkbayes.PmfProbLess (time_dist1 ， time_dist2)
p_win = diff.ProbGreater (0)+ p_tie * p_overtime
以对熊，的下一场的整体概率是55%。
要得整个（总决）的，熊可以在下场中在接下来场中一场

得三场。，我们可以出总的概率：
# win the next two
p_series = p_win**2
# split the next two, win the third
p_series += 2 * p_win * (1-p_win) * p_win
此熊得总军的会是57%。在2011年，他们做到了。
7.7  讨
往常一，章讨的分是基型决的，总是一个反的过。
一般情况下，你要一的能产生近案的型开始，找出误的可能来，并找到会来改

进型。
在这个例子中，我会以下选项：

我为支伍选择了一个基平均得分的先。这个统是有对手的平均。对一的对

手，我们可以更灵活。例，最好锋线的伍和最糕后防的伍，得分期目可
以是平均以上的个准差。
据，我只用了军四场的据。只球在常过，我可以用常的
结据。有杂的是球成在这期的变动——由受和内的球交，以最好给近
期的结更多的。
为了充分利用有可用的息，我们可以有常得分的入球率，用只伍的
结进进一步的度修。这做会有杂，然是可的。
对一选择，我们可以用常的结伍的变量。要感德克· 格，我

http://forechecker.blogspot.com，上得了常场的入球得分（不含时）。
不的伍在常 1 到2 ，以我重点在进 4到6场的伍上。对一对

球，我他们场的平均入球为λ的，然后绘的分。
这的均为2.8，不过准差为0.85，我们就支伍的更。
我们用这一较的差进概率分，熊得的概率是80%，用较

差得到的57% 很多。
以，事证，这一结对先概率是敏感的，此自然我们，究竟用多少据进分

合。
到不型会产生的差异（差和差），这说得我们入一来得合的

概率。
章的和据都可以 http://thinkbayes.com/hockey.py 和 http://thinkbayes.com/hockey_data.csv
得。了更多息，请参的“ 指南”。
7.8  习
练习7-1。
交到站隔是20分，你到达交站的时是的，那么你待交的时 0到20分
均分。在现中，交达的隔是有变动的。你在待一交，你道
交达时的历分。你待时的分。
示：交隔为概率的5分 10分。你好在一个10分发隔中到达交站的概

率是多少？
我在下一章了这个问题的一个法。
练习7-2。
客到达交站是一个参为 λ 的想松过。你到达站，发现有 3人在待，对你

，距上一趟交达过去了多时的后分是什么？
我下一章了这个问题的一法。
练习7-3。
你是一位在新的环境中进取的生态学家。
你在试地了100个，天去查们。你发现有37个触发捕。一

触发，就不能续捕其他昆直到位。
你重，天后（内）来，你期发现多少触发的？这一后 / 的分。
练习7-4。
你是一个管有100个灯泡寓的大楼。你的责是在灯泡时更灯泡。
1月1日，有100个灯泡都是好的。你2月1日查时，你发现有3个灯泡。你4月1日来

查，你期会有多少灯泡坏？
在的练习中，你可以合地一个事件在时发生的概率。对灯泡，效的可能

取决灯泡的命。体，旧灯泡的故障率会着灯的蒸发。
这个问题其他问题更开，你不得不出决型。
你可能要了一下Weibull分（http://en.wikipedia.org/wiki/Weibull_distribution）。寻找一灯泡

命线的息。
 
第8   观的差
8.1 
在诸，“红线”是接桥和波顿的地线路。我在桥工的时坐红线地 Kendall
广场到南站，转通路到Needham。上下峰期，红线平均 7～8分一趟。
到达站时，我可以根据站台上的客人下一到达的时。只有个人，就

过了地，下一地要约7分。站台上有较多客，就地会很快到达。是
有多的客，则要怀未能期，以会到上出出。
在待时，我了怎通过贝帮助我待时，并决什么时应坐

改为坐出。章我用的分过。
章内自Brendan Ritter和Kai Austin负责的一个项目，他们和我在欧学一个。章中
的可以 http://thinkbayes.com/redline.py 得到。我用来收集据的在
http://thinkbayes.com/redline_data.py。了更多息，请参的“ 指南”。
8.2  模型
在分，我们必须决一细。首先，我客达站松过，这着我
客可能在时概率到达，客有一个未的到达率λ，以分到达的客量。为我在很的
时段内察客，是在天的一时，以我 λ为常。
一，的到达过不是松的。峰时点（灰西鲱站）去波顿的隔7～8分

发出，到Kendall广场的时，隔在3～12分内变。
为了收集发隔的据，我编写了下载时据的脚
http://www.mbta.com/rider_tools/developers/，选择往南到达Kendall广场的，并在据库中记其到达
时。脚在个工日下午4点到下午6点，续5天，天记了 15 到达。然后我后
到达的时隔，这分的差图8-1  示，为z。
图8-1  根据收集到的据绘的隔的PMF，以KDE平滑
（z为分；zb是由客看到隔的差分）  
你下午4点到下午6点在站台记的隔，这就是你看到隔时的分。是你
到达站台（不管时刻），会看到一个此不的分，到达的客看到的隔的平均
，的平均要一。
为什么？为客到达的时隔更可能是一个较大的。一个的例子：隔是

5分 10分（的概率）。在这情况下，的平均时是7.5分。
客更可能在10分的时段内到达不是在5分内，事上是后的倍。我们调查到

站客会发现，其中2/3在10分的时段内到达，5分时段内到达的只有1/3。以到站客察到的
隔平均是8.33分。
这观差在许多情况下出现。学生们为的要大是为他们常上大，上的

客为更是为他们常常坐的。
在情况下，分中的都例过了。例，在红线上，差距就是倍大。
以，有了隔的分，我们可以得到客看到的隔分。BiasPmf进这个

：
def BiasPmf(pmf):
new_pmf = pmf.Copy()
for x, p in pmf.Items():
new_pmf.Mult(x, x)
new_pmf.Normalize()
return new_pmf
pmf是的分；new_pmf是分。在环中，我们个的概率x 以到的然度，其

x，然后我们对结归一。
8.3  等时间
待时称为y，是客到达时刻和下一趟到达时刻的时。过时称为x，是客到
达时刻和上一趟到达时刻的时。这得zb = x +y。
给 zb的分，我们可以出y的分。我先一个的情况开始，然后一般。

的例子，zb为5分的概率是1/3，10分的概率就是2/3。
我们在5分隔内到达，y均分 0至5分内。我们在10分的隔到达，y均

分 0到10分内。以整体分是根据一个隔的概率了的均分的合分。
下的 zb的分和y的分：
def PmfOfWaitTime(pmf_zb):
for gap, prob in pmf_zb.Items():
uniform = MakeUniformPmf(0, gap)
metapmf.Set(uniform, prob)
pmf_y = thinkbayes.MakeMixture(metapmf)
return pmf_y
PmfOfWaitTime通过射个均分和其概率来构一个元Pmf。然后，用45 “ 合分 ”中的

MakeMixture，合分。
PmfOfWaitTime还用了MakeUniformPmf，为：
def MakeUniformPmf(low, high):
pmf = thinkbayes.Pmf()
for x in MakeRange(low=low, high=high):
pmf.Set(x, 1)
pmf.Normalize()
return pmf
low 和 high 决了均分的围（含端）。最后， MakeUniformPmf 用了 MakeRange ，此

为：
def MakeRange(low, high, skip=10):
return range(low, high+skip, skip)
MakeRange 了一待时（以示）的可能。默情况下，围分为10 的时

隔。
为了封这分的过，我创了一个类WaitTimeCalculator：

class WaitTimeCalculator(object):
def __init__(self, pmf_z):
self.pmf_z = pmf_z
self.pmf_zb = BiasPmf(pmf)
self.pmf_y = self.PmfOfWaitTime(self.pmf_zb)
self.pmf_x = self.pmf_y
参 pmf_z 是 z 的非
差分。pmf_zb是客看到的隔的差分。pmf_y是待时的分。
pmf_x 是
过的时的分，和待时分是一的。想道为什么？记得对一个 zp 的一个
，y的分是 0到zp均的，到x = zp – y，此x的分也是 0到zp均的。
图8-2显示了z、zb和y的分 ——基我 Red Line 站上收集的据。
图8-2  z，zb，客待时 y的CDF
为了这分，我 Pmfs切到Cdfs。大多人都更悉Pmfs，我为一你习了，Cdfs更

。要在一坐上绘多个分，就应用Cdfs。
z的平均为7.8分。zb的平均为8.8分，出z约13%。y均为4.4分，是zb均的一。
顺便一下，根据红线调度站的报告显示，在峰期隔是9分 / 。这接近 zb 的平均

， z的平均。通过 MBTA 路的件通，报告中的隔时是有的，以
一旋余地。
8.4  预测等时间
让我们到始问题：想一下，我到达站台时看到有10人在待。在下一到达，我期要
待多时呢？
往常一，让我们这个问题的最的开始，然后找到最案。我们给出z的分

，我们道客到达率λ是分 2 客。
在这情况下，我们可以：
1．用z的分来 zp的先分，客看到的隔分。
2．然后，我们可以用客量来 x的分，上一趟开后过的时。
3．最后，我们用 y = zp - x可得y的分。
一步是创一个WaitTimeCalculator，封 zp，x和y的分 ——在客的目。

wtc = WaitTimeCalculator(pmf_z)
pmf_z是给的隔时的分。
接下来的步是创一个ElapsedTimeEstimator，封了x的后分和y的分。

ete = ElapsedTimeEstimator (wtc ，
lam= 2.0/60 ，
num_passengers = 15)
参是WaitTimeCalculator，客到达率lam（示为客人 / ）和站台上看到的客量（

是15）。
ElapsedTimeEstimator的：
class ElapsedTimeEstimator(object):
def __init__(self, wtc, lam, num_passengers):
self.prior_x = Elapsed(wtc.pmf_x)
self.post_x = self.prior_x.Copy()
self.post_x.Update((lam, num_passengers))
self.pmf_y = PredictWaitTime(wtc.pmf_zb, self.post_x)
prior_x和posterior_x是过时的先和后分。pmf_y是待时的分。
ElapsedTimeEstimator 用Elapsed和PredictWaitTime，下。
Elapsed是示x的想分的Suite对象。x的先分直接由WaitTimeCalculator得到。然后，我们

用这据，到达率，lam和站台上客的量后分。
下是Elapsed的：
class Elapsed(thinkbayes.Suite):
x = hypo
lam, k = data
like = thinkbayes.EvalPoissonPmf(lam * x, k)
return like
往常一，Likelihood接受一个和据，并下据的然度。在这个例子里 hypo
是上一趟后过的时，data是一个 lam和客量的元。
据的然度是给到达率lam下，x时内k 达的概率。我们利用一个松分的PMF来

。
最后，PredictWaitTime的是：
def PredictWaitTime(pmf_zb, pmf_x):
pmf_y = pmf_zb - pmf_x
RemoveNegatives(pmf_y)
return pmf_y
pmf_zb 是隔的分情况；pmf_x 是过时的分（根据对客量的察得到）。由 y =

zb - x，我们可以：
pmf_y = pmf_zb - pmf_x
减法符调用Pmf.__sub__，其中了有zb和x对，其差，结总到pmf_y。
由此产生的Pmf 一显然不可能的负。例，你是在5分的隔期到达的，你的待

时不可能超过5分。RemoveNegatives会除这不可能的并重新归一。
def RemoveNegatives(pmf):
for val in pmf.Values():
if val < 0:
pmf.Remove(val)
pmf.Normalize()
图8-3显示了结。x的先分和y一。x的后分，看到站台上的15 客后，到自上

一趟过后的时大概是5～10分，以我们下一会在5分内到达，度为80%。
图8-3  x的先分和后分，以的y
8.5  到达
到目为的分基我们（1）隔的分（2）客到达率的。现在，我们准
好开始个。
你到波顿，以你不了红线地的客到达率。利用天上下时，就可以做至少是

可量的猜。只要花一点心，你甚至可以量的 λ。一天你到达站台时，你应时和
到达客的量（站台太大，你可以选择一个域）。然后记自己的待时，以在你待
期新到站的客量。
5天后，你可能得到这的据：
k1 y k2
-- --- --
17 4.6 9
22 1.0 0
23 1.4 4
18 5.4 12
4 5.8 11
其中k1是你到达时，在的客，y是你的待时，k2为待期到达的客量。

一个多星期的记中，你待时是18分，看到36 客到达，此可以，到达率是分 2
客。就来说，这一了，为了整起，我会 λ的后分，然后示怎么在后
的分中利用分。
ArrivalRate是个 λ 的Suite对象。往常一，Likelihood接收和据，出下的

据然度。
在例子里，是λ的取。据是y、k 据对，其中y是一个待时，k是到达的客人。

class ArrivalRate(thinkbayes.Suite):
lam = hypo
y, k = data
like = thinkbayes.EvalPoissonPmf(lam * y, k)
return like
这一Likelihood看起来很悉，和 75 “ 待时 ”里的Elapsed.Likelihood 一一。
在 Elapsed.Likelihood里是过的时 x，在ArrivalRate.Likelihood里是lam到达率。
个例子里，然度都是在 lam的条件下，一段时里到k个到达（客）的可能。
ArrivalRateEstimator 封 λ的过。参 passenger_data ，是一个 k1 ， y ， k2 元的元，

体据示。
class ArrivalRateEstimator(object):
def __init__(self, passenger_data):
low, high = 0, 5
n = 51
hypos = numpy.linspace(low, high, n) / 60
self.prior_lam = ArrivalRate(hypos)
self.post_lam = self.prior_lam.Copy()
for k1, y, k2 in passenger_data:
self.post_lam.Update((y, k2))
__init__构，这是lam 的，然后生成先分 prior_lam。for 环以据更新概

率，产生后分 post_lam。
图8-4给出了先和后分。期的那，均和中位都在察得到的附近，分 2

客。我们不后分的围是是由 λ基小的原。
图8-4  基 5天客据的lam的和后分
8.6  消除不确定
无时，分中总有一入量带来的不，我们可以通过下这个步这一进
来：
1．现基不参的分（在例中是λ）。
2．不参的分。
3．对参的个进分，并生成一分。
4．用参分对应的出分的合分。
我们成了步 1和步 2。我写了一个类WaitMixtureEstimator 步 3和步 4。

class WaitMixtureEstimator(object):
def __init__(self, wtc, are, num_passengers=15):
self.metapmf = thinkbayes.Pmf()
for lam, prob in sorted(are.post_lam.Items()):
ete = ElapsedTimeEstimator(wtc, lam, num_passengers)
self.metapmf.Set(ete.pmf_y, prob)
self.mixture = thinkbayes.MakeMixture(self.metapmf)
wtc是含zb分的WaitTimeCalculator 例。are则是含了lam分的ArrivalTimeEstimator 例。
一创了一个元 Pmf 来射y的可能分和其概率。对 lam 的一个，我们用
ElapsedTimeEstimator y的应分，并其储在元Pmf。然后我们用MakeMixture来合分。
图8-5显示了结。景中的线示了y对应 lam 个的分，细线示然度。粗线是这

分的合分。
图8-5  对应了lam 有可能的y的分
在这情况下，我们可以用lam的点得到一个非常类的结。此就用，的不
含进来不是必的。
在一般情况下，统应是非线的，那么可变就很重要了。此时，入的微小变都会

起出的较大变，例中，lam的后变很小，对小的扰动，统的应近线。
8.7  决分
现在，我们可以用站台上客人待时的分了。让我们问题的部分：我应在
时待去一出？
请记住，在始的场景中，我会去南站坐通路。我下早，以以待15分在南
站。
在这情况下，我想道的是“y超过15分 ” 为num_passengers的的概率。用“ 待时 ”里

的分法这很。在num_passengers的上这个分。
有一个问题。分对时延误的敏感，由时延误，此很其时延误

发生。
我只有一的据，察到的最延误是15分。以我无法准时延误的。不过我还

是可以用以的察来进至少是粗略的。
在一年时坐红线的过中，我看到了由问题、、其他站的察动成的3个时

延误，以我大约年有3 时延误。
请记住我的看法是颇的。我更倾向察时延误是为们了大客。以，我们应

我的为zb的，不是z的。下是我们怎做到这一点。
在坐地通那一年，我坐红线约220 。以我用察到的隔时 gap_times 产生了220个

隔的，并们的Pmf：
n = 220
cdf_z = thinkbayes.MakeCdfFromList (gap_times)
sample_z = cdf_z.Sample (n)
pmf_z = thinkbayes.MakePmfFromList (sample_z)
接下来，我 pmf_z得到zb的分情况，抽取，然后了30分、40分和50分的三延

误（以示）：
cdf_zp = BiasPmf (pmf_z ). MakeCdf()
sample_zb = cdf_zp.Sample(n)+ [ 1800 ，2400 ， 3000]
Cdf.Sample Pmf.Sample更效，一般会更快地 Pmf转成Cdf。
接下来，我以zb的用KDE来 Pdf，然后 Pdf转为Pmf：

pdf_zb = thinkbayes.EstimatedPdf (sample_zb)
xs = MakeRange(low= 60)
pmf_zb = pdf_zb.MakePmf (xs)
最后，我反 zb的分来得z的分，用z创 WaitTimeCalculator：

pmf_z = UnbiasPmf (pmf_zb)
wtc = WaitTimeCalculator (pmf_z)
这个过是杂的，有的步都是我们过的操。现在我们准进一个时待的

概率。
def ProbLongWait(num_passengers, minutes):
ete = ElapsedTimeEstimator(wtc, lam, num_passengers)
cdf_y = ete.pmf_y.MakeCdf()
prob = 1 - cdf_y.Prob(minutes * 60)
根据平台上的客人，ProbLongWait用ElapsedTimeEstimator 取待时的分，并待时
超过minutes的概率。
图8-6显示了结。客的目小 20，我们断统常，此时时延迟的概率很小。

有30 客，我们自上趟过了15分；这常延迟时，此我们断出了问
题，并期会有更的延迟。
图8-6  以站台上客人为变量的待时超过15分的概率
能接受有10%的概率会过南站，有不到30 客的时，我们应下来续待。

发现客更多的，应选择坐出。
，进一步分，我们可以量过南站的成和坐出的用，然后选择最小期成

的阈。
8.8  讨
分到目为一直基一个，客的到达率天是的，对峰时段的通，这可
能不是一个坏，也有一显的例外。例，附近有一个殊的事件，大量的客可能时到
达。在这情况下，lam的就会太，以x和y的会太。
殊事件和重大延误一常，们进型就很重要。我们可以通过扩展lam的分以
进偶出现的较大来现这一点。
我们是 z的分开始的。一个法是客可以 z，这也不。为客，你只能

察到自己的待时 y。除非你略过到的一，到站，则你就不能直接到
的隔z。
不过，我们可以做出zb的一。我们自己达站时的客人，我们可以自上一

趟后过去的时 x，然后察y。我们 x的后分到的y ，就得到了示zb 的
后念的分。
我们可以利用这个分来修我们对 zb 的分度。最可以通过反向 BiasPmf zb 得到 z 的分

。
我下一个分练习给读。：读 15章。你可以在http://thinkbayes.com/redline.py找到法的

概。了更多息，请参的“ 指南”。
8.9  习
练习8-1。
这一练习来自麦凯《息、和学习法》一：
有不的子一个上射出，并距 x的位上衰减，x是含有参 λ的指概率分。

衰变只有在x = 1 米到x = 20 米的口内能察到。在距 1.5 米、2 米、3 米、4
米、5 米、12 米到N个衰变，λ的后分是什么？
你可以 http://thinkbayes.com/decay.py下载这个练习的法。
 
第9   二
9.1  彩
射击动中，参伍用互射击，用涂料填充的命中时会碎。这一动通常在一个
了障碍和其他可为掩护物体的域中进。
你在一个宽30 50 的室内场地玩，靠近一 30 的墙壁站着，怀你的对手一

到了墙附近。沿着墙壁，你看到个有颜色的痕迹，可以为你的对手开了。
痕迹是在沿着下墙 15 、16 、18 和21 。根据这据，你为你的对手

的位在里？
图9-1显示了场地的平图。以的下为原点。我以α和β 为射击的未位坐，称为

alpha和beta。痕迹位记为x。对手射击的度为 θ theta。
图9-1  问题图
问题是贝分案例中常的灯问题的一个修改，我的依据了D.S.Sivia在一《

据分：贝（）》（牛出社，2006年）中对问题的。
你可以 http://thinkbayes.com/paintball.py 下载章。更多息请参的“ 指南”。
9.2  Suite对象
首先，我们要一个Suite对象来示一有对手位的。个是一对坐：(alpha，
beta)。
下是 Suite对象的：
class Paintball(thinkbayes.Suite, thinkbayes.Joint):
def __init__(self, alphas, betas, locations):
self.locations = locations
pairs = [(alpha, beta)
for alpha in alphas
for beta in betas]
thinkbayes.Suite.__init__(self, pairs)
Paintball 承自我们过的Suite对象，至 Joint我会上开始。
alphas 是 alpha 有可能的， betas 是 beta 的。 pairs 是有的（ alpha ， bata ）对的
。locations是沿墙的可能位，储在Likelihood中以便后用。
为30 宽，50 ，下是一个创 Suite对象的：

alphas = range(0, 31)
betas = range(1, 51)
locations = range(0, 31)
suite = Paintball(alphas, betas, locations)
这个先分里的有位都可能。的地图后，我们可选择一个更详细的先分

，我们先情况的开始。
9.3  三角学
现在我们要一个然，这着我们必须弄清在对手的位后，他击中一个沿着墙
壁的位点的然度。
为一个型，对手像一个旋转着的炮，向向射击的可能。在这情况下，

他最有可能中墙壁的alpha位，击中 alpha的位可能较小。
利用一三学，我们可以击中沿着墙壁点上概率。试想一下，射手以度θ射击，

会击中墙上的位 x，其中
这个得到θ
此，墙上个位，我们可以出θ。
取一对  θ 的导
这个导我称为“ 射速度”，这是目着 θ  沿着墙动的速度（一个射）。击中墙上一

个给的点的概率和射速度负。
我们道射手的坐和墙壁上的一个位，我们就可以出射速度：
def StrafingSpeed(alpha, beta, x):
theta = math.atan2(x - alpha, beta)
speed = beta / math.cos(theta)**2
return speed
alpha和beta是射手的坐；x是一个的位。结是x 对 theta的导。
现在，我们可以出示击中位概率的Pmf了。 MakeLocationPmf 接收的参是射手的坐

alpla和beta；命中的位 Locations（一个Locations可能的）。
def MakeLocationPmf(alpha, beta, locations):
for x in locations:
prob = 1.0 / StrafingSpeed(alpha, beta, x)
pmf.Set(x, prob)
pmf.Normalize()
return pmf
MakeLocationPmf 出了击中墙上个位的概率，其反射速度。其结是位的Pmf和们

的概率。
图9-2显示了用alpha=10 和一的beta 的Pmf 。对试的有，最有可能的位为x =

10；着beta的，Pmf 围也会扩大。
图9-2  用alpha=10和一的beta 的PMF
9.4  似然
现在我们要一个然。在给对手的坐的情况下，我们可以用MakeLocationPmf x
的然度。
alpha, beta = hypo
x = data
pmf = MakeLocationPmf(alpha, beta, self.locations)
like = pmf.Prob(x)
return like
强调下，alpha和beta是射手的想坐，x是命中痕迹的位。
pmf 含了给出射手的坐时墙上个位点的概率。 Pmf我们可以得到察到的位的概率。
大功告成。要更新Suite对象，我们可以用承自Suite的UpdateSet。
，，18 ，21 ])
suite.UpdateSet ([ 15 16
其结是一个射个（alpha，beta）到一个后概率的分。
9.5  联分布
分的个都是一个元变量时，称为联分布。了多个变量的分，这是“ 合”的
含。合分含了变量的分以变量的。
给一个合分，我们可以个变量的独分，这称为缘分布（ marginal

distribution）。
thinkbayes.Joint 了缘分的法：
# class Joint:
def Marginal(self, i):
pmf = Pmf()
for vs, prob in self.Items():
pmf.Incr(vs[i], prob)
return pmf
i是我们想要的变量的，在示例中i = 0 示alpha分，i = 1 示beta分。
下是取缘分的：
marginal_alpha = suite.Marginal (0)
marginal_beta = suite.Marginal (1)
图9-3显示了结（转为CDFs）。对 alpha，中是18，就在察到的据集的中心附近。对

beta，最可能的靠近墙壁（<10）， 10 外的分是均的，这恰好了在这可能位
的据非常不起眼（可能不）。
图9-3  据后，alpha和beta的后 CDF 线
给的后的缘，我们可以分为个坐：
，
print 'alpha CI ' marginal_alpha.CredibleInterval(50)
，
print 'beta CI ' marginal_beta.CredibleInterval(50)
对 alpha，50% ，
为(14 21)，beta是(5 31)。以据，的证据射手在内的近
侧。这还不是强证据，为 90% 了的大部分域！
9.6  分布
分示了有变量自的息，没有捕捉变量的依。
可其依的一法是通过分布。thinkbayes.Joint 了一个法：

def Conditional(self, i, j, val):
pmf = Pmf()
for vs, prob in self.Items():
if vs[j] != val: continue
pmf.Incr(vs[i], prob)
pmf.Normalize()
return pmf
的，i是我们想要的变量的；j是调变量的，val是有条件。
其结是 i个变量在 j个变量是val这一条件下的下的分。
例，下的 alpha在一 beta 围下的分：

betas = [10, 20, 40]
for beta in betas:
cond = suite.Conditional(0, 1, beta)
图9-4显示了结，我们可以其整地为“条件缘的后分 ”（posterior conditional marginal

distribution）。
图9-4  以个beta 据为条件的，alpha的后概率分线
变量是独的，条件分就会。为们（条件分）不，我们此可以说变量是

的。
例， beta = 10，alpha的条件分围就。对较大的beta ，alpha的分

围就较宽。
9.7  置信区间
一可后合分的式是。我们在 23 讨 “ ”的时，我略过
了一个微息点：对给的分，有很多度的。例，你想有一个50%的可
，你可以选择一的起来是50%的概率。
是一维的，最常的是选择中心的，例，中  50% 含了 25和 75 分

位的有。
在多个维度情况下，什么是的并非显。最好的选择可能要取决上下，一个

常用的选择是最大然，其中含了为 50%的最有可能的（一其他分）。
thinkbayes.Joint 了最大然的法：
# class Joint:
def MaxLikeInterval(self, percentage=90):
interval = []
total = 0
t = [(prob, val) for val, prob in self.Items()]
t.sort(reverse=True)
for prob, val in t:
interval.append(val)
total += prob
if total >= percentage/100.0:
break
return interval
一步是在Suite中创一个含有的，以概率减顺储。接着历，到

概率直到超过缺省分 percentage。这一步的结是 Suite对象得到的。请，这不一
是续的。
要可这，我写了一个，根据个的出现为个概率 “着色”：

def MakeCrediblePlot(suite):
d = dict((pair, 0) for pair in suite.Values())
percentages = [75, 50, 25]
for p in percentages:
interval = suite.MaxLikeInterval(p)
for pair in interval:
d[pair] += 1
return d
d是一个在Suite中个概率和其在进射的字。环部分的进这

并修改d。
图9-5显示了结。25% 为靠近墙沿的最暗域。对更大的分，更大并

向的右侧。
图9-5  对手坐的
9.8  讨
章的内说了章里到的贝架可扩展到维参。唯一的在，个
由参元来示。
我还了   Joint  对象，这是一个了合分法的父类，可用 Marginal ，

Conditional ，还有 MakeLikeInterval 合分。以向对象的概念来说， Joint 对象是一个入对象
（  http://en.wikipedia.org/wiki/Mixin）。
章中出现了很多新的词，让我们来顾下。
联分布
示在多维中有可能和们的概率。章中的例子是由坐 alpha和beta 构成的维。

合分了一个（alpha，beta）对的概率。
缘分布
合分中，个参在其他参未情况下的分，例图9-3展示的自独的alpha分和beta

分。
分布
在一个合分中。给一个多个其他参条件的情况下，个参的分。例，图9-4显示

了alpha在beta的个不下的个分。
合分，可以出和条件分。有了的条件分息，可以至少是近地重合

分。分不能重新创合分，为丢了变量的息。
对个参都有n个可能的，在合分中的大多操要的是 n2成的时。

还有参 d，时 nd，着维的，速地变得不用。
你要在合时内上万个，这情况是可的：2个维度，个参有1000个可能

； 3个维度，个参 100个可能； 6个维度，个参 10个。
要更多维度，个维度上更多，可以试试其他的优。我在 15章了一个例子。
你可以 http://thinkbayes.com/paintball.py 下载。更多息，请参的“ 指南”。
9.9  习
练习9-1。
在我们的型中，对手向射击都有的可能。为练习，我们来改进这一型。
章的分射手最有可能对墙的近端射击。在现中，对手靠近墙壁，为他不可能看到

自己和墙壁的目，以也不大可能射击到墙上。
一个改进的型，这为在内。尝试找到一更真的型，不要太杂。

 
第10   贝斯似
10.1  假说
我对古科学有爱。最近我访问了Norumbega ，这是一个 ·诺顿· 福德的不
纪念，是双效发和赝的发。不过这不是章要讨的。
章是变异说，
“最早在19 纪，约 · 克为男的能围大女，尤其在上。说，他

天和弱人口中，男占大多。克断女缺少变异是较为的现，以他
得男是‘优越生物’。”
来自http://en.wikipedia.org/wiki/Variability_hypothesis。
我尤其最后那部分，为我怀，事能证女的变异上更大，克也会这

为较的志。无，你总能到变异说的证据站不住脚的说法。
不过，最近我在上查来自CDC的危监统（BRFSS）的据，尤其是自我交的成年美

国男和女的度据时，也到了这个问题。据集了154407 男和254722 女。以下是
我们的发现：

男平均为178 米；女平均为163 米，以平均看男人大，这毫不。

男据的准差是7.7 米；女是7.3 米，此，对上看，男的变异更大
。
是为了较据的变异，用变异（Coefficient of Variation，CV）更有，准
差除以平均。对刻度，这是变异的一个量无的量。对男 CV为0.0433；对
女 CV是0.0444。
这就很靠了，以我们可以得出结，此据集了有的证据反对变异说。是我们还可

以用贝法得到更的结，在这个问题的过中，我还有会来示一大据集的
。
我以下个步进：
1．我们先最的现开始，不过用小 1000个的据集。
2．通过对概率进对变，我们可以扩展到量据集，会变。
3．最后，我们以近贝快过，也称为 ABC （ Approximate  Bayesian

Computation）。
你可以 http://thinkbayes.com/variability.py下载章中的。了更多息，请参的“

指南”。
10.2  值和标准差
在  9 章我们通过合分时了个参。在章中，我们用的法来分的参
：均 mu，准差sigma。
就这个问题，我了一个为height的Suite对象，其示一个mu,sigma对到其概率的射：

class Height(thinkbayes.Suite, thinkbayes.Joint):
def __init__(self, mus, sigmas):
thinkbayes.Suite.__init__(self)
pairs = [(mu, sigma)
for mu in mus
for sigma in sigmas]
thinkbayes.Suite.__init__(self, pairs)
mus 是 mu 的一个；sigmas的是sigma 的一个。有mu，sigma 对的先分是一个均分

。
然得出，到mu和sigma的，我们一个 x的然度。EvalGaussianPdf

的用，就是这个，此我们要做的就是用：
# class Height
x = data
mu, sigma = hypo
like = thinkbayes.EvalGaussianPdf(x, mu, sigma)
return like
学的度学习过统学，你道进 PDF 时得到的是概率密度。为了得到一个概

率，你必须在一围上对概率密度积分。
就我们的目的来说，我们其不要概率，只是要一概率的量，概率密度就合

。这个问题最的部分是选择mus和sigmas的合围。围太小，会略了一得的概率
，导得到误结。围太大，管可以得到的案，是白白了能。
以在这里有会利用的法，让贝法更效。体说，我们可以用的量找

到mu和sigma的最可能位，并利用这的准误差来选择一个可能的围。分的参是μ
和σ，我们取n个的一个，μ的量就是的均 m。
σ的量是的准差，s。
对μ的的准误差为，对σ的的准误差为。
下就是有的：
def FindPriorRanges(xs, num_points, num_stderrs=3.0):
# compute m and s
n = len(xs)
m = numpy.mean(xs)
s = numpy.std(xs)
# compute ranges for m and s
stderr_m = s / math.sqrt(n)
mus = MakeRange(m, stderr_m)
stderr_s = s / math.sqrt(2 * (n-1))
sigmas = MakeRange(s, stderr_s)
return mus, sigmas
xs是据集。num_points是取围内的的个。num_stderrs是量侧围的宽度，以
准误差。
是mu和sigma 对构成的一个。
MakeRange 下：
def MakeRange(estimate, stderr):
spread = stderr * num_stderrs
array = numpy.linspace(estimate-spread,
estimate+spread,
num_points)
return array
numpy.linspace 创一个由距分隔的元构成的，在 estimate-spread 和 estimate+spread

上，右端的。
10.3  更新
最后，下是创和更新Suite对象的：
mus, sigmas = FindPriorRanges(xs, num_points)
suite = Height(mus, sigmas)
suite.UpdateSet(xs)
print suite.MaximumLikelihood()
根据据来选择先分的围，接着利用这据做了更新，这个过多少有。通常

来说，利用了的据，事上的是。
在这个例子里是可以的。的，我们用据来选择先的围，这只是为了免量很大、

却微其微的概率。给 num_stderrs = 4，围就以有得的然度了，后扩
大围对结也毫无。
上， mu和sigma 的有上，先都是均分的，为了效率我们略了有不重要的

。
10.4  CV的后验分布
一有了mu和sigma的后合分，我们就可以出男女的CV分，自然地，其中一个的概率会
超过外一个的概率。
为了 CV的分，我们枚 mu和sigma的对：

def CoefVariation(suite):
for (mu, sigma), p in suite.Items():
pmf.Incr(sigma/mu, p)
return pmf
然后我们用thinkbayes.PmfProbGreater来男有更多变异的概率。
分很，还有个额外的我们必须的问题。
1．着据集大小的，我们到了一由浮点带来的问题。

2．据集含了一不对的端。我们要让过在到这异常时也是壮
的。
以下这问题其决案。
10.5  据下
BRFSS 据集选择 100个进我说的分，会常，得到看起来合的
后分。
我们选择 1000个的，然后，我们 Pmf.Normalize得到一个误：

ValueError ：total probability is zero.
这个问题在我们用概率密度来然度，续分密度往往很小。你 1000个，

其结是非常小的。在这个例子里，其甚至小到不能由一个浮点来示，以向下入到，这
称为下。分的有概率是0，也就不成其为一个分。
一可能的决案是更新后重新归一 Pmf， 100个，这就常了，很

。
一个更好的选择是以对变来然度。这一来就不是较小，是对了。

Pmf 了Log、LogUpdateSet和Exp 法，这个过变得。
Log Pmf中概率的对：
# class Pmf
def Log(self):
m = self.MaxLike()
for x, p in self.d.iteritems():
if p:
self.Set(x, math.log(p/m))
else:
self.Remove(x)
在应用Log进对变，用MaxLike找到m——Pmf中最的概率。有概率除以m，以最

概率归一为1，这得到一个为0的对。其他日志概率均为负。 Pmf中有的概率为
0，去们。
然 Pmf是基对变的，我们不能用 Update 、 UpdateSet Normalize 。则其结没有

；你这么用，Pmf会发异常。反，我们必须用LogUpdate和LogUpdateSet。
下是LogUpdateSet的现：
# class Suite
def LogUpdateSet(self, dataset):
self.LogUpdate(data)
LogUpdateSet 历据并调用LogUpdate：
# class Suite
def LogUpdate(self, data):
like = self.LogLikelihood(data, hypo)
self.Incr(hypo, like)
LogUpdate类 Update，不的是调用Loglikelihood 不是Likelihood，Incr 不是Mult。
用对然免了下溢的问题，时Pmf只是进对变，没有更多用了。我们还必须用

Exp来转这一变过：
# class Pmf
def Exp(self):
m = self.MaxLike()
for x, p in self.d.iteritems():
self.Set(x, math.exp(p-m))
对然度是一个大的负，得到的然有可能下溢。以Exp寻找对然度的最大 m，

用m转有的然（非对）。得到的分有1的最大然度。这个过以最小的度转了
对变。
10.6  对似然
现在我们要的是Loglikelihood。
# class Height
def LogLikelihood(self, data, hypo):
x = data
mu, sigma = hypo
loglike = scipy.stats.norm.logpdf(x, mu, sigma)
return loglike
norm.logpdf PDF的对然。
下是整个更新过：
suite.Log ()
suite.LogUpdateSet (xs)
suite.Exp ()
suite.Normalize ()
顾一下， Log Suite对象进对转。 LogUpdateSet 调用 LogUpdate ，调用 Loglikelihood 。

LogUpdate 用Pmf.Incr，为对然然度。
更新后，对然都是较大的负，以在进变转，Exp对们进转，这就是我们免

下溢的过。
一  suit 对象转来，概率就变 “线 ”的，这着其“非对 ”了，以我们可以用

Normalize。
用这法，可以在整个据集时免产生下溢，然很。我的脑起来可能要

一小时。我们还可以做得更好。
10.7  一个小的优
通过学和的优倍地快了速度。下一了一还要更快的法。以，你
想直接得到好法，那么可以过这一。
Suite.LogUpdateSet在个据点上调用LogUpdate一。我们可以通过一整个据集的对

然来快步。
我们开始的PDF：
并对 log（去了常项）：
对给的 xi，总对然是
去不 i的项，得到
这一过转为Python 下：
# class Height
def LogUpdateSetFast(self, data):
xs = tuple(data)
n = len(xs)
mu, sigma = hypo
total = Summation(xs, mu)
loglike = -n * math.log(sigma) - total / 2 / sigma**2
self.Incr(hypo, loglike)
这只是一个小的优，带来了一个更大的优可能。请，和只取决 mu ，不是

sigma，以对mu的一个我们只要一。
为了免重新，我分出一个总和的，并memoize ，其在字中储的结

（ http://en.wikipedia.org/wiki/Memoization）：
def Summation(xs, mu, cache={}):
try:
return cache[xs, mu]
except KeyError:
ds = [(x-mu)**2 for x in xs]
total = sum(ds)
cache[xs, mu] = total
return total
储先
cache 的总和。可能try语 cache中一个结，则总和，缓并
结。
唯一美中不的是，我们不能用为缓中的一个key，为不是一个哈希类型。这就是为什
么LogUpdateSetFast 据集转为一个元。
这优以大约100的快了，在我不快的上整个据集（154 407 男和

254 722 女）用了不到一分。
10.8  ABC（似贝斯）
是，也许你耗不起这的时。这时，近贝（ABC）就是合的法了。ABC 后的
动是，据集的然度有以下点。
1．非常小，是对大型据集来说，这就是为什么我们必须用对转形式的原。
2．开销大，以我们不得不做这么多的优。
3．并非我们要的。
我们并不真心看到一据集的体然度。尤其对续变量，我们心的是到一个

类据的据集的然度。例，在欧元问题上，我们不心币翻转的顺，只心和反
的总。在问题上，我们不心看到一个体的，是的量和的最大
。
，BRFSS的中，我们并不真想道看到一个据集合的概率（是为有成上万的

人），是更类出这的问题“ 体人口中取出一个参为μ和σ的10万人口，那么取到
一个符合均和差的的会是多少？”
对一个分的，为可以分地找到分的统量，我们可以有效地这个问

题。在先分的围时，我们做到了这一点。
参为μ和σ的分取n个，并均 m，m的分是参为μ和的分

。
地，的准差分 s，也是为参和的分。
给 μ和 σ ，我们可以用这的分来统量m和s的然度。下是

LogUpdateSet 现这个功能的新：
def LogUpdateSetABC(self, data):
xs = data
n = len(xs)
# compute sample statistics
m = numpy.mean(xs)
s = numpy.std(xs)
for hypo in sorted(self.Values()):
mu, sigma = hypo
# compute log likelihood of m, given hypo
stderr_m = sigma / math.sqrt(n)
loglike = EvalGaussianLogPdf(m, mu, stderr_m)
#compute log likelihood of s, given hypo
stderr_s = sigma / math.sqrt(2 * (n-1))
loglike += EvalGaussianLogPdf(s, sigma, stderr_s)
self.Incr(hypo, loglike)
在我的脑这个整个据集用时大约1 ，得到的结有5位的度结一。
10.9  的可
我们差不多可以看到结了，还有一个问题要。据集中有一是误的异常
据。例，有3个男人为61  米，也就是说他们是界上最的成年人了。外，有四个 229
米的女，这个据界上最的女人一点。
这也不是没可能，还是有点不的，这让这有度。我们必须

得，为这端对变异问题有不成例的。
由 ABC基总统，不是整个据集，我们可以选择在有异常的情况下也的总统量

这一过更可靠。例，我们可以不用平均和准差，用中位和四分位距
（IQR），在 25和 75个分位。
更一般地，我们可以出一个分有的分位距（IPR）：

def MedianIPR(xs, p):
cdf = thinkbayes.MakeCdfFromList(xs)
median = cdf.Percentile(50)
alpha = (1-p) / 2
ipr = cdf.Value(1-alpha) - cdf.Value(alpha)
return median, ipr
xs是一个，p是希望的围；例，p = 0.5产生四分位距。
MedianIPR的工原是 xs的CDF，然后取中位和个分位的差。
通过 CDF 给准差的分的分，我们可以 ipr转到一个sigma的。例，一

个的则是，分的68% 入均的一个准差内，在右端下了其余的16%。
我们在 16和 84 分位的围内进，我们期的结是2*sigma，以我们可以通过
68%的IPR 除以2来 sigma。
更一般地，我们可以选择sigma的个。MediaS 了这一的更通用的：

def MedianS(xs, num_sigmas):
half_p = thinkbayes.StandardGaussianCdf(num_sigmas) - 0.5
median, ipr = MedianIPR(xs, half_p * 2)
s = ipr / 2 / num_sigmas
return median, s
，xs是；num_sigmas是结决的准差量。其结是median，μ的；还有s，

σ的。
最后，在LogUpdateSetABC我们可以用median和s 平均和准差，效很好。
这有点儿，我们在用察的分位 μ和σ，是贝法灵活的一个示例。

上，我们一直都在问“给一个μ和σ的，还有一个有可能入误的过，那么生成一
给统的然度是多少？”
我们可以不受地选择顺眼的统量，此时：μ和σ 了分的位和，以我们

要选择那现了这征的统量。例，我们选择了 49和 51 分位，有分围的
息就很少（译：太），以得对σ的对据的约束小。就生成的，有sigma的可
能都然度，以西格的后分看起来就和分没有。
10.10  的更大？
我们可以开的问题了：男的变异女更大？
通过用基中位和IPR的ABC 法， num_sigmas = 1，我了mu和sigma 合分的后。

图10-1和图10-2显示了结的线图，mu在x ，sigma在y ，概率以z 示。
图10-1  美国男平均和准差后合分的线图

图10-2  美国女平均和准差后合分的线图
对一个合分，我了CV的后分。图10-3显示了男和女的这分结。男平
均为0.0410；女的平均为0.0429。由没有重，我们可以较地得出女在
男变异更大的结。
图10-3  男和女变异 CV的后分 CDF 线，基可靠型
那么，这就是变异的最案了？可的是，没有。事证，这的结依跨分

围的选择。指 num_sigmas = 1，我们可以得出结说女波动围更大，若是指 num_sigmas = 2，
在度下，结是男围更大。
这一差的原在，小材的男人更多，平均也较大。
此，我们对变异的取决对“变异 ”的。指 num_sigmas = 1时，我们接近

平均的人。大num_sigmas，就给了端更多的重。
选择究竟要出问题的一，我们就要对这一更的。为此，变异可能

煳到以。
然，这有助说我的一新想法，我想你会可，这是一个有的例子。
10.11  讨
还有对ABC的看法。一是，称指的，和用的，近法起来
更快。
请记住，贝分总是基型决的，这着不在“ ”的决案。人的物
统都可能在许多型，个型产生不的结。要对结进，就必须型。
此，ABC的一是，然度的外一类型。 p(D|H)，我们出的问题是“在

一个给下，据的然度是多少？”
对大型据集，据的然度非常小，这上的问题可能就不合。我们真想道的结是

新的据类据的可能，这里，“类 ”的是一个决。
ABC 后的基想是，个据集产生了的描统量，那们就是类的。在

情况下，在章的例子中，到底选择总统量并不显。
你可以 http://thinkbayes.com/variability.py下载章中的。了更多息，请参的“

指南”。
10.12  习
练习10-1。
“ 效应量（ effect  size ） ” 是一个在量的差异的统量（
http://en.wikipedia.org/wiki/Effect_size）。
例，我们可以用 BRFSS得到的据去男女的度差异。由μ和σ的后分的

，就能生成这一差异的后分。
用效应量的无量度量法可能更好，不以米为位进差异量。一选择是通过其

（据）除以准差（类我们用变异一）。
1的参为（μ1，σ1）， 2的参为（μ2，σ2），
无量的效应量就是
编写一个，接收据的mu和sigma的合分，并效应量的后分。
示：枚个分有对的时太，应。
 
第11   假设验
11.1  回到
 27  的“欧元问题”中，我了来自麦凯《息、、和学习法》中的一个问题：
2000年1月4日星期，《报》上载了一个统的：
以缘转动利时一欧元币250 时，得到的结是 140 反 110 。“这看起来很可

”，伦敦学的统讲巴里· 说，“ 币是均的，得到这个结的可能
7%”。
那么，这一结是为“ 币心非均 ” 了证据呢？
我们了币朝上的概率，我们并没有真麦凯的问题：据是证了币是心

的？
在  4 章中我出，据在一下外下的可能要，那么据就是支

的，这贝子大 1的情况。
在欧元问题的例子中，我们个：用F 示币是心的，B 示币是均的
。
币是均的，据的然度，p(D | F)。上，我们成了一个现这个

。
x = hypo / 100.0
head, tails = data
like = x**heads * (1-x)**tails
return like
我们可以创一个调用Likelihood的Euro suite对象：
suite = Euro()
likelihood = suite.Likelihood(data, 50)
p(D|F)是5.5×10−76，这一结除了说据集的概率小，没有什么用。要得个

然度们的率，以我们还要 p(D|B)。
要 B的然度并不，为“ 心”的含并不那么。
一可能是在先查据。那么在这个例子里，“ 心”就是指向上的概率为

140/250。
actual_percent = 100.0 *140/250
likelihood = suite.Likelihood(data, actual_percent)
B的这个我称为 B_cheat ; b_cheat 的可能是34×10−76 ，然是6.1。此，我们可以

说，据是支这个的B 的。
用据来的显然是有的。根据这一，据集都支 B，除非
察到的向上分恰好是50%。
11.2  来一个公的对
为了现一个的对，我们必须在无据的情况下先 B。那么我们来尝试一个不的
。查利时欧元币，你可能会到“ ” “反 ”更出。可以猜想，形状对x有一的
，不能是就是这一让多少一点。以，你可能会想：“我为币心，以x
是0.6 0.4，不道究竟是多还是少。”
我们可以好好下这个由个子构成的称为B_two的。我们可以出个子

的然度，然后平均然度。
，
like40 = suite.Likelihood (data 40)
，
like60 = suite.Likelihood (data 60)
likelihood= 0.5 * like40 + 0.5 * like60
对 b_two 然度（贝子）为1.3，这着据微弱的证据支 b_two。
更一般地，想你怀币就是心不均的，可是对  x 的没有线。在这情况下，你可以创

一个称为b_uniform的Suite对象， 0到100的子。
b_uniform =Euro(xrange (0 ，101))
b_uniform.Remove (50)
b_uniform.Normalize ()
我以 0到100 始 b_uniform。除了x 50%的子，为 x为50%时，币就是均的，不

管你不除除这一，对结都没有  。
要 b_uniform的可能，我们个子的然度，并其平均。

def SuiteLikelihood(Suite, data):
total = 0
for hypo, prob in Suite.Items():
like = suite.Likelihood(data, hypo)
total += prob * like
return total
b_uniform的然是0.47，这着 F，据对b_uniform只是微弱的证据。
你下SuiteLikelihood的，你可能会到这类一个更新过。来一下，下

是Update的功能：
Normalize 下：
def Normalize(self):
total = self.Total()
factor = 1.0 / total
for x in self.d:
self.d[x] *= factor
return total
Normalize的是Suite对象中以先的概率的总概率，子的平均然度。Update
续这个，以不用对SuiteLikelihood进，我们就可以像下这 b_uniform的然度：
likelihood= b_uniform.Update(data)
11.3  三角前验
在 4章中，我们还讨了形三的分，其在50%附近的有更的概率。子的
先分为三，可以这的然度：
b_triangle = TrianglePrior()
likelihood= b_triangle.Update(data)
和 F ，b_triangle的然为0.84。以我们可以说据对 B只是微弱的证据。
下显示了的可能的先概率，以对 F的然（贝子）。

 

假设似然（×10 −76）贝斯因子

F 5.5 —

B_cheat 34 6.1

B_two 7.4 1.3

B_uniform 2.6 0.47

B_triangle 4.6 0.84
根据我们选择的，据会对“ 币是心的” 支反对的证据，在情况下，证据都

是对微弱的。
综上，我们可以用贝来较F和B的然度，必须做一工来指出 B的

含。这一点依币和币旋转为的景息，以对的，人们都有由出异。
我就这个例子的延续了大 ·麦凯的讨，得到了一的结。你可以

http://thinkbayes.com/euro3.py 下载章。了更多息，请参的“ 指南”。
11.4  讨
对 B_uniform，贝子为0.47，和F对，这着据的证据反对这一。在的部
分中，我这一证据描为“弱”，没有说原。
部分原有年。哈德· 里，贝统的早期支，出了一个读贝子的

度：
 

贝斯因子

1～3 不一

3～10 可的

10～30 强

30～100 很强

>100 决的
在例中，支 B_uniform的贝子是0.47，以支 F的贝子是2.1，也就是里为

的“不一 ”，其他的学也出了不的用词。若要免这形词上的，我们可以用率来
。
你的率是1:1，接着你看到了贝子为2的证据，你率的后就是2:1。在概率，

据你的念度（degree of belief） 50%改变到66%。对大多现界的问题来说，这一类
误差和其他不来导的要小。
一情况下，你得到一个贝子是100的证据，你的后率是100:1 99%以上。无

你是，这的证据是“决的”，是强烈的证据。
11.5  习
练习11-1。
有人感（ESP）的在。例，有人猜扑克牌的能进猜要。
在这类ESP上，你的度是什么？你为可能在还是不在？还是你强烈呢？写下你

的先率。
现在，能说服你 ESP至少有50%可能在的证据强度。多大的贝子能让你90% ESP

的在？
练习11-2。
想一个问题的案是1000。也就是说，一个贝子是1000的支 ESP的证据可以改变你的

想法。现在你在一个威审科学期上读到了一篇，中出了一个贝子是1000的支
ESP的证据，这会改变你的想法？
没有，你怎么决这个显的矛盾？你会发现读大 ·休谟的章《迹》会帮助你这个

问题。章 http://en.wikipedia.org/wiki/Of_Miracles。
 
第12   证据
12.1  读SAT成
你是诸一个工学的生，在个选人爱丽和，他们在许多
的历都差不多，只是爱丽在SAT 学部分的得分更。SAT是在量大学平学准情况的准
试。
爱丽得到了780分，得到了 740 分（分800分），你也许想道这一差异是就是爱丽

准得更好的证据，还有证据的强度是多少。
现中，这个分都非常好，位选人可能都为大学学学习做好了准。以真的

可能会我们选择那最能体现我们希望学生的能和态度的选人。不过既然这是一个贝
的例子，我们还是住不要扩大问题畴，：“爱丽准得更好的证据有多强？”
要这个问题，要进一决。我以一个其不真的开始，然后来改进

型。暂时的，先有的SAT试题有度。事上，SAT 选择的试题是有一度的，
为这了度量题统差异的能。
是，我们选择一个部试题有度的型，就可以为个参试一个征

p_correct，对一问题的概率。这可以很地出给得分的然度。
12.2  得分SAT
为了 SAT成，我们要了得分和例分的过。个试基对题和题的量会得
到一个原始分。原始得分转为200～800 的例分。
2009年，SAT 学部分有54题，原始分为个试对题的个减去题的个以1/4分

（，对1题得1分， 1题减1/4分）。
负责管 SAT的事会，发了一个原始分到例分的射图。我下载了据并其封

在一个插对象中，能进向（原始分到例分）和反向（例分到原始分）查找。
你可以 http://thinkbayes.com/sat.py下载这个例子的，更多息请参的“ 指南”。
12.3  先验
美国大学事会还发了有试例分的分。我们一个例分转为原始分，
并除以题目量，那么结就是p_correct的。以我们可以用原始分的分为p_correct的先
分。
下是读取并据的：
class Exam(object):
def __init__(self):
self.scale = ReadScale()
scores = ReadRanks()
score_pmf = thinkbayes.MakePmfFromDict(dict(scores))
self.raw = self.ReverseScale(score_pmf)
self.prior = DivideValues(raw, 54)
Exam封了我们的有试的息。ReadScale和ReadRanks读取件并含了据的一个对

象：self.scale是转原始分到例分（反）的Interpolator；scores是（得分，率）对的
。
score_pmf 是缩分的Pmf对象。self.raw 是原始分的Pmf对象。 self.prior是p_correct 的Pmf对

象。
图12-1显示了p_correct的先分。这分近分，是在端很平。在上，SAT

强调了平均个准差内的试得分，略超出围的部分。
图12-1  SAT 试生p_correct的先分
对一个参试，我了一个为Sat的Suite对象， p_correct的分。下：

class Sat(thinkbayes.Suite):
def __init__(self, exam, score):
thinkbayes.Suite.__init__(self)
self.exam = exam
self.score = score
# start with the prior distribution
for p_correct, prob in exam.prior.Items():
self.Set(p_correct, prob)
# update based on an exam score
self.Update(score)
__init__接收一个Exam对象和例分。创一个先的，根据试成更新这个。
像往常一，我们 Suite 承Update，改写Likelihood：

p_correct = hypo
score = data
k = self.exam.Reverse(score)
n = self.exam.max_score
like = thinkbayes.EvalBinomialPmf(k, n, p_correct)
return like
hypo是p_correct的一个，data为例分。
为了起，原始分就是案的量，略误案的罚分( 题1/4分)。这的，然度

由 n个试题中得到k个的概率的项分给出。
12.4  后验
图12-2显示了在爱丽和分基础上得到的p_correct的后分。我们可以看到，们重在
一起，有可能的p_correct更，不可能。
图12-2  爱丽和的p_correct的后分
我们到原来的问题，“有多强的证据，爱丽准得更好？”我们可以用p_correct的后

分来这个问题。
要以贝的形式问题，我了个：

A：p_correct上，爱丽。
B：p_correct上，爱丽。
要 A的然度，可以后分中枚有对，得到有爱丽的p_correct

概率总和，我们有一个 thinkbayes.PmfProbGreater来现。
此，我们可以一个 A和B的后概率的Suite对象：

class TopLevel(thinkbayes.Suite):
a_sat, b_sat = data
a_like = thinkbayes.PmfProbGreater(a_sat, b_sat)
b_like = thinkbayes.PmfProbLess(a_sat, b_sat)
c_like = thinkbayes.PmfProbEqual(a_sat, b_sat)
a_like += c_like / 2
b_like += c_like / 2
self.Mult('A', a_like)
self.Mult('B', b_like)
self.Normalize()
通常，我们一个新的Suite对象时，会承Update，并（根据型）现Likelihood。例中，

则要重写Update，为这能更时的然度。
到Update的据是示了p_correct后分的Sat对象 。
a_like是爱丽较的p_correct的总概率；b_like是较的p_correct的总概率。
c_like 是 “ ”的概率，在用一散为p_correct 的情况下，这就是人为的

了。为，我们用更多的，c_like会较小，在端情况下， p_correct 是续的，c_like 为
。以我  c_like 为一入误差并在a_like和b_like 的去。
下的创了TopLevel并更新：
exam = Exam()
a_sat = Sat(exam, 780)
b_sat = Sat(exam, 740)
top = TopLevel('AB')
top.Update((a_sat, b_sat))
top.Print()
A的然度是0.79，B的然度为0.21。然 ( 贝子)为3.8，这着这试成的证据

，在SAT成上，爱丽优。看到试成，我们 A和B可能，那么在看到成
后，我们应 A的概率是79％，这着然有21％的可能，准得更好。
12.5  一个更好的模型
请记住，我们今做的分都是基有SAT问题是度的下的。上，有题其他
题要，这着爱丽和的差异可能会更小。
是这有多大的误差？误差小，我们可以得出一个型（度）好的结。

误差大，就要一个更好的型。
在接下来的中，我们开发了一个更好的型，并会发现（一下）误差就是小的。

以，你型，可以过这内直接到下一章。你想了更真的型过，接着
往下看……

个试有一度的题效率efficacy，题效率量其 SAT问题的能。

个问题有不平的度difficulty。
最后，一个试问题的会题效率efficacy和度平difficulty ，并由下
决：
def ProbCorrect(efficacy, difficulty, a=1):
return 1 / (1 + math.exp(-a * (efficacy - difficulty)))
此是项响理的线的一个，你可以参
http://en.wikipedia.org/wiki/Item_response_theory。题效率和度平基一刻度平，得到案
的概率就只取决们的差异。
efficacy和difficulty 时，的问题的概率为50%。 efficacy ，概率接近100%，

降（ diffiulty ），概率接近0%。
题在效率上的分和有问题度的分，我们就可以原始分的期分。我们通

过步成。首先，对 efficacy的个题，我们原始分的分下：
def PmfCorrect(efficacy, difficulties):
pmf0 = thinkbayes.Pmf([0])
ps = [ProbCorrect(efficacy, diff) for diff in difficulties]
pmfs = [BinaryPmf(p) for p in ps]
dist = sum(pmfs, pmf0)
return dist
difficulties是度，一个试题对应一个度。ps为概率的，pmfs是这个的Pmf对

象。下是对应的创：
def BinaryPmf(p):
pmf.Set(1, p)
pmf.Set(0, 1-p)
return pmf
dist是这 Pmfs的总和。还记得40 我们 Pmf对象时的“ ”，结是总和的分。为了用

Python的sum 来 Pmfs，我们要 pmf0 为Pmfs的，以pmf + pmf0 就 pmf了。
道题的效率，我们可以他们原始分的分。对一群有不的题效率的人，产

生的原始分的分是合的。下是合分的：
# class Exam:
def MakeRawScoreDist(self, efficacies):
pmfs = thinkbayes.Pmf()
for efficacy, prob in efficacies.Items():
scores = PmfCorrect(efficacy, self.difficulties)
pmfs.Set(scores, prob)
mix = thinkbayes.MakeMixture(pmfs)
return mix
MakeRawScoreDist接收efficacies ，这是一个示有题效率分的Pmf对象。我是均

为0，准差1.5的分。这一。得到一个问题的的概率取决题效率和试题
度的，以我们可以选择效率的位，准应的题目度的位。
pmfs是含一题效率Pmf的一个元Pmf，并射到一的试上。MakeMixture接收元

Pmf并合的分 (参 45 上的“ 合分 ”)。
12.6  校准
我们度的分情况，我们就可以用 MakeRawScoreDist 原始分的分。对我们来
说，问题是类的其他法：有原始分的分，要断度的分。  度的分是带有参 center
和width的均分，MakeDifficulties可以得到这参下试题度的。
def MakeDifficulties(center, width, n):
low, high = center-width, center+width
return numpy.linspace(low, high, n)
通过尝试了个合，我发现，center= −0.05和width= 1.8得到的原始分分类据，
图12-3 示。
图12-3  原始分的分和一个拟合的型
此，度的分是均分，其围大约是−1.85至1.75，题效率是均为0，准差1.5的

分。
下显示了不效率的试 ProbCorrect的围：
 
（Difficulty）
答效（Efficacy）
−1.85 −0.05 1.75
3.00 0.99 0.95 0.78
1.50 0.97 0.82 0.44
0.00 0.86 0.51 0.15
−1.50 0.59 0.19 0.04
−3.00 0.24 0.05 0.01
效率为3的题 ( 个准差平均 )有99％的会对最的问题，78％的会对最的

问题。在的一端，均个准差的题，只有24％的会对最的问题。
12.7  效的后验分布
现在，型准了，我们可以为爱丽和题效率的后分。下是一个用
型的Sat类的新：
class Sat2(thinkbayes.Suite):
def __init__(self, exam, score):
self.exam = exam
self.score = score
# start with the Gaussian prior
efficacies = thinkbayes.MakeGaussianPmf(0, 1.5, 3)
thinkbayes.Suite.__init__(self, efficacies)
# update based on an exam score
self.Update(score)
Update调用Likelihood，这出 SAT得分时，题效率平的然度。

efficacy = hypo
score = data
raw = self.exam.Reverse(score)
pmf = self.exam.PmfCorrect(efficacy)
like = pmf.Prob(raw)
return like
pmf是效率的题得到的原始得分的分，like是察到分的概率。
图12-4显示了爱丽和效率的后分。期的那，爱丽的分位更，靠近右，

有一重部分。
图12-4  爱丽和题效率的后分
用TopLevel，我们较 A（爱丽效率更的）和 B（效率更的）。

然为3.4，我们型（3.8）得到的小。此，这个型，据的证据支 A，弱
的。
我们的先是A和B 可能，那么参这个证据，我们会给 A 77％的后概率，外有23％的

可能，的效率更。
12.8  预测分布
到目为我们做的分了爱丽和的效率，由效率是无法直接察到的以以
证结。
为了让型有的能，可以用来一个的问题：“ 爱丽和进一 SAT

学试，爱丽得分的可能是多少？”
我们通个步这个问题：

用效率的后分来生成个试接受原始得分的后分。

较这个分，爱丽得到更分的概率。
我们有了大部分要的。为了分，可以用MakeRawScore-Dist：
exam = Exam()
a_sat = Sat(exam, 780)
b_sat = Sat(exam, 740)
a_pred = exam.MakeRawScoreDist(a_sat)
b_pred = exam.MakeRawScoreDist(b_sat)
接着，我们可以得到在中爱丽分，分，他们分的可能：
，
a_like = thinkbayes.PmfProbGreater(a_pred b_pred)
，
b_like = thinkbayes.PmfProbLess(a_pred b_pred)
，
c_like = thinkbayes.PmfProbEqual(a_pred b_pred)
爱丽在中得分更的概率是63％，这着更分的概率是37％。
请，我们对爱丽的效率更有心，下一的心。爱丽的效率较的后赔率是

3:1，在下一个试中，爱丽更好的赔率只有2:1。
12.9  讨
我们以问题“爱丽准更充分的证据有多强”为章的开始，这个问题上起来像我们想
试个：要么爱丽，要么准得更好。
为了这的然度，我们必须决一个问题。对个参试，我们必须找到

p_correct efficacy的后分。
这的称为干参，为我们上不心们是什么，为了心的问题必须这

量。
章中我们现可分结的法是绘这参的分。thinkbayes.MakeJoint接收个

Pmfs对象，们的合分，并个可能的和概率对的概率密度。
def MakeJoint(pmf1, pmf2):
joint = Joint()
joint.Set((v1, v2), p1 * p2)
return joint
此个分是独的。
图12-5显示了 p_correct （爱丽和）的合后分。中的对线示爱丽和的

p_correct 的情况。在这条线的右，说爱丽准得更好；，说准得更好。
图12-5  爱丽和 p_correct的合后分
在TopLevel.Update中， A和B的然时，我们了这条线侧的概率量。对在

的元格，我们 A和B 的总量，并到A和B中。
我们章中用的过 ——为了个互的然度干扰参 ——是一常的决类

问题的贝法。
 
第13   真
在章中，我描了一个肾患问题的决案。我为这个问题对患和进医的医
生来说都是重要和有的。
我为很有，为这虽然是一个贝问题，是用贝的式却是含的。我出了法

和，在章结，我贝的部分。
你想了更多的术细，可以在http://arxiv.org/abs/1203.6890 读我有这项工的。
13.1  的
我是在线统 http://reddit.com/r/statistics的忠用户，也偶内。2011年11月，我在那儿
读到了以下消息：
“我现在 Ⅳ期肾癌，想癌是是在我部以就形成的…… 伍和的日

期是可以有 50/50 的可能我是这么得的？是有可能我在伍日期时患的概率是多少？
时，我的为15.5×15 米，Ⅱ 。”
我了消息的，并得了更多的息，我了到， “可能非不是”①是在部服期

形成的，伍军人可以得到偿是不的（除其他外）。
为肾生缓，通常也没有什么发的状，可以有时并不进疗。医生还是会察

，并较一人未的在不时的生速率。有篇报导了这生率。
我 Zhang②的中找到了一据，并了看能得到原始据。不过他们以患

的原则了。不过我还是能绘出他们的报告据图形，则进量来取出我要的据。
他们以倍时率（RDT）的形式报告了率，以倍体/ 年的形式。此，RDT=1

示年双倍体积；RDT=2 示年四倍；RDT=-1，示一。图13-1显示了53例患 RDT的
分。
图13-1  RDT（年倍体积）的CDF
是上的据点；虚线是我就据拟合成的型。线条的部分和指分拟合得很

好，以我用了个合的指。
13.2  一个简模型
在尝试更有挑的东西，用型一般是不的。对手的一问题型有时就
了，不是，你还可以用型来证更杂的型。
我的型是：为的生有的倍时，是三维的，一维度量
翻倍，体积就是倍（2×2×2＝8）。
我案例的合到，他军伍到断日是3291天（约9年）。以，首先要的就是“

以中位速率，那么在伍日时有多大？”
体积倍时的中位， Zhang的报告中看约为811天。一个三维体，度的倍时为

的3倍。
# time between discharge and diagnosis, in days
interval = 3291.0
# doubling time in linear measure is doubling time in volume * 3
dt = 811.0 * 3
# number of doublings since discharge
doublings = interval / dt
# how big was the tumor at time of discharge (diameter in cm)
d1 = 15.5
d0 = d1 / 2.0 ** doublings
你可以 http://thinkbayes.com/kidney.py下载章。更多息，请参的“ 指南”。
结 d0约6 米。此，这个是在伍日期后形成的，必须以大幅超过平均速度的速度

。此，我可以断是“可能非不是”在伍形成的。
此外，我的率能暗示是是伍形成的。其始大小为0.1 米，我们可以

出达到15.5 米最寸的倍量：
# assume an initial linear measure of 0.1 cm
d0 = 0.1
d1 = 15.5
# how many doublings would it take to get from d0 to d1
doublings = log2(d1 / d0)
# what linear doubling time does that imply?
dt = interval / doublings
# compute the volumetric doubling time and RDT
vdt = dt / 3
rdt = 365 / vdt
dt是线的倍时，以vdt是体积的倍时，rdt是倍时。
倍量以线度量是7.3，这着RDT是2.4。在Zhang 人的据中，只有20%的在察期

中这么快。
以，一，我得出的结是“较有可能” 形成伍。
这都以的那个问题，我合给伍军人福利 VBA写了一封，我的结

，后来我还结告诉了我的一个科医生朋。他对Zhang 人察到的速度和生年龄
感到惊。他指出对研究人和医生，这一结都会起。
是为了让型更有用，我想要找到一个更普的年龄和大小的型。
13.3  更遍的模型
在断时的大小，道在一个给时形成的概率，年龄（生时）
的分是最有用的。
为了得出结，我了真生的，得到在生年龄的条件时，大小的分。然

后我们可以用贝法得到寸条件时的年龄分。
真以一个小开始，并以下这步：
1． RDT的分中选取一个率；
2．在个的结的寸；
3．记在个时隔里的寸；
4．重，直到超过最大的应寸。
对始寸，我选取了0.3 米，为这小的不太可能有入以快速的液

应（ http://en.wikipedia.org/wiki/Carcinoma_in_situ）。
我选择了245天（约8个月）的，为这是据中量对象的平均时。
最大寸我选择了20 米，在据中，察的寸围是1.0～12.0 米，以可以断这超出

了围的端，不多，不太可能对结有显著。
真基一个较大的：率为在个内是独互不的，此不依年龄、大

小，一个的生速率。
在 135 的“ ”中，我顾了这并了更详细的型。不过我们首先来看

一例子。
图13-2显示了真的寸（图形），以年龄为变量。10 米的虚线显示了在寸

的年龄围：最快的为8年；最的超过35年。
图13-2  的真时和大小
我用线度展示出结，上是依据体积进的。，为了一个转到一个，我以
给的直径来示球体的体积。
13.4  实现
下是这一真的心：
def MakeSequence(rdt_seq, v0=0.01, interval=0.67, vmax=Volume(20.0)):
seq = v0,
age = 0
for rdt in rdt_seq:
age += interval
final, seq = ExtendSequence(age, seq, rdt, interval)
if final > vmax:
break
return seq
rdt_seq是率 CDF 产生的器。v0是以毫（mL）示的始体积。interval是以年

的时隔。vmax是对应20 米度的最体积。
Volume 度量的米（cm）转为毫（mL）体积，基是一个球体这个条

件：
def Volume(diameter, factor=4*math.pi/3):
return factor * (diameter/2.0)**3
ExtendSequence在时隔结束时的体积。

def ExtendSequence(age, seq, rdt, interval):
initial = seq[-1]
doublings = rdt * interval
final = initial * 2**doublings
new_seq = seq + (final,)
cache.Add(age, new_seq, rdt)
return final, new_seq
age 是在隔结束时的生年龄。 seq 是一个含体积的元。 rdt 是隔期的

率，年倍。interval是以年的时步。
final是在时隔结束时的体积， new_seq是一个新的含有seq 上新出的体积final

的元。
Cache.Add在个时隔的末记个的年龄和寸，下会进。
13.5  存联分布
以下是cache的功能。
class Cache(object):
def __init__(self):
self.joint = thinkbayes.Joint()
joint是一个记个年龄- 寸对率的合Pmf对象，以近年龄和大小的合分。

在个真隔结束时，ExtendSequence调用Add：
# class Cache
def Add(self, age, seq):
final = seq[-1]
cm = Diameter(final)
bucket = round(CmToBucket(cm))
self.joint.Incr((age, bucket))
，age为的年龄，seq是目体积的。
新据到合分，我们用Diameter 体积转到直径，以米为位：

def Diameter(volume, factor=3/math.pi/4, exp=1/3.0):
return 2 * (factor * volume) ** exp
CmToBucket 米转到一个散的量bucket：

def CmToBucket(x, factor=10):
return factor * math.log(x)
buckets 隔分对度。利用 factor= 10得出一个合的buckets 量；例，1 米射到

bucket 0，10 米射到bucket 23③。
真后，我们就可以绘合分的图，其中个元格在给的大小—年龄对察到

的的目。
图13-3显示了1000 真后的合分。
图13-3  大小和年龄的合分
13.6  分布
通过合分取垂直切，我们可以得到对给年龄的寸大小分。通过做一平切
，我们可以得到给寸的年龄分。
下是对一个给的大小读取合分，并创条件分的。

# class Cache
def ConditionalCdf(self, bucket):
pmf = self.joint.Conditional(0, 1, bucket)
cdf = pmf.MakeCdf()
return cdf
bucket是对应大小的整。Joint.Conditional 给 bucket 下年龄的PMF。其结是给
bucket下年龄的CDF。
图13-4显示了这个在不大小下的CDF。总结这分，我们可以出不大小下的分

位。
图13-4  给大小条件下，生年龄的分
percentiles = [95, 75, 50, 25, 5]
for bucket in cache.GetBuckets():
cdf = ConditionalCdf(bucket)
ps = [cdf.Percentile(p) for p in percentiles]
图13-5显示了个大小的这分位。据点的合分中得到。在型中大小

和时是散的，这产生了误差，以我也展示了就个分位的最小拟合线。
图13-5  的年龄为大小的的分位
13.7  序列
到目为，得到的结都是基多项决的；让我们顾一下这，看看是误差最有
可能的来。

要转线量到体积，我们近球形。这个对米的很合，对非常大的

却不。
在真过中，率的分是基一个我们选择的和Zhang 报导据拟合的续型，据基
53 患。拟合只是近的，更重要的是，大一的可能产生不的分。
生型没有型。这一是为了 Zhang 人的结一：“不大小、子类
型和肾的率构成了一个广泛的围并上重了在一起了。” 是在大的量
下，们的差异可能会变得更显。
生速率的分不依的大小。对非常小和非常大的，这一是不符合的，
是由液应的。
Zhang 人的大小为1-12 米，他们没有发现大小和速度的统显著。

以上在，至少在这个寸围内很可能只是弱的(译：示没有 )。

在真中，个隔期的速率是独隔的率的。上这是是非的，速

过了的更可能(在下一个隔) 续快速。说，速率可能后。
其中，一个和最后一个最有问题。首先调查下后，过来球。
为了真有的生，我写了一个generator④，能一个给的Cdf产生一个。下

是法的工原。
1．分生成。这很，为我们能以一为条件下一的分。
2．利用 CDF，个转为其积概率。
3．通过给 Cdf，积概率转为应。
下：
def CorrelatedGenerator(cdf, rho):
x = random.gauss(0, 1)
yield Transform(x)
sigma = math.sqrt(1 - rho**2);
while True:
x = random.gauss(x * rho, sigma)
yield Transform(x)
cdf是的Cdf ; rho是的子，x是；Transform 们转成的分。
x的
一个是均为0，准差为1 的。对后续，平均和准差依先的。
给上一个x，下一个的平均为x * rho，差为1 - rho** 2 。
Transform 个 x 射到一个给 Cdf的 y。
def Transform(x):
p = thinkbayes.GaussianCdf(x)
y = cdf.Value(p)
return y
GaussianCdf 在x 上准分的CDF，积概率。Cdf.Value 积概率射到cdf的对应

。
根据cdf的形状，息可能会在转中遗，以可能 rho更。例，我 rho= 0.4

的率产生10000个，为0.37。是，由我们只是在对的量进猜，这就
接近了。
请记住，MakeSequence 要以一个器为参。接口允许以不的生成器为参：

iterator = UncorrelatedGenerator(cdf)
seq1 = MakeSequence(iterator)
iterator = CorrelatedGenerator(cdf, rho)
seq2 = MakeSequence(iterator)
在这个例子中，seq1和seq2 一分取得， seq1中的是不的， seq2的以近 rho的

。
现在，我们可以看到对结产生的效。下的显示了一个6 米的的年龄分位
，分用了不的生成器和有 ρ=0.4的生成器。
 
年的分
序列（米）
5 25 50 75 95
0.0 6.0 10.7 15.4 19.5 23.5 30.2
0.4 6.0 9.4 15.4 20.8 26.2 36.9
得最快的更快，最的速度更，以年龄的围就越宽。不的是对分

位是中的，对 95 分位就是6年多。为了这分位，我们要一个更好的
后的。
然，这式就以我们开始的问题：给一个度寸是15.5 米的，形成了8年以

上的概率是多少？
下是：
# class Cache
def ProbOlder(self, cm, age):
bucket = CmToBucket(cm)
cdf = self.ConditionalCdf(bucket)
p = cdf.Prob(age)
return 1-p
cm 是的大小；age是以年的阈。ProbOlder 转大小到bucket ，得到给 bucket下的年龄的

Cdf ，并这个年龄超过给的概率。
生没有后的条件下，一个15.5 米的年龄是8岁以上的概率是0.999 ，切无
了。为0.4的下，一个更快生的，概率然是0.995。为0.8，概率还是0.978。
误差的一个可能来就是近球形。对一个度寸为15.5 ×15 米的，这

可能不合。合，就好像是说，这个寸的是对平的，应和径6 米球体的
有的体积。到更小的体积和 0.8，年龄大 8的可能然是95％。
此，到误差，这么大的形成不到8年也是不可能的。
13.8  讨
好了，我们一整章都没有用贝封了贝更新的Suite类。怎么事？
贝的一法是其为反向得到条件概率的一个法。给 p（B|A），只要我们道

p（A）和p（B），就可以 p（A|B）。然只有在 p（B|A） p（A|B）的情况下，法是
有用的（由原）。
在这个例子中，通过真，我们可以年龄条件时寸的分， p（寸|年龄）。

寸时年龄的分， p（年龄| 寸）是很得到的。此，这是一个好的应用贝的
会。
我没有这么做的原是效率。要对给寸的p（寸|年龄），你必须量的

真。最后，你要在很大围的寸来 p（寸|年龄）。事上，你最整个寸和年龄
的合分 p（寸，年龄）。
一得到合分，就的不要贝了，你可以通过切合分取p（年龄|
寸），这在ConditionalCdf中过。
以，我们是绕过了贝，我们他在。
①此原是more likely than not，也可以译为可能，案例的殊，应和法严谨有，

以直译。
②Zhang ．利用一积CT 量法肾的生速率分［J］．射学2009，1（250 ）137-

144。
③译：bucket直译不恰，原。
④ 你对Python generator不悉，请参 http://wiki.python.org/moin/Generators。

 
第14   层次模型
14.1  器
我是姆· 贝 -里基那儿道下这个问题的，他是“最大熵”博客http://maximum-entropy-
blog.blogspot.com的。他是的《概率：科学的》的 E.T. 恩那儿道这个问题
的：
一个射，以平均 r个子的速度向一个器发射子，器只能记击

中的子的一部分，一个分 f， f为10% 器在1 的时内记了15个子，那么子
击中器的量n的后分是什么？子平均发射速率r的后分是什么？
要决这一个问题，我们要统以这参为开始，以到的据为结束的链：
1．射以平均速率r发射子。
2．在给的1 内，射向器发射了n个子。
3．n个子中，只有其中k个记下来。
原子衰变的概率在时都是的，以射衰变可以很好为一个松过。 r，则n

的分是参为r的松分。
并我们到个子的概率是独的，k的分是参为n和f的项分。
给统的参，可以得据的分。以我们可以用的（直接路）来决。
现在，我们希望用一个法：据，得参的分。这就是的。能决
向问题，你就可以用贝法来决向问题。
14.2  简的开
让我们问题的一个的 —— r ——开始。给 f的，以要做的就是 n。
我了一个为Detector的Suite对象，对器并 n。
class Detector(thinkbayes.Suite):
def __init__(self, r, f, high=500, step=1):
pmf = thinkbayes.MakePoissonPmf(r, high, step=step)
thinkbayes.Suite.__init__(self, pmf, name=r)
self.r = r
self.f = f
平均发射速率为 r个子，则n的分是参为r的松分。high和step 为n的上界和

的步大小。
现在我们要一个然：
# class Detector
k = data
n = hypo
p = self.f
return thinkbayes.EvalBinomialPmf(k, n, p)
data是到的子量，hypo是发射出的子的量。
上有n个子，并到们中的一个的概率为f，则到k个子的概率由项分

给出。
这就是器对象了。我们可以试着出r 的围：
f = 0.1
k = 15
for r in [100, 250, 400]:
suite = Detector(r, f, step=1)
suite.Update(k)
print suite.MaximumLikelihood()
图14-1显示了n对个给 r 的后分。
图14-1  3个不 r 下n的后分。
14.3  分层模型
在上一中，我们 r为的。现在，让我们松这一。我了一个Suite对象，称为
Emitter，对发射器并 r的围：
class Emitter(thinkbayes.Suite):
def __init__(self, rs, f=0.1):
detectors = [Detector(r, f) for r in rs]
thinkbayes.Suite.__init__(self, detectors)
rs是r 的。detectors是器对象的，一个对应一个r 。对象中就是器的

个，以Emitter是一个 Suite对象；也就是说，是以其他Suite对象为的Suite对象。
要更新Emitter，我们必须个r的下的据的然度。 r的是由一个含了n 围

的器对象示的。
要对给的器下据的然度，我们通过环n的有，然后 k的总概率。

SuiteLikelihood 现这个功能：
# class Detector
def SuiteLikelihood(self, data):
total = 0
for hypo, prob in self.Items():
total += prob * like
return total
现在我们可以写出发射器的然：
# class Detector
detector = hypo
like = detector.SuiteLikelihood(data)
return like
一个hypo是一个器，以我们可以调用SuiteLikelihood得到下据的然度。
更新了发射器后，我们也必须更新个探器。
# class Detector
thinkbayes.Suite.Update(self, data)
for detector in self.Values():
detector.Update()
像这有多 Suite对象的型称为分层模型。
14.4  一个小优
你也许对SuiteLikelihood有印象；我们在 110 “来一个平的对 ”中过。时我指出我们并
不真的要，为由SuiteLikelihood 的总概率是由Update 并的归一常。
以，不用先更新发射器，更新探器，我们其可以时成这步，用 Detector.Update

得到的结为发射器的然度。
下是Emitter.Likelihood的：
# class Emitter
return hypo.Update(data)
以这个的Likelihood，我们就可以用Update的默。此更少，为不用
归一常量，以得更快。
14.5  抽后验
更新了发射器后，我们可以通过环探器和其概率得到r的后分：
# class Emitter
def DistOfR(self):
items = [(detector.r, prob) for detector, prob in self.Items()]
return thinkbayes.MakePmfFromItems(items)
items为r的其概率的。其结是r的Pmf。
为了得到n的后分，我们必须出探器的合分。我们可以用thinkbayes.MakeMixture，

接收射个分和其概率的元Pmf。这上也就是发射器：
# class Emitter
def DistOfN(self):
return thinkbayes.MakeMixture(self)
图14-2显示了结。毫不，n最可能的是150。 f和n，则为k = fn，以给 f和k，n的

期望为k/f。也就是150。
图14-2  n和r的后分
150个子在1 内发射，r的最可能的是 150个子。此r的后分也集中在150附
近。
r的后分和n是的；唯一的是，我们对 n稍不。一般来说，我们对较时围

的发射率r更，对 1 内的子发射量n却不是那么。
你可以 http://thinkbayes.com/jaynes.py下载章。更多息，请参的“ 指南”。
14.6  讨
器问题和分型的。在示例中，发射率r对子 n有效应，
n对子量k有效应。
分型反了统的结构，在部产生，底部得到效。
1．在，我们以r的一开始。
2．对一个r的，我们有一个n的的围，这取决 n的先分。
3．更新型时，我们自下上。对个r n的后分，然后 r的后分。以

息沿着结构由上至下，断过自底向上。
14.7  习
练习14-1。
这项工也是受到恩《概率》中一个例子的发。
你买了一个期能降家里附近蚊量的捕蚊器。你都清这个，的蚊

量。一个星期后捉到30只蚊子。个星期后捉到20只蚊子。那么请你的子里蚊子量的分
变。
要这个问题，必须做出一的决。这里有一下：

个星期有大量蚊子N在你家附近的地生。
一内，N中一部分f1进入你的子里，f1中一部分f2 入。
在你的法中，要到“N 可能的变量”的先点，可以通过在分型中一个来
对N变的分。
 
第15   理多
15.1  细
肚生物多 2.0（BBB2）项目是一个国的科学项目，在可以在人类肚上找到的
细菌类（http://bbdata.yourwildlife.org）。项目异想天开，是人们越来越人体微生物的
势的一部分，人体微生物就是那生活在人体体部分的微生物的集合。
在试研究中，BBB2研究人收集了60 志愿部的，用用法取并进 16S

rDNA 段的，然后其物基段的来。一个出的段称为“ 记 ”①。
我们可以利用这据来个问题：

基察到的物的量，我们能在环境中物的总？

我们能一个物的群例，一个物占总体的分？
我们收集额外的，能有多少新物可能会发现？
要察到的物的例到一个给的阈，要多少额外的“ 记 ” 段？
这问题构成了的知种。
15.2  子老和
我这个问题的一个开始。在这个中，我们物的情况，称为狮子、
和熊。我们参生动物护，看到了3只狮子、2只和1 熊。
我们在护察到动物物的会均，则个物的量由多项分决。狮子、

和熊的群率是p_lion、p_tiger和p_bear，看到3只狮子，2只和1 熊的可能就是
p_lion ** 3 * p_tiger ** 2 * p_bear ** 1
一人不的法是用beta分（ 32 的“Beta分 ”）来分描个物的群例。例

，我们看到3只狮子和3只“非狮子”；我们其 3个“ ”和3个“反 ”的，那么p_lion的后
分就是：
beta= thinkbayes.Beta ()
beta.Update ((3,3))
print beta.MaximumLikelihood ()
p_lion的最大然就是察到的例50%。，p_tiger和p_bear的最大大然为33%和

17%。
这里有个问题：
1．我们含地为个物用了一个均的 0到1的先，是为我们道有3个，以

其这个先是不的。的先应是平均为1/3，并在（其他的）物有100%的群例
时然度应为。
2．个物的分不是独的，为群例总和为1。为了体现这依，我们要3个物群
例的合分。
可以用一个狄利克雷决这个问题（ http://en.wikipedia.org/wiki/Dirichlet_distribution）。就我们

以beta分来描不均币的分一，我们可以用狄利克雷分来描 p_lion，p_tiger和p_bear的
合分。
狄利克雷分是beta分的多维通用。、反这双结不，狄利克雷分能

量的结：在这个例子中，是3个物。
有n个结，狄利克雷分是由n个参描的，记为α1到αn。
thinkbayes.py中，有一个了狄的类下 ：
class Dirichlet(object):
def __init__(self, n):
self.n = n
self.params = numpy.ones(n, dtype=numpy.int)
n为维；最的参都是1，我用numpy 储参，这我可以利用操的优势。
给一个狄利克雷分，个群例的缘分是一个beta分，我们可以下：

def MarginalBeta(self, i):
alpha0 = self.params.sum()
alpha = self.params[i]
return Beta(alpha, alpha0-alpha)
i是我们想要的缘分的指。alpha0是参的总和；alpha是对给物的参。
在示例中，个物的缘分，
为Beta(1 2)。我们可以平均下：
dirichlet = thinkbayes.Dirichlet(3)
for i in range(3):
beta = dirichlet.MarginalBeta(i)
print beta.Mean()
期的那，个物群例的均是1/3。
要更新狄利克雷分，我们这一察结到参：
m = len(data)
self.params[:m] += data
这里data 是和 params 顺一的一个，以在这个例子中，应是狮子、和熊的

量。
data可以 params ；在这情况下，着有一物没有察到。
下是以察到的据更新dirichlet并后缘分的。
data = [3, 2, 1]
dirichlet.Update(data)
for i in range(3):
beta = dirichlet.MarginalBeta(i)
pmf = beta.MakePmf()
print i, pmf.Mean()
图15-1显示了结。平均群例的后是44%、33%和22%。
图15-1  三个物群例的分
15.3  分层本
我们决了这个问题的一个：我们道有多少物，我们可以一个的群
例。
现在让我们到原来的问题，物的总。要决这个问题，我会一个元Suite对象，是一

个含其他Suite对象为的Suite对象。在这个例子里，最上的Suite对象含物量的，底
含群例的。
类下：
class Species(thinkbayes.Suite):
def __init__(self, ns):
hypos = [thinkbayes.Dirichlet(n) for n in ns]
thinkbayes.Suite.__init__(self, hypos)
__init__取为n的可能的，并创一个狄利克雷对象的。
下是创 Suite对象的：
ns = range(3, 30)
suite = Species(ns)
ns 是 n 的可能的。由看到3个物，以必须为至少3个。我选择了一个合的上
，稍后会查得超过这个界的概率很。并至少在最段，我们在此围内的都是
可能的。
要更新一个分型，你必须更新有。通常必须先更新底向上更新，在例中，我们可

以先更新：
#class Species
thinkbayes.Suite.Update(self, data)
hypo.Update(data)
Species.Update调用父类中的Update，然后历子并更新们。
现在，我们要一个然：
# class Species
dirichlet = hypo
like = 0
for i in range(1000):
like += dirichlet.Likelihood(data)
return like
data是察到的；hypo是一个狄利克雷对象。Species.Likelihood调用Dirichlet.Likelihood

共1000 然后总和。
为什么调用1000 ？为 Dirichlet.Likelihood 上并不据在整个狄利克雷分上的然

度。反，的分中取得一个然后据在这个群例集下的然度。
下是例：
# class Dirichlet
def Likelihood(self, data):
m = len(data)
if self.n < m:
return 0
x = data
p = self.Random()
q = p[:m]**x
return q.prod()
data的度是察到的物的量。看到的物我们在的多，然度就是0。
则，我们选择一群例p，多项式Pmf，也就是：
pi 为 i个物的群例，xi 是察到的量。一项cx 是多项式；我其在在

外，为依据的法子不是，以归一了（
http://en.wikipedia.org/wiki/Multinomial_distribution）。
m是察到的物的量。我们只要p的 m个元。至其他的部分：xi为0，以为1，我们可以

在结中。
15.4  机抽样
有法可以狄利克雷分产生。一个是用缘beta分，在这情况下，你必须
一选取一个扩展到余下的，得们和为 1 （参
http://en.wikipedia.org/wiki/Dirichlet_distribution#Random_number_generation）。
一个没那么显速度更快的法是 n个（gamma）分中选取，然后通过除以总和来归

一。下是：
# class Dirichlet
def Random(self):
p = numpy.random.gamma(self.params)
return p / p.sum()
现在，我们准好查看结了。下是取n的后分的：

def DistOfN(self):
for hypo, prob in self.Items():
pmf.Set(hypo.n, prob)
return pmf
DistOfN通过在中，并个n的概率。
图15-2显示了结。最可能的是4，3到7 的也很有可能；后的概率就速下降了。有29个

物的概率到以略不；我们选择了一个更的上界，也会得到一的结。
图15-2  n的后分
请记住，这个结基 n的先是均分的。我们道物在环境中量的景息，我们可
以选择一个不的先  。
15.5  优
必须承，我对这个例子中的法很自豪。未物问题并不，这个法了，只用了
少的以（约50 ）。
唯一的问题是。对只有3个察物的例子好，对肚问题的据就不好了

——这类据的中有超过100个物。
接下来的了一扩展这个法的优法。在入到细里，路线图下。

一步是要到，我们以的据更新狄利克雷分，对有的， m个的参都是

的。唯一的是的未物量。此，我们并不真要n个狄利克雷对象；我们可以在
结构上储最上的参。Species2 现了这个优。
Species2也对有用了的一。这省了生成的时，还有更重要的
个好：通过给有的的选取，得在的较更平，以
只较少的就能收。
有了这改动，还有一个重大的能问题。着察到的物的，群例的也变
大了，选取到一个近的的率就变小了。以大多得到的然度很小，以
对总和产生的不多，也就没有在产生。
决法是只更新一个物，Species4是用狄利克雷对象来示子这一略的一个

现。
最后，在型 Species5结合子，并用numpy 以快速度。
你对细不感兴，可以到156 的“肚据”，在那儿查看来自肚据的结。
15.6  的层次
有底的狄利克雷分以的据更新，以对们来说， m个参。我们可以通过参
合并入 Suite对象来消除这一重过。Species2 现了这一优：
class Species2(object):
def __init__(self, ns):
self.ns = ns
self.probs = numpy.ones(len(ns), dtype=numpy.double)
self.params = numpy.ones(self.high, dtype=numpy.int)
ns是n 的一个；probs是应概率的。 params是狄参的顺，始有的参都

为1。
Species2.Update更新这一分（型）的个。一是n的个可能的概率，下一是

狄利克雷参：
# class Species2
like = numpy.zeros(len(self.ns), dtype=numpy.double)
for i in range(1000):
like += self.SampleLikelihood(data)
self.probs *= like
self.probs /= self.probs.sum()
m = len(data)
self.params[:m] += data
SampleLikelihood然度的一个，一个然度对应 n的个可能。Like 1000个

总的然度。self.probs 以总然度，然后归一。最后更新参，和Dirichlet.Update一。
现在，让我们来看看SampleLikelihood，这里有个可优的地。

物的想 n超过察到的目m，我们只要多项式PMF的 m个项；其余均为1。

物的量很大，据的然度用浮点来示可能太小（请参 99 的“ 据下溢”）。
此，对然度要更。
，多项式的PMF是
以对然度是
更快速。，cx 对有是的，以我们可以在一先不管。下是

：
# class Species2
def SampleLikelihood(self, data):
gammas = numpy.random.gamma(self.params)
m = len(data)
row = gammas[:m]
col = numpy.cumsum(gammas)
log_likes = []
for n in self.ns:
ps = row / col[n-1]
terms = data * numpy.log(ps)
log_like = terms.sum()
log_likes.append(log_like)
log_likes -= numpy.max(log_likes)
likes = numpy.exp(log_likes)
coefs = [thinkbayes.BinomialCoef(n, m) for n in self.ns]
likes *= coefs
return likes
gammas是一个分构成的，的度是n 的最大。row是gammas 的 m 个元；

为这参依据，以这就是我们要的部参了。
对 n的个，我们要 row除以gamma中 n项的总和，cumsum 这积，并们储

在col中。
loop 环 n的这，到一个对然的。
在环内部， ps 含概率的，以对应的总和进归一。 terms 含和的项，，

log_like 含们的和。
环结束后，我们要对然度转为线然度，最好是先进转得最大的对然度为
0；这的，线然度就不会显得太小（请参 “ 据下溢”99 ）。
最后，在然度，我们必须应用一个修（子），是我们可以察到m个物的可能

法的量，时物的总为n。BinomialCoefficient 这个“n选m”过，写为。
常的那，优的可读差，也原始更出。这就是我开始的一

个原，我们可以用进归试。我绘了个得到的结，可以们是大的，
并着们都是收的。
15.7  另一个
我们还可以做得更多来优这一，有外一个要首先的问题。着察到的物目的
，这个的法变得让人心，要更多的能收到一个好的结。
问题是，我们狄利克雷分中选择的群例ps并不是近的，察到的据的然

度就会接近，对 n的有就是的。那么大多就不能为总体可能有用的。
着察到的物的量m变大，以切可能选取ps的概率就会变小，真是小。
的是，有一个决法。你察一据，你可以就整个据集更新先分，分

成一据的子集一更新，并这式更新的结都是的。
在这个例子中，键是更新是对一个物。这，我们生成一的ps时，只有其中一个

会到得到的然度，此选择一个对象的概率要好得多。
下是更新一个物的新：
class Species4(Species):
m = len(data)
for i in range(m):
one = numpy.zeros(i+1)
one[i] = data[i]
Species.Update(self, one)
Species 承 __init__ ，以以一个狄利克雷对象的来示（和 Species2 中不

）。
Update 历察到的物，创一个 one，含一个物的，都先为。然后调用

父类的Update，然度并更新子。
此，在这个例子里，我们做三更新。一个有点像“看到了三只狮子”。个是“看到了只

，没有看到更多的狮子”。三个是“看到一熊，没有看到更多狮子和 ”。
下是然度的新：
# class Species4
dirichlet = hypo
like = 0
for i in range(self.iterations):
like += dirichlet.Likelihood(data)
# correct for the number of unseen species the new one
# could have been
m = len(data)
num_unseen = dirichlet.n - m + 1
like *= num_unseen
return like
这和Species.Likelihood ，不的是子num_unseen。这是必要的，为我们

首看到一个物，我们都要到有其他的一我们应看到的未物。对较大的n 就会有更
多我们应看到的未物，这一了据的然度。
必须承这是一个我最开始并没有搞清的微，搞清后，接着我就能通过较以的

来证（）了。
15.8  还有作要做
一个物的更新决了一个问题，也带来了一个问题。更新要的时
km，其中k是的目，m是察到的物的量。此，我们做m 更新，总时
km2。
是，我们可以利用151 “ 的结构”中的诀快速度：我们狄利克雷对象，

分结构中的个折到一个一的对象。以下是Species的一个：
class Species5(Species2):
m = len(data)
for i in range(m):
self.UpdateOne(i+1, data[i])
self.params[i] += data[i]
Species2 承__init__，以用ns和probs 示n的分， params 示狄利克雷分的

参。
Update类我们在上一中看到的。历察到的物调用UpdateOne：

# class Species5
def UpdateOne(self, i, count):
likes = numpy.zeros(len(self.ns), dtype=numpy.double)
for i in range(self.iterations):
likes += self.SampleLikelihood(i, count)
unseen_species = [n-i+1 for n in self.ns]
likes *= unseen_species
self.probs *= likes
self.probs /= self.probs.sum()
此类 Species2.Update，有个变。

接口是不的。我们得到的不是整个据集，是察到的物的 i和看到的物量

count。
我们要在未物的量上应用一个修， Spcies4.Likelihood 示。这里的不在我
们以的法时更新部然度。
最后，SampleLikelihood 下 ：
# class Species5
def SampleLikelihood(self, i, count):
gammas = numpy.random.gamma(self.params)
sums = numpy.cumsum(gammas)[self.ns[0]-1:]
ps = gammas[i-1] / sums
log_likes = numpy.log(ps) * count
log_likes -= numpy.max(log_likes)
likes = numpy.exp(log_likes)
return likes
这类 Species2.SampleLikelihood；不的是，一更新只一物，以并不要一个

环。
这个的时量k。 m ，此更新的时成 km。以我们得

到一个准结要的通常也就少了。
15.9  据
狮子、和熊的问题讨得了。现在让我们到肚问题。为了得到据的含，
B1242 题，其400个记产生了下的61个物：
92, 53, 47, 38, 15, 14, 12, 10, 8, 7, 7, 5, 5,
4, 4, 4, 4, 4, 4, 4, 3, 3, 3, 3, 3, 3, 3, 2, 2, 2, 2,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1
有少个优势物构成了整体的很大一部分，很多其他物只产生一个一的记。这

“ ”的目了没察到的物可能至少有那么个。
狮子和的例子中，我们在护里动物到的可能是的。类地，对肚

问题的据，我们细菌记到的可能也是的。
在现中，据收集过中个步都可能入差。有物子十起的可能大，产

生可的扩子（生物遗学词：合链式反应得的双链苷产物）。以我们到一
个物的群例时，我们应要到这误差的来。
还要承，我不太严格地用了术语“物 ”。首先，细菌物没有得到很好的。其，有的

记能的物，其他的则只能一个。更准地，我应说“操分类位”，写为
OTU（operational taxonomic unit）。
现在，让我们来一肚据。我了一个Subject类示研究中个题的息：

class Subject(object):
def __init__(self, code):
self.code = code
self.species = []
个题都有一个字符编， “B1242”，还有（，）对的，的顺

。 Subject 了个法，可以很地得到这和物的称。你可以
http://thinkbayes.com/species.py了细。更多息，请参的“ 指南”。
Subject 了为Process的法来创和更新一个Species5 的Suite对象， n 的分和群

例。
Suite2 了DistOfN 法， n的后分。
# class Suite2
def DistN(self):
items = zip(self.ns, self.probs)
pmf = thinkbayes.MakePmfFromItems(items)
return pmf
图15-3显示了题B1242中n的分。好有61个物，没有未物的概率为。物量最

可能的是72，90% 在66到79 。横坐的部分来看，有87个物的可能很小。
图15-3  题B1242中n的分
接下来我们个物群例的后分。Species2 了DistOfPrevalence：

# class Species2
def DistOfPrevalence(self, index):
for n, prob in zip(self.ns, self.probs):
beta = self.MarginalBeta(n, index)
pmf = beta.MakePmf()
return metapmf, mix
index显示了我们想要的物。对个n，群例的后分不。
环 n 的可能其概率。由 n 的一个得到示指物缘分的一个Beta对象。忘了

Beta对象含有参 alpha和beta；们不像Pmf对象那有和其概率对，们 MakePmf ，生成近
续Beta分的散。
metapmf是一个在 n的条件下，含群例分的元Pmf。MakeMixture 元Pmf结合到mix ， mix

结合条件分到一个一的群例分。
图15-4显示了个最大物的结。这最常的物占到了400个记中的23%，由

在未物，此其群例最有可能的为20%，90%的是17%～23%。
图15-4  B1242 群例的分
15.10  预测分布
在4个问题中，我了物的问题。通过 n和个物群例的后分，我们
了个。
外个问题是：

收集更多的，我们能不能可能发现多少个新物？

要多少额外记，能察到物的例到一个给的阈？
要类这的问题，我们可以用后分来真可能的未来事件，并可能看到的物

量的分，以总占。
这真过的心是：
1．后分选取n ；
2．为一个物选取其群例，可能的未物，用狄利克雷分；
3．生成未来的；
4．新物的量，num_new，为额外 k的；
5．重的步， num_new和k的合分。
下的 RunSimulation 了一个真：
# class Subject
def RunSimulation(self, num_reads):
m, seen = self.GetSeenSpecies()
n, observations = self.GenerateObservations(num_reads)
curve = []
for k, obs in enumerate(observations):
seen.add(obs)
num_new = len(seen) - m
curve.append((k+1, num_new))
return curve
num_reads 是要真的额外的。 m 是可物的目， seen 是个物唯一称的字符集

合。n是一个后分选取的，observations是物字的一个。
过一环，我们在seen中入得到的新的察结，并记和目新物的量。
RunSimulation的结是一个曲，示为和新物目对的一个。
查结，我们来看看GetSeenSpecies和GenerateObservations。
#class Subject
def GetSeenSpecies(self):
names = self.GetNames()
m = len(names)
seen = set(SpeciesGenerator(names, m))
return m, seen
GetNames在据件中的物称的，对许多题，这称不是唯一的，以我通过

SpeciesGenerator用来扩展个称：
def SpeciesGenerator(names, num):
i = 0
for name in names:
yield '%s-%d' % (name, i)
i += 1
while i < num:
yield 'unseen-%d' % i
i += 1
一个命 Corynebacterium，SpeciesGenerator 产生“Corynebacterium-1”这的字。称

耗时，产生 unseen-62这的命。
GenerateObservations 下：
# class Subject
def GenerateObservations(self, num_reads):
n, prevalences = self.suite.SamplePosterior()
names = self.GetNames()
name_iter = SpeciesGenerator(names, n)
d = dict(zip(name_iter, prevalences))
cdf = thinkbayes.MakeCdfFromDict(d)
observations = cdf.Sample(num_reads)
return n, observations
的，num_reads是要生成的额外。n和prevalences是后分的。
cdf是一个射物到积概率的Cdf对象，未物，用Cdf 产生物称的过

变得效。
最后，Species2.SamplePosterior 下：
def SamplePosterior(self):
pmf = self.DistOfN()
n = pmf.Random()
prevalences = self.SamplePrevalence(n)
return n, prevalances
SamplePrevalences生成群例在条件为n时的：
# class Species2
def SamplePrevalences(self, n):
params = self.params[:n]
gammas = numpy.random.gamma(params)
gammas /= gammas.sum()
return gammas
我们会看到这个法狄利克雷分产生（ 149 “ 抽 ” 的）。
图15-5显示了B1242 题的100个真的稀疏线。线显得“ 动”是为我为条线了一个

量，得们不会重在一起。通过察，我们可以出400个额外的记后，我们很可能
会发现2～6个新的物。
图15-5  B1242 题的真稀疏线
15.11  联后验
我们可以利用这真来 num_new和k的合分，由此，我们还可以得到num_new在k为条
件下的分。
def MakeJointPredictive(curves):
joint = thinkbayes.Joint()
for curve in curves:
for k, num_new in curve:
joint.Incr((k, num_new))
joint.Normalize()
return joint
MakeJointPredictive创一个Joint对象，是一个以元为的Pmf对象。
curves是一个RunSimulation创的稀疏线的。条线含k和num_new对的。
由此产生的合分是个到其发生概率的一个射。给合分，我们可以通过

Joint.Conditional得到num_new以k为条件下的分（ “条件分 ” 90 ）。
Subject.MakeConditionals接收一个ks的，并 num_new对个k的条件分。其结是一个Cdf

对象构成的。
def MakeConditionals(curves, ks):
joint = MakeJointPredictive(curves)
cdfs = []
for k in ks:
pmf = joint.Conditional(1, 0, k)
pmf.name = 'k=%d' % k
cdf = pmf.MakeCdf()
cdfs.append(cdf)
return cdfs
图15-6显示了结。100个额外的记后，的新物的量中为2；90% 为0到5。

800个记后，我们有望看到3到12个新的物。
图15-6  在不量的额外记条件下，新发现物量的分
15.12 
我们要最后一个问题：“ 要多少额外的记，能察到物例到一个给
的阈 ”？
要这个问题，我们要RunSimulation的一个能物的分例的，不是新物

量的。
# class Subject
def RunSimulation(self, num_reads):
m, seen = self.GetSeenSpecies()
n, observations = self.GenerateObservations(num_reads)
curve = []
for k, obs in enumerate(observations):
seen.add(obs)
frac_seen = len(seen) / float(n)
curve.append((k+1, frac_seen))
return curve
接下来，环一条线并创一个字 d，射额外量k到一个fracs ，也就是在取得k个
后得到的率的。
def MakeFracCdfs(self, curves):
d = {}
for curve in curves:
for k, frac in curve:
d.setdefault(k, []).append(frac)
cdfs = {}
for k, fracs in d.iteritems():
cdf = thinkbayes.MakeCdfFromList(fracs)
cdfs[k] = cdf
return cdfs
这时，我们对k的一个创了fracs的Cdf对象，这个Cdf 示了k个后率的分。
CDF告诉了你入给阈内的概率，互 CDF告诉了你超过阈围的概率，图15-7显示了不

k 围下的互 CDF。
图15-7  额外记围的互 CDF
要图，沿着x 选取一个要的率围，例 90%，接着图上就可以发现 k 记

后，要达到90% 率的概率。例，200 记，有约40%的会得到90%的率， 1000
记，就有90%的会得到90%的率。
此，我们了未物问题的部四个问题。要以据证章中到的法，必须涉更

多细，是这章太，以这里我就不续讨了。
你可以入了一下这类问题，以我找到这问题的，参
http://allendowney.blogspot.com/2013/05/belly-button-biodiversity-end-game.html。
你可以 http://thinkbayes.com/species.py.下载章的，更多息请参的“ 指南”。
15.13  讨
未物问题是一个活跃的研究领域，我章中的法为此了一新。在不到200 的篇
幅里，我们概率基础扩展到了研究的沿，这我感到兴。
中，我的目的是达出3个的念。

贝斯贝分的点是用概率分来示尚不的点，通过据来修这分

，用得到的结进和决息。
方的是用法不是学法贝分会更，通过可以合
可以重用的架来应用贝法也更。
模型：大多真问题都和决以真和杂的有。先道要
应纳入型，要可以抽象到型外通常是不可能的。最好的法就是，的
型开始杂度，用一个型来交证其他的型。
这念用强大，的例子到最新的研究题，们用科学研究和工的一个领域。
你领会到了，你应为用这工来决工中的新问题做好了准，希望你发现的用

，要记得你的收告诉我。
①译：参生物学，原的“read”根据上下翻译为记记。

 
作简
• 尼是欧工学科学的。他在利学、科学和大学伯克
利分。
他拥有U.C.伯克利的科学博学位和省工学的硕学学位。

 
简
许，新统架构，术障部总监，业湖南大学，拥有15年互工。
 
于面
《贝维》一封的动物是红鲻鱼（也称为带羊鱼）。这可以在地中海、北大西洋东海域
和黑海发现的须鲷科鱼，其一鳍后独的条纹为人。红鲻鱼是地中海地人们青的美，和
的须鲷科鱼——羊鱼一，只是羊鱼没有一鳍后的条纹。然红鲻鱼要更，据说其道尝
起来类生。说古人在中红鲻鱼，宠爱并练们一到就。便是人工
的红鲻鱼一般也不到重，其格有时和银器一。
非外环境下，红鲻鱼浅底，其上下唇有独的称为触须的根须，触须用来探

海底的食物。为较浅的沙滩和岩底部，的触须其的近亲羊鱼没有那么灵敏。
封图来自迈 •克词。
 
后
的翻译其来自和编开过的一个玩，我时戏说这的 Think Bayes不妨译成《纪念贝
先生》，上托 ·贝先生也的是一个大的得我们纪念的人，科学的历是由
这一大的人们动的。贝发展并出了我们现在悉的贝，后人们也利用这一工
发展出了的“贝法”。读这，我读对此会有刻的。
外就是的艾伦· 。他不是一位学科，时也是一位优秀的家。在翻译

，我读过他的Think Complexity 和Think Stats，在的翻译过中，你还可以看到在github上
他在写一操统的， Think OS。
显然，Think Bayes是艾伦目写得最好的一，原在在中不用编写Python 的式消除

了贝法的学习门，在章的问题中，艾伦还默地会了读怎为体问题创
学型，住问题中的要矛盾（型中的键参），一步一步地优证型的有效
。在这个过中，你还能学习到统分中那体概念的含和用，缘分、
合分、贝型。
艾伦· 在github上托管了有的Python ，读的过中，在自己的器上例

子中的对是一件让人的事情。
在写中还带上了大量的概率图形，助图可以帮助读更直地有问题的概率形式结

。
我的工也和贝法有，我们新就用贝法件，业

监控统也可以用贝法来进异常指断。至到统，也帮助我自己清了很多有
决的。
总，这不到200 的对得一读读。
最后，我要感人出社的编给我会翻译艾伦的。毫无问，艾伦是一个得敬的科

籍和良。我还要感家人对翻译工的支，是我在静心工的时，一岁的小
女儿波妞会很地和妈妈游戏，没有干扰我。我的女儿，我的爱人李静，然还有无地我顾
女的亲。
译   许
2014年8月颐和北
 
欢迎来到步社区
步社区的来历
异步社 (www.epubit.com.cn)是人出社旗下IT专业图旗舰社， 2015年8月上线。
异步社依托人出社20余年的IT专业优出和编团，统出子
出和自出结合、子结合、统印刷 POD 印刷结合的出平台，最新术
息，为和读交流互动的平台。
社区里都有什么？
购
我们出的图涵流IT 术，在编语、Web 术、据科学领域有多畅销图。社

现上线图 1000余，子 400多，部分新现、子步出。我们还会期发新
。
下资
社内附的，中的案例。
外，社还了大量的免子，只要成为社用户就可以免下载。

与作动
很多图的译入社，可以他们，咨询术问题；可以读不断更新的术章，

译和编畅聊好后有的故事；还可以参社的访目，向的出访题
目。
灵活优的购
可以便地下购买图子图，图直接人出社库发货，子
多读格式。
对重新，社售和新首发服，用户可以一时买到心的新。
用户户中的积分可以用购优。100积分=1元，购买图时，在里填入可用的积

分，可扣减应额。
别优
 
购买子的读专步社区优。  用法：成为社用户，在下购时入“57AWG”，然后点击“ 用优

”，可受子 8折优（优券只可用一）。
电组购
社独家图和子合购买式，格优，一购买，多读选择。
社区里还可以做什么？
可以在图下交勘误，条勘误后可以得100积分。热心勘误的读还有会参

稿的审和翻译工。
写作
社基 Markdown的写环境，写的可以在此一试手，在社里分的术心得

和读体会，更可以体自出的，松现出的想。
成为社证译，还可以受异步社的专色服。
会议活动知道
可以握IT圈的术会息，更有会免大会门票。
加步
描维都能找到我们：
异步社
微订
微服
官微博
QQ群：368449889
社区网 www.epubit.com.cn
官方微信异步社
官方微博 @人异步社，@人出社- 息术分社
& contact@epubit.com.cn

贝叶斯思维：统计

Uploaded by

Copyright:

Available Formats

You might also like

贝叶斯思维：统计

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

贝叶斯思维：统计

Uploaded by

Copyright:

Available Formats

购买的人 出 社 子 个人 用，未 ，不得以 式 和 内 。

本 中文简 O’Reilly Media, Inc. 人 电出 社出 经出 面许可 对本 的

上会扩大你的 ， 不是一个 专业人 ，你也可以看到在 环境下（

除此以外， 在共 15章的篇幅中讨 了怎 决十 个现 生活中的 问题。在这 问题的

这个时 ，基 概率和统 的 法给了我们很多的帮助。很多时 ，我们不能给出 一个人、 一件

顾在进 自然语 过 中 过的路，我们就会发现 研究 则到研究统 的转变。最

还有很多的真 界的事情都是这 的， 路上的交通是 、银 的时 、球 的 结

外，在我们 在 历的大 据时 ， 为 据分 法的一个巨大分支，基 贝 的 器学习

用 的语 ，大量的 例和故事， 以 的Python语 ， 原 燥的概率 讲得生动

①雷鸣，现 酷我 事 、CEO，国家 人 聘专家， 度创始七 客 一， 度 发动 的

我 为这 的 是 的，至少对 有编 的人们来说是这 的。 选择时也非常

外，这也 了一个 型到真 问题的平滑发展路线， 3章就是一个好示例。 由一个

例 ， 7章中那个 冰球 伍的例子，我 入球得分 为一个 松过 ，这 示着在

12章中，问题是对SAT得分进 （SAT是用 美大学的入学 准 试）。我以一个 有

我 为在 决问题的过 中， 过 为其中一部分是重要的， 为这会 醒我们 误

中的很多 法都基 散分 ，这让一 人担心 误差， 对 真 界的问题， 误差

， 散 法总能允许较好的 选择，我宁愿要一个近 的良好的 型也不要一个 却 糕

一个 度看， 续 法常在 能上有优势， 能以常 时 杂度的 法 线 平

2．一 型有效， 找到最大的 误来 。这可能 要 散近 过 中 的 量，

3． 对你的应用 能就 了，则没必要 优 。 要做，有 个 向可以 ：

这一流 的好 是 一、 步较快， 以你能在 入大量 研究多个可 的 型。

一个好 是在 三步，你可以 一个大体 的可参 现开始进 归 试。也就是， 查优

大多 章 了可以 http://thinkbayes.com下载的 ，其中有一 依 也 要下载，我

你可以在 要时 下载这 ， 一 http://thinkbayes.com/thinkbayes_code.zip下载，这个

外 ， 是 Git 用 户 ， 你 可 以 通 过 fork 和 clone 来 一 得 这 个 仓 库 ：

我用到的 一 是 thinkplot.py ， 对 pyplot 中 一 进 了封 ，要 用 要 好

最后， 中一 用了NumPy和SciPy，可以 http://numpy.org和http://scipy.org 得。

有 的 Python 会 到 中的 没 有 符 合 PEP 8 这 一 最 通 用 的 Python 编 指南

切地说，PEP 8 用带有词 下 线的小写 like_this， 在 中和 现的 里， 和

没有 PEP 8 的原 是在我为 中内 准 时 在 歌做访问学 ， 以就 了 歌的

最后一个 上的 脚是： 穿 ，我 用PMF和CDF 示概率密度 积分 这 学

1章 概率 和贝 ，没有 。 2章 了Pmf，一望 是用来 示概率密度

好了， 后的章 中，我 用了 （ 态）分 ， 和 松分 ，beta分 分 型的概率

示新术语，URL， 件地址， 件 和 件扩展 。

用 ，也 那 示 元 的段 ，例 ，变量和 ， 据库， 据类型，环

宽粗体（Constant width bold）

宽 体（Constant width italic）

北 西 西直门南大 2 成铭大 C 807室（100035）

我们还为 创 了一个 ，其中 含了勘误 、示例和其他额外的 息。你可以通过地址访问

迎 我们的 站（http://www.oreilly.com），查看更多我们的 籍、 、会 和最新动态

含 误 的段 部分，会让我更 找到 们。只 和 也可以， 还是不太 找

首 先 ， 我 要 感 大 · 麦 凯 （ David MacKay ） 的 优 秀 《 息 、 和学习 法》

概率 示为0和1 的 字（ 0和1），含 是 一事件 为的可 度，1 示“事件

其他中 示 的 度。例 ，0.5通常也会写成50%， 着一个 结 发生和不发生有

条件概率是带有 （ 条件） 景约束下的概率问题。例 ，我想了 一下 年自己心脏 发

美国约有3.11亿人， 挑选一个美国人，那么其在 年心脏 发 的概率大约是0.3%。

就 体个例 ，“我”可不是那个 选中的美国人。流 学家们 了多 心脏

人男，45 岁，有 界 固醇，这 了我发 的可能 ；然 ， 压 、不抽烟这

上 这 条件 入在线 器http://hp2010.nhlbihin.net/atpiii/calculator.asp，我发现自己 年心脏

通常条件概率的记 是p(A|B)， 示在给 B条件下A事件发生的概率。在这个例子中，A 示我 年

例 ， 我 个 币，A 示 一枚 币 朝上，B 示 枚 币 朝上，那么p(A)=

是上 式 在A和B都是独 事件的情况下 成 。 ： A事件的结 并不 改变B事件

一个事件 并不独 的例子。 A 示今天下雨的事件，B 示 天会下雨的事件。

对 A、B事件， 一天下雨的 会是0.5， 续 天就不会是0.25， 是可能更 一点。

现在 想你在不看的情况下 地挑一个 一 饼，得到了一 香草 饼。我们的问题是：

这就是一个条件概率问题；我们希望得到概率p( 1|香草)， 怎 进 并非显 。问题

然后，我们写出一个 合概率的 达式：

由 我们并没有 A和B的含 ， 可以对A、B进 互 操 。

这 着我们有 式 合概率， p(A)， 以p(B|A)； 一 向， p(B)， 以

购买的人出社子个人用，未，不得以式和内。

本中文简 O’Reilly Media, Inc. 人电出社出经出面许可对本的

上会扩大你的，不是一个专业人，你也可以看到在环境下（

除此以外，在共 15章的篇幅中讨了怎决十个现生活中的问题。在这问题的

这个时，基概率和统的法给了我们很多的帮助。很多时，我们不能给出一个人、一件

顾在进自然语过中过的路，我们就会发现研究则到研究统的转变。最

还有很多的真界的事情都是这的，路上的交通是、银的时、球的结

外，在我们在历的大据时，为据分法的一个巨大分支，基贝的器学习

用的语，大量的例和故事，以的Python语，原燥的概率讲得生动

①雷鸣，现酷我事、CEO，国家人聘专家，度创始七客一，度发动的

我为这的是的，至少对有编的人们来说是这的。选择时也非常

外，这也了一个型到真问题的平滑发展路线， 3章就是一个好示例。由一个

例， 7章中那个冰球伍的例子，我入球得分为一个松过，这示着在

12章中，问题是对SAT得分进（SAT是用美大学的入学准试）。我以一个有

我为在决问题的过中，过为其中一部分是重要的，为这会醒我们误

中的很多法都基散分，这让一人担心误差，对真界的问题，误差

，散法总能允许较好的选择，我宁愿要一个近的良好的型也不要一个却糕

一个度看，续法常在能上有优势，能以常时杂度的法线平

2．一型有效，找到最大的误来。这可能要散近过中的量，

3．对你的应用能就了，则没必要优。要做，有个向可以：

这一流的好是一、步较快，以你能在入大量研究多个可的型。

一个好是在三步，你可以一个大体的可参现开始进归试。也就是，查优

大多章了可以 http://thinkbayes.com下载的，其中有一依也要下载，我

你可以在要时下载这，一 http://thinkbayes.com/thinkbayes_code.zip下载，这个

外，是 Git 用户，你可以通过 fork 和 clone 来一得这个仓库：

我用到的一是 thinkplot.py ，对 pyplot 中一进了封，要用要好

最后，中一用了NumPy和SciPy，可以 http://numpy.org和http://scipy.org  得。

有的 Python 会到中的没有符合 PEP  8 这一最通用的 Python 编指南

切地说，PEP 8 用带有词下线的小写 like_this，在中和现的里，和

没有 PEP 8 的原是在我为中内准时在歌做访问学，以就了歌的

最后一个上的脚是：穿，我用PMF和CDF 示概率密度积分这学

1章概率和贝，没有。 2章了Pmf，一望是用来示概率密度

好了，后的章中，我用了（态）分，和松分，beta分分型的概率

示新术语，URL，件地址，件和件扩展。

用，也那示元的段，例，变量和，据库，据类型，环

宽体（Constant width italic）

北西西直门南大 2 成铭大 C 807室（100035）

我们还为创了一个，其中含了勘误、示例和其他额外的息。你可以通过地址访问

迎我们的站（http://www.oreilly.com），查看更多我们的籍、、会和最新动态

含误的段部分，会让我更找到们。只和也可以，还是不太找

首先，我要感大 · 麦凯（ David  MacKay ）的优秀《息、和学习法》

概率示为0和1 的字（ 0和1），含是一事件为的可度，1 示“事件

其他中示的度。例，0.5通常也会写成50%，着一个结发生和不发生有

条件概率是带有（条件）景约束下的概率问题。例，我想了一下年自己心脏发

美国约有3.11亿人，挑选一个美国人，那么其在年心脏发的概率大约是0.3%。

就体个例，“我”可不是那个选中的美国人。流学家们了多心脏

人男，45 岁，有界固醇，这了我发的可能；然，压、不抽烟这

上这条件入在线器http://hp2010.nhlbihin.net/atpiii/calculator.asp，我发现自己年心脏

通常条件概率的记是p(A|B)，示在给 B条件下A事件发生的概率。在这个例子中，A 示我年

例，我个币，A 示一枚币朝上，B 示枚币朝上，那么p(A)=

是上式在A和B都是独事件的情况下成。： A事件的结并不改变B事件

一个事件并不独的例子。  A  示今天下雨的事件，B  示天会下雨的事件。

对 A、B事件，一天下雨的会是0.5，续天就不会是0.25，是可能更一点。

现在想你在不看的情况下地挑一个一饼，得到了一香草饼。我们的问题是：

这就是一个条件概率问题；我们希望得到概率p( 1|香草)，怎进并非显。问题

然后，我们写出一个合概率的达式：

由我们并没有 A和B的含，可以对A、B进互操。

这着我们有式合概率， p(A)，以p(B|A)；一向， p(B)，以

B1 示饼 1的概率，V 示饼是香草饼的概率。

式就是我们希望得到的，一香草饼来自 1的概率。

p(B1)：这是我们略得到饼这个条件时（条件下）选中 1的概率。为选择的过是

结是3/5。以，“得到一香草饼”是支 “来自 1”的证据，为香草饼来自 1的

这个例子示了一个应用贝的案例：了一个 p(B|A) 得到p(A|B)的略。

“历时” 着事情着时发生；在例，是的概率着看到的新据变。

p(H)称为先验，在得到新据一的概率。

在其他情况下，先概率是的；对一先概率，派的人可能会有不，许由

然度是贝中最的部分，在饼问题中饼来自来自个，则我们就那个

准常量则有手，为在有的条件下这一据出现的概率，为的是最

在饼问题中，有个：饼干来自 1 2，们就是互的和的。

在例中，我们可以用概率式 p(D)，发生一事件有互不的个可能，可以像下

我们早心得到的结也是一的。

1995年，他们出了色的M&M 。在此一普通的M＆M 中，颜色的搭为：30% 色，20%

我的一个朋有 M&M ，他告诉我一是1994年，一是1996年。

这个问题类饼问题，只是变了我抽取的式 （还是）。这个问题也给了我一个

一步是枚有。取出黄色M＆M 的子称为 1，一个称为 2，以是：

示然度，了问题的景息。例来说， A为真，黄色M＆M是来自1994年的

三由得到。此的总和270是归一常（译：参概率式）。为了得到最后一

还有，你可能会一个细扰。我 p(D|H)写成了分的形式不是概率形式，这着没

大是游戏目“来做个交 ”（Let’s Make a Deal）的场。大题也是这一目的常

向你示三个闭的大门，然后告诉你个门后都有一个：一个是一，外个是