Introduction to Probability

Geared toward an introductory audience through its conversational style, Introduction to Probability uses visuals, examples, and a stepped out approach to problem solving to get students comfortable with the math involved in the course.

Mark Ward, author of Virtual Organisms, is an Associate Professor of Statistics at Purdue University.  He has held visiting faculty positions at The George Washington University, the University of Maryland, the University of Paris 13, and a lecturer position at the University of Pennsylvania.  He received his Ph.D. from Purdue University in Mathematics with Specialization in Computational Science (2005), M.S. in Applied Mathematics Science from the University of Wisconsin, Madison (2003), and B.S. in Mathematics and Computer Science from Denison University (1999).  His research interests include probabilistic, combinatorial, and analytical techniques for the analysis of algorithms and data structures.  Since 2008, he has been the Undergraduate Chair in Statistics at Purdue, and the Associate Director for Actuarial Science. Dr. Ward is currently the Principal Investigator for two NSF grants, "MCTP: Sophomore Transitions: Bridges into a Statistics Major and Big Data Research Experiences via Learning Communities" (NSF-DMS #1246818, 2013-2018), and "Science of Information: Bringing Many Disciplines Together" (NSF-DUE #1140489, 2012-2014).  He is also Associate Director of the Center for Science of Information (NSF-CCF #0939370, 2010-2015). 
He and his wife homeschool their four children.

Ellen Gundlach has been teaching introductory statistics and probability classes at Purdue University as a continuing lecturer since 2002, with prior experience teaching mathematics or chemistry classes at Purdue, Ivy Tech Community College of Indiana, The Ohio State University, and Florida State University.  She is an associate editor of CAUSEweb and editor of the MERLOT Statistics Board.  Her research interests include K12 outreach activities (ASA’s first Hands-on Statistics Activity grand prize winner in 2010), online and hybrid teaching (Indiana Council for Continuing Education’s Course of the Year award in 2011), T.A. training, academic misconduct, statistical literacy, and using social media in statistics courses. She enjoys spending time with her sons Philip and Callum, playing the flute with several local groups, and supporting (and formerly skating with) the Lafayette Brawlin’ Dolls roller derby team. 

Contents
I Randomness 22
1 Outcomes, Events, and Sample Spaces 24
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.2 Complements and DeMorgan's Laws . . . . . . . . . . . . . . . . 32
1.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2 Probability 38
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2 Equally-Likely Events . . . . . . . . . . . . . . . . . . . . . . . . 40
2.3 Complementary Probabilities; Probabilities of Subsets . . . . . . 45
2.4 Inclusion-Exclusion . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.5 More Examples of Probabilities of Events . . . . . . . . . . . . . 49
2.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.6.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.6.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.6.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3 Independent Events 58
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.2 Some Nice Facts About Independence . . . . . . . . . . . . . . . 63
3.3 Probability of Good Occurring Before Bad . . . . . . . . . . . . . 64
3.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4 Conditional Probability 69
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Distributive Laws . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3 Conditional Probabilities Satisfy the Standard Probability Axioms 75
4.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5 Bayes' Theorem 81
5.1 Introduction to Versions of Bayes' Theorem . . . . . . . . . . . . 81
5.2 Multiplication with Conditional Probabilities . . . . . . . . . . . 87
5.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6 Review of Randomness 94
6.1 Summary of Randomness . . . . . . . . . . . . . . . . . . . . . . 94
6.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
II Discrete Random Variables 98
7 Discrete Versus Continuous Random Variables 100
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 108
7.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
8 Probability Mass Functions and CDFs 109
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
8.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
8.3 Properties of the Mass and CDF . . . . . . . . . . . . . . . . . . 113
8.4 More Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
8.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
8.5.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
8.5.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 123
8.5.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
9 Independence and Conditioning 125
9.1 Joint Probability Mass Functions . . . . . . . . . . . . . . . . . . 125
9.2 Independent Random Variables . . . . . . . . . . . . . . . . . . . 130
9.3 Three or More Random Variables That Are Independent . . . . . 135
9.4 Conditional Probability Mass Functions . . . . . . . . . . . . . . 136
9.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9.5.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9.5.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 142
9.5.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
10 Expected Values of Discrete Random Variables 144
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
10.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
10.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 152
11 Expected Values of Sums of Random Variables 154
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
11.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
11.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
11.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
11.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 163
12 Variance of Discrete Random Variables 166
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
12.2 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.3 Five Friendly Facts with Independence . . . . . . . . . . . . . . . 176
12.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
12.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
12.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 182
12.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
13 Review of Discrete Random Variables 185
13.1 Summary of Discrete Random Variables . . . . . . . . . . . . . . 185
13.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
III Named Discrete Random Variables 196
14 Bernoulli Random Variables 198
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
14.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
14.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
14.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
14.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 205
14.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
15 Binomial Random Variables 207
15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
15.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
15.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
15.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
15.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 221
15.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
16 Geometric Random Variables 223
16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
16.2 Special Features of the Geometric Distribution . . . . . . . . . . 230
16.3 The Number of Failures . . . . . . . . . . . . . . . . . . . . . . . 231
16.4 Geometric Memoryless Property . . . . . . . . . . . . . . . . . . 232
16.5 Random Variables That Are Not Geometric . . . . . . . . . . . . 234
16.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
16.6.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
16.6.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 239
16.6.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
17 Negative Binomial Random Variables 241
17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
17.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
17.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
17.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
17.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 250
18 Poisson Random Variables 251
18.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
18.2 Sums of Independent Poisson Random Variables . . . . . . . . . 257
18.3 Using the Poisson as an Approximation to the Binomial . . . . . 258
18.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
18.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
18.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 268
18.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
19 Hypergeometric Random Variables 269
19.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
19.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
19.3 Using the Binomial as an Approximation to the Hypergeometric 275
19.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
19.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
19.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 282
20 Discrete Uniform Random Variables 283
20.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
20.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
20.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 287
20.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
21 Review of Named Discrete Random Variables 288
21.1 Summing up: How do you tell all these random variables apart? 288
21.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
21.3 Review Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
IV Counting 299
22 Introduction to Counting 301
22.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
22.2 Sampling With Versus Without Replacement; With Versus Without
Regard to Order . . . . . . . . . . . . . . . . . . . . . . . . . 305
22.3 Counting: Seating Arrangements . . . . . . . . . . . . . . . . . . 310
22.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
22.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
22.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 317
22.4.3 Seating Arrangement Problems . . . . . . . . . . . . . . . 321
23 Two Case Studies in Counting 322
23.1 Poker Hands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
23.1.1 Straight Flush . . . . . . . . . . . . . . . . . . . . . . . . 322
23.1.2 Four Of A Kind . . . . . . . . . . . . . . . . . . . . . . . 323
23.1.3 Full House . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
23.1.4 Flush . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
23.1.5 Straight . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
23.1.6 Three Of A Kind . . . . . . . . . . . . . . . . . . . . . . . 323
23.1.7 Two Pair . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
23.1.8 One Pair . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
23.2 Yahtzee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
23.2.1 Upper Section . . . . . . . . . . . . . . . . . . . . . . . . 324
23.2.2 Three Of A Kind . . . . . . . . . . . . . . . . . . . . . . . 325
23.2.3 Four Of A Kind . . . . . . . . . . . . . . . . . . . . . . . 325
23.2.4 Full House . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
23.2.5 Small Straight . . . . . . . . . . . . . . . . . . . . . . . . 326
23.2.6 Large Straight . . . . . . . . . . . . . . . . . . . . . . . . 327
23.2.7 Yahtzee . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
V Continuous Random Variables 329
24 Continuous Random Variables and PDFs 331
24.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
24.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
24.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
24.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
24.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 347
24.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
25 Joint Densities 350
25.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
25.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
25.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
25.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
25.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 362
25.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
26 Independent Continuous Random Variables 364
26.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
26.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
26.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
26.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
26.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 371
26.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
27 Conditional Distributions 377
27.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
27.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
27.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
27.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
27.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 385
28 Expected Values of Continuous Random Variables 388
28.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
28.2 Some Generalizations about Expected Values . . . . . . . . . . . 391
28.3 Some Applied Problems with Expected Values . . . . . . . . . . 392
28.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
28.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
28.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 397
28.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
29 Variance of Continuous Random Variables 399
29.1 Variance of a Continuous Random Variable . . . . . . . . . . . . 399
29.2 Expected Values of Functions of One Continuous Random Variable403
29.3 Expected Values of Functions of Two Continuous Random Variables
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
29.4 More Friendly Facts about Continuous Random Variables . . . . 409
29.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
29.5.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
29.5.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 415
29.5.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
30 Review of Continuous Random Variables 417
30.1 Summary of Continuous Random Variables . . . . . . . . . . . . 417
30.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
VI Named Continuous Random Variables 423
31 Continuous Uniform Random Variables 425
31.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
31.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
31.3 Linear Scaling of a Uniform Random Variable . . . . . . . . . . . 438
31.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
31.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
31.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 442
31.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
32 Exponential Random Variables 447
32.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
32.2 Average and Variance . . . . . . . . . . . . . . . . . . . . . . . . 448
32.3 Properties of Exponential Random Variables . . . . . . . . . . . 453
32.3.1 Complement of the CDF . . . . . . . . . . . . . . . . . . . 453
32.3.2 Memoryless Property of Exponential Random Variables . 453
32.3.3 Minimum of Independent Exponential Random Variables 455
32.3.4 Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . 457
32.3.5 Moments of an Exponential Random Variable (Optional) 458
32.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
32.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
32.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 462
32.4.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
33 Gamma Random Variables 465
33.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
33.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
33.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
33.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
33.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 475
33.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
34 Beta Random Variables 477
34.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
34.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
34.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
34.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
34.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 483
35 Normal Random Variables 484
35.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
35.2 Using the Normal Distribution: Scaling and Transforming to
Standard Normal . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
35.3 \Backwards" Normal Problems . . . . . . . . . . . . . . . . . . . 507
35.4 Summary: How to Distinguish a \Forward" Versus \Backwards"
Normal Problem? . . . . . . . . . . . . . . . . . . . . . . . . . . . 511
35.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
35.5.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
35.5.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 515
35.5.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
36 Sums of Independent Normal Random Variables 517
36.1 The Sum of Independent Normal Random Variables is Normally
Distributed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
36.2 Why the Sum of Independent Normals is Normal Too (Optional) 523
36.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 526
36.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 526
36.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 527
36.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 528
37 Central Limit Theorem 530
37.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530
37.2 Laws of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . 531
37.3 Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . 531
37.4 Applications of the Central Limit Theorem to Sums of Continuous
Random Variables . . . . . . . . . . . . . . . . . . . . . . . . 532
37.5 Applications of the Central Limit Theorem to Sums of Discrete
Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 535
37.6 Normal Approximations to Binomial Random Variables . . . . . 539
37.7 Normal Approximations to Poisson Random Variables . . . . . . 543
37.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
37.8.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
37.8.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 550
38 Review of Named Continuous Random Variables 552
38.1 Summing up: How do you tell all these random variables apart? 552
38.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
VII Additional Topics 562
39 Variance of Sums; Covariance; Correlation 564
39.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564
39.2 Motivation for Covariance . . . . . . . . . . . . . . . . . . . . . . 565
39.3 Properties of the Covariance . . . . . . . . . . . . . . . . . . . . . 566
39.4 Examples of Covariance . . . . . . . . . . . . . . . . . . . . . . . 569
39.5 Linearity of the Covariance . . . . . . . . . . . . . . . . . . . . . 578
39.6 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
39.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585
39.7.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585
39.7.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 586
39.7.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 587
40 Conditional Expectation 588
40.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588
40.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
40.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
40.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
40.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 599
40.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
41 Markov and Chebyshev Inequalities 601
41.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 601
41.2 Markov Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . 601
41.3 Chebyshev Inequality . . . . . . . . . . . . . . . . . . . . . . . . 604
41.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608
41.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608
41.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 611
42 Order Statistics 612
42.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612
42.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
42.3 Joint Density and Joint CDF of Order Statistics . . . . . . . . . 615
42.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
42.4.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
42.4.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 628
43 Moment Generating Functions 629
43.1 A Brief Introduction to Generating Functions . . . . . . . . . . . 629
43.2 Moment Generating Functions . . . . . . . . . . . . . . . . . . . 631
43.3 Moment Generating Functions of Discrete Random Variables . . 633
43.4 Moment Generating Functions of Continuous Random Variables 636
43.5 Appendix: Building a Generating Function . . . . . . . . . . . . 640
43.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641
44 Transformations of One or Two Random Variables 643
44.1 Distribution of a Function of One Continuous Random Variable . 643
44.2 Joint Density of Two Random Variables That Are Functions of
Another Pair of Random Variables . . . . . . . . . . . . . . . . . 648
44.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
44.3.1 Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
44.3.2 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 658
44.3.3 Advanced . . . . . . . . . . . . . . . . . . . . . . . . . . . 659
45 Review Questions for All Chapters 660

 © 2016 W. H. Freeman and Co.

The New copy of this book will include any supplemental materials advertised. Please check the title of the book to determine if it should include any access cards, study guides, lab manuals, CDs, etc.

The Used, Rental and eBook copies of this book are not guaranteed to include any supplemental materials. Typically, only the book itself is included. This is true even if the title states it includes any access cards, study guides, lab manuals, CDs, etc.