每個(gè)數(shù)據(jù)科學(xué)家都應(yīng)該知道的六個(gè)概率分布
介紹
假設(shè)你是一所大學(xué)的老師。在對一周的作業(yè)進(jìn)行了檢查之后，你給所有的學(xué)生打了分?jǐn)?shù)。你把這些打了分?jǐn)?shù)的論文交給大學(xué)的數(shù)據(jù)錄入人員，并告訴他創(chuàng)建一個(gè)包含所有學(xué)生成績的電子表格。但這個(gè)人卻只存儲(chǔ)了成績，而沒有包含對應(yīng)的學(xué)生。
他又犯了另一個(gè)錯(cuò)誤，在匆忙中跳過了幾項(xiàng)，但我們卻不知道丟了誰的成績。我們來看看如何來解決這個(gè)問題吧。
一種方法是將成績可視化，看看是否可以在數(shù)據(jù)中找到某種趨勢。
上面展示的圖形稱為數(shù)據(jù)的頻率分布。其中有一個(gè)平滑的曲線，但你注意到有一個(gè)異常情況了嗎?在某個(gè)特定的分?jǐn)?shù)范圍內(nèi)，數(shù)據(jù)的頻率異常低。所以，最準(zhǔn)確的猜測就是丟失值了，從而導(dǎo)致在分布中出現(xiàn)了凹陷。
這個(gè)過程展示了你該如何使用數(shù)據(jù)分析來嘗試解決現(xiàn)實(shí)生活中的問題。對于任何一位數(shù)據(jù)科學(xué)家、學(xué)生或從業(yè)者來說，分布是必須要知道的概念，它為分析和推理統(tǒng)計(jì)提供了基礎(chǔ)。
雖然概率為我們提供了數(shù)學(xué)上的計(jì)算，而分布卻可以幫助我們把內(nèi)部發(fā)生的事情可視化。
在本文中，我將介紹一些重要的概率分布，并會(huì)清晰全面地對它們進(jìn)行解釋。
注意：本文假設(shè)你已經(jīng)具有了概率方面的基本知識(shí)。如果沒有，可以參考這篇有關(guān)概率基礎(chǔ)的文章。
目錄
1、常見的數(shù)據(jù)類型
2、分布的類型
- 伯努利分布
- 均勻分布
- 二項(xiàng)分布
- 正態(tài)分布
- 泊松分布
- 指數(shù)分布
3、各個(gè)分布之間的關(guān)系
一、常見的數(shù)據(jù)類型
在開始詳細(xì)講述分布之前，先來看看我們會(huì)遇到哪些種類的數(shù)據(jù)。數(shù)據(jù)可以分為離散的和連續(xù)的。
- 離散數(shù)據(jù)：顧名思義，只包含指定的值。例如，當(dāng)你投骰子的時(shí)候，輸出結(jié)果只可能是1、2、3、4、5或6，而不可能出現(xiàn)1.5或2.45。
- 連續(xù)數(shù)據(jù)：可以在給定的范圍內(nèi)取任何值。范圍可以是有限的，也可以是***的。例如，女孩的體重或身高、路程的長度。女孩的體重可以是54千克、54.5千克，或54.5436千克。
現(xiàn)在我們開始學(xué)習(xí)分布的類型。
2、分布的類型
2.1、伯努利分布
我們首先從最簡單的分布伯努利分布開始。
伯努利分布只有兩種可能的結(jié)果，1(成功)和0(失敗)。因此，具有伯努利分布的隨機(jī)變量X可以取值為1，也就是成功的概率，可以用p來表示，也可以取值為0，即失敗的概率，用q或1-p來表示。
概率質(zhì)量函數(shù)由下式給出：px(1-p)1-x， 其中x € (0, 1)。它也可以寫成：
成功與失敗的概率不一定相等。這里，成功的概率(p)與失敗的概率不同。所以，下圖顯示了我們之間比賽結(jié)果的伯努利分布。
這里，成功的概率 = 0.15，失敗的概率 = 0.85 。如果我打了你，我可能會(huì)期待你向我打回來。任何分布的基本預(yù)期值是分布的平均值。來自伯努利分布的隨機(jī)變量X的期望值如為：
E(X) = 1p + 0(1-p) = p
隨機(jī)變量與二項(xiàng)分布的方差為：
V(X) = E(X²) – [E(X)]² = p – p² = p(1-p)
伯努利分布的例子有很多，比如說明天是否要下雨，如果下雨則表示成功，如果不下雨，則表示失敗。
2.2、均勻分布
對于投骰子來說，結(jié)果是1到6。得到任何一個(gè)結(jié)果的概率是相等的，這就是均勻分布的基礎(chǔ)。與伯努利分布不同，均勻分布的所有可能結(jié)果的n個(gè)數(shù)也是相等的。
如果變量X是均勻分布的，則密度函數(shù)可以表示為：
均勻分布的曲線是這樣的：
你可以看到，均勻分布曲線的形狀是一個(gè)矩形，這也是均勻分布又稱為矩形分布的原因。其中，a和b是參數(shù)。
花店每天銷售的花束數(shù)量是均勻分布的，最多為40，最少為10。我們來計(jì)算一下日銷售量在15到30之間的概率。
- 日銷售量在15到30之間的概率為(30-15)*(1/(40-10)) = 0.5
- 同樣地，日銷售量大于20的概率為 = 0.667
遵循均勻分布的X的平均值和方差為：
- 平均值 -> E(X) = (a+b)/2
- 方差 -> V(X) = (b-a)²/12
標(biāo)準(zhǔn)均勻密度的參數(shù) a = 0 和 b = 1，因此標(biāo)準(zhǔn)均勻密度由下式給出：
2.3、二項(xiàng)分布
讓我們來看看玩板球這個(gè)例子。假設(shè)你今天贏了一場比賽，這表示一個(gè)成功的事件。你再比了一場，但你輸了。如果你今天贏了一場比賽，但這并不表示你明天肯定會(huì)贏。我們來分配一個(gè)隨機(jī)變量X，用于表示贏得的次數(shù)。 X可能的值是多少呢?它可以是任意值，這取決于你擲硬幣的次數(shù)。
只有兩種可能的結(jié)果，成功和失敗。因此，成功的概率 = 0.5，失敗的概率可以很容易地計(jì)算得到：q = p – 1 = 0.5。
二項(xiàng)式分布就是只有兩個(gè)可能結(jié)果的分布，比如成功或失敗、得到或者丟失、贏或敗，每一次嘗試成功和失敗的概率相等。
結(jié)果有可能不一定相等。如果在實(shí)驗(yàn)中成功的概率為0.2，則失敗的概率可以很容易地計(jì)算得到 q = 1 - 0.2 = 0.8。
每一次嘗試都是獨(dú)立的，因?yàn)榍耙淮瓮稊S的結(jié)果不能決定或影響當(dāng)前投擲的結(jié)果。只有兩個(gè)可能的結(jié)果并且重復(fù)n次的實(shí)驗(yàn)叫做二項(xiàng)式。二項(xiàng)分布的參數(shù)是n和p，其中n是試驗(yàn)的總數(shù)，p是每次試驗(yàn)成功的概率。
在上述說明的基礎(chǔ)上，二項(xiàng)式分布的屬性包括：
- 每個(gè)試驗(yàn)都是獨(dú)立的。
- 在試驗(yàn)中只有兩個(gè)可能的結(jié)果：成功或失敗。
- 總共進(jìn)行了n次相同的試驗(yàn)。
- 所有試驗(yàn)成功和失敗的概率是相同的。 (試驗(yàn)是一樣的)
二項(xiàng)分布的數(shù)學(xué)表示由下式給出：
成功概率不等于失敗概率的二項(xiàng)分布圖：
現(xiàn)在，當(dāng)成功的概率 = 失敗的概率時(shí)，二項(xiàng)分布圖如下
二項(xiàng)分布的均值和方差由下式給出：
- 平均值 -> µ = n*p
- 方差 -> Var(X) = npq
2.4、正態(tài)分布
正態(tài)分布代表了宇宙中大多數(shù)情況的運(yùn)轉(zhuǎn)狀態(tài)。大量的隨機(jī)變量被證明是正態(tài)分布的。任何一個(gè)分布只要具有以下特征，則可以稱為正態(tài)分布：
- 分布的平均值、中位數(shù)和模式一致。
- 分布曲線是鐘形的，關(guān)于線 x = μ 對稱。
- 曲線下的總面積為1。
- 有一半的值在中心的左邊，另一半在右邊。
- 正態(tài)分布與二項(xiàng)分布有著很大的不同。然而，如果試驗(yàn)次數(shù)接近于無窮大，則它們的形狀會(huì)變得十分相似。
遵循正態(tài)分布的隨機(jī)變量X的值由下式給出：
正態(tài)分布的隨機(jī)變量X的均值和方差由下式給出：
- 均值 -> E(X) = µ
- 方差 -> Var(X) = σ^2
其中，μ(平均)和σ(標(biāo)準(zhǔn)偏差)是參數(shù)。
隨機(jī)變量X〜N(μ，σ)的圖如下所示。
標(biāo)準(zhǔn)正態(tài)分布定義為平均值等于0，標(biāo)準(zhǔn)偏差等于1的分布：
2.5、泊松分布
假設(shè)你在一個(gè)呼叫中心工作，一天里你大概會(huì)接到多少個(gè)電話?它可以是任何一個(gè)數(shù)字。現(xiàn)在，呼叫中心一天的呼叫總數(shù)可以用泊松分布來建模。這里有一些例子：
- 醫(yī)院在一天內(nèi)錄制的緊急電話的數(shù)量。
- 某個(gè)地區(qū)在一天內(nèi)報(bào)告的失竊的數(shù)量。
- 在一小時(shí)內(nèi)抵達(dá)沙龍的客戶人數(shù)。
- 在特定城市上報(bào)的自殺人數(shù)。
- 書中每一頁打印錯(cuò)誤的數(shù)量。
- 泊松分布適用于在隨機(jī)時(shí)間和空間上發(fā)生事件的情況，其中，我們只關(guān)注事件發(fā)生的次數(shù)。
當(dāng)以下假設(shè)有效時(shí)，則稱為泊松分布：
- 任何一個(gè)成功的事件都不應(yīng)該影響另一個(gè)成功的事件。
- 在短時(shí)間內(nèi)成功的概率必須等于在更長的間內(nèi)成功的概率。
- 時(shí)間間隔變小時(shí)，在給間隔時(shí)間內(nèi)成功的概率趨向于零。
泊松分布中使用了這些符號(hào)：
- λ是事件發(fā)生的速率
- t是時(shí)間間隔的長
- X是該時(shí)間間隔內(nèi)的事件數(shù)。
- 其中，X稱為泊松隨機(jī)變量，X的概率分布稱為泊松分布。
- 令μ表示長度為t的間隔中的平均事件數(shù)。那么，µ = λ*t。
泊松分布的X由下式給出：
平均值μ是該分布的參數(shù)。 μ也定義為該間隔的λ倍長度。泊松分布圖如下所示：
下圖顯示了隨著平均值的增加曲線的偏移情況：
可以看出，隨著平均值的增加，曲線向右移動(dòng)。
泊松分布中X的均值和方差：
- 均值 -> E(X) = µ
- 方差 -> Var(X) = µ
2.6、指數(shù)分布
讓我們再一次看看呼叫中心的那個(gè)例子。不同呼叫之間的時(shí)間間隔是多少呢?在這里，指數(shù)分布模擬了呼叫之間的時(shí)間間隔。
其他類似的例子有：
- 地鐵到達(dá)時(shí)間間隔
- 到達(dá)加油站的時(shí)間
- 空調(diào)的壽命
指數(shù)分布廣泛用于生存分析。從機(jī)器的預(yù)期壽命到人類的預(yù)期壽命，指數(shù)分布都能成功地提供結(jié)果。
具有的指數(shù)分布的隨機(jī)變量X：
- f(x) = { λe-λx, x ≥ 0
- 參數(shù) λ>0 也稱為速率。
對于生存分析，λ被稱為任何時(shí)刻t的設(shè)備的故障率，假定它已經(jīng)存活到t時(shí)刻。
遵循指數(shù)分布的隨機(jī)變量X的均值和方差為：
- 平均值 -> E(X) = 1/λ
- 方差 -> Var(X) = (1/λ)²
此外，速率越大，曲線下降越快，速率越慢，曲線越平坦。下面的圖很好地解釋了這一點(diǎn)。
為了簡化計(jì)算，下面給出一些公式。
- P{X≤x} = 1 – e-λx 對應(yīng)于x左側(cè)曲線下的面積。
- PP{X>x} = e-λx 對應(yīng)于x右側(cè)曲線下的面積。
- P{x1-λx1 – e-λx2, corresponds to the area under the density curve between x1 and x2.
- P{x1-λx1 – e-λx2 對應(yīng)于x1和x2之間地曲線下的面積。
3、各種分布之間的關(guān)系
伯努利與二項(xiàng)分布之間的關(guān)系
- 伯努利分布是具有單項(xiàng)試驗(yàn)的二項(xiàng)式分布的特殊情況。
- 伯努利分布和二項(xiàng)式分布只有兩種可能的結(jié)果，即成功與失敗。
- 伯努利分布和二項(xiàng)式分布都具有獨(dú)立的軌跡。
泊松與二項(xiàng)式分布之間的關(guān)系
泊松分布在滿足以下條件的情況下是二項(xiàng)式分布的極限情況：
- 試驗(yàn)次數(shù)***大或n → ∞。
- 每個(gè)試驗(yàn)成功的概率是相同的，***小的，或p → 0。
- np = λ，是有限的。
正態(tài)分布與二項(xiàng)式分布之間的關(guān)系，以及正態(tài)分布與泊松分布之間的關(guān)系
正態(tài)分布是在滿足以下條件的情況下二項(xiàng)分布的另一種限制形式：
- 試驗(yàn)次數(shù)***大，n → ∞。
- p和q都不是***小。
正態(tài)分布也是參數(shù)λ → ∞的泊松分布的極限情況。
指數(shù)和泊松分布之間的關(guān)系
如果隨機(jī)事件之間的時(shí)間遵循速率為λ的指數(shù)分布，則時(shí)間長度t內(nèi)的事件總數(shù)遵循具有參數(shù)λt的泊松分布。
結(jié)束語
概率分布在許多領(lǐng)域都很常見，包括保險(xiǎn)、物理、工程、計(jì)算機(jī)科學(xué)甚至社會(huì)科學(xué)，如心理學(xué)和醫(yī)學(xué)。它易于應(yīng)用，并應(yīng)用很廣泛。本文重點(diǎn)介紹了日常生活中經(jīng)常能遇到的六個(gè)重要分布，并解釋了它們的應(yīng)用。現(xiàn)在，你已經(jīng)能夠識(shí)別、關(guān)聯(lián)和區(qū)分這些分布了。
