假设与推论.pdf

假設與推論 真正的聰明人，都懂得善用統計學。 ——蕭伯納（George Bernard Shaw ） 有了統計學和機率理論之後，接下來該做些什麼呢？資料科學其中的「科學」部分， 就是經常需要針對我們的數據資料，以及生成這些資料的過程，建立相應的假設，並 對假設進行檢定。 統計假設檢定 身為資料科學家，我們經常需要檢定某個假設是否成立。有時候基於某些需求，我們 可能會做出某些假設，像是「硬幣正反面的機率是一樣的」、「資料科學家偏愛Python 的程度勝過R 語言」、「如果網頁突然跳出討人厭的小廣告，關閉的按鈕又小又難找， 人們很可能連看都懶得看就直接離開網頁」，以上這些全都可以轉換成與數據資料相關 的統計數字。這些統計數字在各式各樣的假設下，可被視為在某已知分佈下隨機變數 的觀測值，如此一來我們就可以做出陳述，說明假設成立的可能性究竟有多高。 典型的做法是，我們首先會用一個「零假設」（ ） ，來表達我們的某個 null hypothesis H0 預設立場，而另一個「替代假設」（alternative hypothesis ） ，則是我們用來做為對比 H 1 的立場。我們會根據實際觀察到的統計數字，來判斷是否應該將H0 視為錯誤而予以否 決。以下就用例子來說明，或許會比較容易理解一些。 範例：擲硬幣 假設我們有個硬幣，想知道它是不是公正的（也就是正反面機率相同）。假設硬幣正面 朝上的機率為 ，而我們的零假設 認為硬幣是公正的，也就是說， = 0.5 。我們打 p H0 p 算對比另一個替代假設 （ ≠ 0.5 ），來檢定我們的零假設是否成立。 H 1 p 81 在此特別說明一下我們的檢定方法：我們會丟擲硬幣 次，然後計算正面朝上的次 n 數 。每次丟擲硬幣，其實都代表一次伯努利試驗，而 則是一個二項式隨機變數 X X Binomial(n,p) （如第6 章所述），我們可以用常態分佈來做為其近似結果： def normal_approximation_to_binomial(n, p): 求出Binomial(n, p) 相應的平均值mu 和標準差sigma mu = p * n sigma = math.sqrt(p * (1 - p) * n) return mu, sigma 只要隨機變數遵循的是一個常態分佈，我們就可以用normal_cdf （常態累積分佈函數） 來計算出其值落在特定區間之內（或之外）的機率： # normal_cdf 代表的是變數落在某個門檻值以下的機率 normal_probability_below = normal_cdf # 若不在門檻值以下，就表示在門檻值以上 def normal_probability_above(lo, mu=0, sigma=1): return 1 - normal_cdf(lo, mu, sigma) # 若低於hi 且不低於lo ，就表示落在區間之內 def normal_probability_between(lo, hi, mu=0, sigma=1): return normal_cdf(hi, mu, sigma) - normal_cdf(lo, mu, sigma) # 若不在區間之內，就表示落在區間之外 def normal_probability_outside(lo, hi, mu=0, sigma=1):