在日常生活中，統計學無處不在，每個人、每件事似乎都可以使用統計數據加以說明。隨著人類邁入大數據時代，統計學在方方面面更是發揮了不可或缺的作用。統計學思想，就是在統計實際工作、統計學理論的應用研究中，必須遵循的基本理念和指導思想。它們對統計學的發展起到了指導作用。

近日，哥倫畢業大學和阿爾托大學的兩位知名統計學研究者撰文總結了過去 50 年最重要的統計學思想，包括反事實因果推理、bootstrapping 和基于模擬的推理、過參數化模型和正則化、多層次模型、通用計算算法、自適應決策分析、魯棒性推理和探索性數據分析。除了詳細描述這些統計學思想的具體概念和發展歷程，研究者還概述了它們之間的共同特征、它們與現代計算和大數據之間的關系以及它們在未來如何發展和擴展。研究者表示，本文旨在激發人們對統計學和數據科學研究中更大主題的思考和討論。

論文鏈接：https://arxiv.org/pdf/2012.00174.pdf

這篇論文在社區引起了熱議，圖靈獎得主、貝葉斯網絡之父 Judea Pearl 等學者紛紛轉推并發表自己的觀點。他表示：「這篇論文將因果推理列入了統計學思想之一，與芝加哥大學統計系教授 Stephen Stigler 所著《統計學七支柱》中的觀點截然不同。」

此外，需要指出的是，本文列出的 8 種統計學思想是根據經驗和閱讀文獻進行分類的，并不是按照時間先后順序或重要性進行排序。無論是在理論統計文獻，還是在各個應用領域的實踐中，這些統計學思想在 1970 年之前都有先例。但在過去的 50 年中，它們都得到了發展，并且已衍變出新的內容。下面一一闡述論文中列出的八個統計學思想。

過去 50 年最重要的統計學思想

反事實因果推理

該研究從統計學、計量經濟學、心理測驗學、流行病學和計算機科學中出現的一系列不同觀點開始，這些觀點都圍繞著因果推理挑戰展開。其主要思想是，因果識別是可能的，人們可以通過設計和分析嚴格地陳述這些假設，并以各種方式加以解決。關于如何將因果模型應用于實際數據的辯論仍在繼續，但在過去的 50 年里，這一領域的研究使因果推斷所需的假設更加精確，這又反過來促進了針對這些問題的統計方法的研究。

因果推理方法在不同的領域有不同的發展。在計量經濟學領域，重點是從線性模型解釋因果推理 (Imbens and Angrist, 1994)；在流行病學中，重點是從觀測數據進行因果推理(Greenland and Robins, 1986)；心理學家已經意識到相互作用和不同的治療效果之間的重要性(Cronbach, 1975)；統計學中已經有了匹配和其他方法來調整和測量治療組和對照組之間的差異 (Rosenbaum and Rubin, 1983)；在計算機科學領域，已經有了很多關于因果推理的多維模型的研究(Pearl, 2009)。

這些研究中都有一個共同的主線，就是從反事實或潛在結果的角度對因果問題進行建模，這是一個很大的進步，超越了早期的評判標準，后者沒有明確區分描述性推理和因果推理。主要研究包括 Neyman (1923)、Welch (1937)、 Rubin (1974)以及 Haavelmo (1973)，還有 Heckman 和 Pinto (2015)的背景介紹。

Bootstrapping 和基于模擬的推理

在過去 50 年里，統計學的一個趨勢是用計算取代數學分析。以 bootstrap 為例：在 bootstrap 中定義了一些估計器，并將其應用于一組隨機重采樣的數據集 (Efron, 1979, Efron and Tibshirani, 1993)。主要思想是將估計值視為數據的一個近似的充分統計量，并將 bootstrap 分布視為數據的抽樣分布的近似。在概念層面上，有人呼吁將預測和重采樣作為基本原則，從中可以得出偏差校正和收縮等統計操作(Geisser, 1975)。

計算資源的增加使得其他相關的重采樣和基于模擬的方法也很流行。在置換測試中，通過對目標值進行隨機變換，打破了預測值與目標值之間的依賴關系，生成重采樣數據集。Parametric bootstrapping、前驗和后驗預測性檢查 (Box, 1980, Rubin, 1984)、基于模擬的校準 (Talts et al., 2020) 都是從模型中創建復制的數據集，而不是直接從數據中重新采樣。

過參數化模型和正則化

自 20 世紀 70 年代以來，統計學的一個重大變化是關于用大量參數擬合模型的思想，模型參數可能比數據點還多，并且使用一些正則化方法來獲得穩定的估計和良好的預測。關于用大量的參數擬合模型的主要思想是獲得非參數或高度參數化方法的靈活性，同時又能避免過擬合。正則化可以作為參數或預測曲線上的懲罰函數來實現(Good and Gaskins, 1971)。

參數豐富的模型的早期示例包括 Markov 隨機場（Besag, 1974）、樣條曲線（splines）（Wahba 和 Wold, 1975, Wahba, 1978）和高斯過程（O'Hagan, 1978），然后是分類樹和回歸樹（Breiman 等人, 1984）、神經網絡（Werbos, 1981；Rumelhart、Hinton 和 Williams, 1987；Buntine 和 Weigend, 1991；MacKay, 1992；Neal, 1996），小波收縮（wavelet shrinkage ）（Donoho 和 Johnstone, 1994）、lasso/horseshoe 等其他最小二乘法的變體（Dempster、Schatzoff 和 Wermuth, 1977 年；Tibshirani, 1996 年；Carvalho、Polson 和 Scott, 2010 年），此外還有支持向量機（Cortes 和 Vapnik, 1995 年）以及相關理論（Vapnik, 1998 年） 。

所有這些模型都具有隨樣本量和參數而擴展的特征，這些參數并不總是可以直接解釋，而只是較大預測系統的一部分。在貝葉斯方法中，可以先在函數空間中考慮先驗，然后間接導出模型參數的相應先驗。

在有足夠的計算資源之前，以上許多模型的使用都受到限制。但在圖像識別（Wu 等人，2004）和深度神經網絡（Bengio、LeCun 和 Hinton, 2015 年；Schmidhuber, 2015 年）領域，過參數化模型得以繼續發展。Hastie、Tibshirani 和 Wainwright（2015）將大部分此類工作歸化為稀疏結構的估計，但作者認為歸納為正則化更為合適，因為它還包括適合于數據支持范圍的密集模型。這類工作大部分是在統計之外完成的，方法包括非負矩陣分解（Paatero 和 Tapper, 1994）、非線性降維（Lee 和 Verleysen, 2007）、生成對抗網絡（Goodfellow 等, 2014）和自動編碼器（Goodfellow、Bengio 和 Courville, 2016 年）：這些都是用于查找結構和分解的無監督學習方法。

隨著統計方法的發展及其在更大數據集中的應用，研究人員開發了多種方法對各種擬合推斷進行精調、適應和組合，包括 stacking（Wolpert, 1992）、貝葉斯模型平均（Hoeting 等, 1999）、boosting（Freund 和 Schapire, 1997）、梯度提升（Friedman, 2001）和隨機森林（Breiman, 2001）。

多層次模型

多層或分層模型的參數會隨組變化，從而使模型能夠適應群集采樣。縱向研究、時間序列橫截面數據、元分析（meta-analysis）和其他結構化設置。在回歸語境中，可以將多層次模型視為特定的參數化協方差結構，也可以視為概率分布，其中參數的數量與數據成比例地增加。

多層次模型可以視為貝葉斯模型，因為它們包括未知潛在特征或變化參數的概率分布。相反，貝葉斯模型具有多層次結構，具有給定參數的數據和給定超參數的參數分布。

通用計算算法

借助現代計算，建模方面的改進才成為了可能。這不僅包括更大的內存、更快的 CPU、高效的矩陣計算、用戶友好的語言以及其他計算創新，還有十分關鍵的部分是用于高效計算的統計算法上的改進。

過去五十年來的創新統計算法是基于統計問題的結構而發展的。在統計學的歷史上，數據分析、概率建模和計算的進步一直會相互結合，新模型讓創新計算算法和新的計算技術打開了面向更復雜模型和新推論觀點的大門。通用的自動推理算法允許解耦模型的開發，因此更改模型不需要更改算法的實現。

自適應決策分析

從 20 世紀 40 年代到 60 年代，決策理論通常通過效用最大化 (Wald, 1949, Savage, 1954)、錯誤率控制(Tukey, 1953, Scheff´e, 1959) 和經驗貝葉斯分析 (Robbins, 1959, 1964) 作為統計的基礎。近幾十年來，在貝葉斯決策理論 (Berger, 1985) 和錯誤發現率分析 (Benjamini and Hochberg, 1995) 中都看到了后續工作的進展。決策理論也受到了外界關于啟發式算法和人類決策偏見的心理學研究 (Kahneman, Slovic, and Tversky, 1982, Gigerenzer and Todd, 1999) 的影響。

人們還可以將決策視為統計應用領域，統計決策分析的一些重要發展涉及貝葉斯優化 (Mockus, 1974, 2012, Shariari et al., 2015) 和強化學習 (Sutton and Barto, 2018)，這與行業中 A/B 測試實驗設計的復興和工程應用中的在線學習有關。計算科學的最新進展是能夠使用諸如高斯過程和神經網絡之類的高度參數化模型作為自適應決策分析功能的先驗，并可以在模擬環境中進行大規模的強化學習，例如創建人工智能控制的機器人、生成文本和參與圍棋(Silver et al., 2017) 之類的游戲。

魯棒推理

魯棒性的概念是現代統計的核心，它是一種即使在假設不正確的情況下也能使用模型的思想。開發在實際情況與假設不符的情況下也能良好使用的模型是統計理論中重要的一部分。Tukey (1960)總結了該領域的早期研究，Stigler (2010)的研究總結了歷史性回顧。繼 Huber (1972)等人的理論工作之后，研究者又開發出行之有效的方法，這些方法在實踐中，尤其是在經濟學中尤為重要，人們也對統計模型的不完善之處有了敏銳的認識。

一般而言，魯棒性在統計研究中的主要影響并不在于開發特定方法，而在于它影響了在 Bernardo 和 Smith (1994)稱為 M-open 世界（其中數據生成過程不屬于擬合概率模型的類別）的情況下評估統計程序的思想。Greenland (2005)認為研究者應該明確說明在傳統統計模型中不包含的誤差源。魯棒性問題與許多現代統計數據所特有的密集參數化模型有關，這更普遍地影響了模型評估(Navarro, 2018)。

探索性數據分析

繼 Tukey (1962)之后，探索性數據分析的支持者重點說明了漸近理論的局限性以及開放式探索和通信 (Cleveland, 1985) 的好處，并且闡明了超越統計理論的更一般的數據科學觀點(Chambers, 1993, Donoho, 2017)。這符合統計建模的觀點，即更多的關注發現而不是檢驗固定假設。這不僅影響了圖形化方法的發展，也將統計領域從定理證明走向更開放、更健康的角度，因為它是從科學領域的數據中學習。以醫學統計學領域為例，Bland 和 Altman 于 1986 年發表的一篇高被引論文提出用于數據對比的圖形化方法，替代了關聯性和回歸分析。

此外，研究人員試圖形式化定義探索性數據分析：「探索性模型分析」(Unwin, Volinsky, and Winkler, 2003, Wickham, 2006)有時被用來捕獲數據分析過程的實驗屬性，研究者們也一直致力于在模型構建和數據分析的過程中涵蓋可視化的工作(Gabry et al., 2019, Gelman et al., 2020)。

這些統計學思想之間的關聯

研究者認為，上述這八種統計學思想之所以重要，是因為它們既解決了現有問題，還創建了新的統計思考和數據分析方式。換言之，每一種思想都不失為一部「法典」，其方法超越狹義的統計學范疇，更像是一種「研究品味」或者「哲學思想」。

這些統計學思想彼此之間存在著哪些關聯和交互呢？

Stigler (2016)曾說過，一些明顯不同的統計學領域背后存在著某些相同的主題。這種互聯的觀點也可以應用于最近的研究發展。

舉例而言，正則化過參數化模型可以使用機器學習元算法進行優化，反過來又可以獲得對污染（contamination）具有魯棒性的推理。這些關聯可以通過其他方式表示，魯棒性回歸模型對應混合分布，而混合分布又可以被視為多層次模型，并且可以通過貝葉斯推理進行擬合。深度學習模型不僅與一種多層邏輯回歸有關，還與樣條曲線和支持向量機中使用的復現核心希爾伯特（Hilbert）空間相關。

此外，特定統計模型又與文中列出的八種統計學思想存在什么聯系呢？研究者這里提及的是有影響力的研究工作，如風險回歸、廣義線性模型、空間自回歸、結構方程模型、潛在分類、高斯過程和深度學習等。如上文所述，在過去 50 年里，統計推理和計算領域出現了許多重要的發展，這些進展都受到了文中談論的新模型和推理思想的啟發和推動。應該看到，模型、方法、應用和計算彼此結合，息息相關。

最后，研究者表示可以將統計學方法的研究與自然科學、工程學中的統計應用趨勢聯系起來。他們認為，生物學、心理學、經濟學和其他科學領域可能出現復現危機或可復現性革命，而這些領域的巨大變化需要根據統計資料得出結論。

作者簡介

Andrew Gelman，哥倫比亞大學統計學與政治學教授，著名的統計學家。他于 1990 年獲得哈佛大學統計學博士學位。他曾三次榮獲美國統計協會頒發的杰出統計應用獎（Outstanding Statistical Application award），2020 年當選美國 AAAS 院士。他還著有《貝葉斯數據分析》（Bayesian Data Analysis）等書籍。谷歌學術中論文總引用量超過 12 萬。

Aki Vehtari，阿爾托大學計算概率建模副教授，主要研究興趣包括貝葉斯概率理論與方法、貝葉斯工作流、概率規劃、推理與模型診斷、模型評估與選擇、高斯過程以及分層模型等。他還著有《Regression and other stories》和《Bayesian Data Analysis》等書籍。谷歌學術中論文總引用量近 4 萬。