[[199387]]

近年來，有越來越多的跡象表明，科研結果的可復現性出現了危機。對心理學和癌癥生物學論文的檢查發現，分別只有40%和10%的結果是可復現的。

《自然》雜志在2016年對科研人員的調查結果顯示：

• 52%的科研人員認為存在嚴重的可復現性危機
• 70%的科學家試圖復現另一位科學家的試驗，但以失敗告終

2013年，一群科研人員在一篇論文中，講述了可復現性計算研究的十條規則。如果遵循這些規則，應該會產生更具可復現性的結果。

所有的數據科學都是研究。僅僅因為研究結果沒有發表在學術論文中，這不會改變我們試圖從龐雜數據中獲取洞見的事實。因此，對于任何從事內部分析的數據科學家來說，那篇論文中的十條規則都應該引起重視。

規則1：對于每個結果，都要記錄它的產生過程

知道研究結果的產生過程很重要。知道你如何從原始數據中得出該結論，這可以讓你：

• 為結果辯護
• 發現錯誤時修改結果
• 在數據更新時復現結果
• 提交結果以供評審

如果你使用一種編程語言(R、Python、Julia、F#等等)來編寫你的分析腳本，那么過程應該是清晰明了的，前提是避免了任何的手動步驟。如果使用“鼠標點擊”工具(比如Excel)，這會使你更難記錄步驟，因為你必須描述一系列手動操作，而手動操作很難記錄和復現。

規則2：避免手動數據操作步驟

你可能很想在編輯器中打開數據文件，手動修改格式錯誤或者刪除異常值。而且，現代的操作系統使你可以輕松地剪切和粘貼應用。然而，你應該抵擋住這種走捷徑的誘惑。手動數據操作是無法顯示蹤跡的操作。

規則3：存檔你使用的所有外部程序的準確版本

理想情況下，你應該創建一個包含所有腳本運行軟件的虛擬機。這使你可以生成分析生態系統的快照，輕松實現結果的可復現性。

不過，這并不總是可行。例如，如果你使用云服務，或者你分析的數據集非常龐大，那么你很難圈定整個環境進行存檔。另外，商業工具的使用可能使你難以和其他人分享這樣的一個環境。

至少，你必須記錄你使用的所有軟件的版本，包括操作系統的版本。軟件的任何細微變化都可能影響到結果。

規則4：記錄所有自定義腳本的版本

應該使用版本控制系統(比如Git)來記錄腳本的版本。你應該標記(快照)多個腳本，并在你產生的任何結果中索引那個標記。這樣一來，如果你后來決定修改腳本(你肯定會這么做)，你就可以及時找到產生特定結果的確切腳本。

規則5：盡量用標準格式記錄所有的中間結果

如果你遵循了規則1，應該就有可能從原始數據中重現任何結果。不過，雖然這在理論上是可能的，但在實踐中存在種種限制。問題可能包括：

缺乏從頭開始運行結果的資源(比如使用了大量的集群計算資源)

使用了商業工具，但沒有某些工具的授權

使用某些工具的技術能力不足

在這些情況下，從原始數據的派生數據集著手不失為明智之舉。這些中間數據集(比如CSV格式數據)提供了更多的分析選擇，并且在出錯的時候，更容易識別有問題的結果，不必重頭來過。

規則6：對于帶有隨機性的分析，要記錄潛在的隨機種子

數據科學家常常沒有為他們的分析設置種子值，因此不可能準確復現機器學習研究。很多機器學習算法都包含隨機成分，雖然強勁的結果可能在統計上是可復現的，但沒什么能比得上與其他人產生的精確數據相一致。

如果你使用腳本和源代碼控制，你可以在腳本中設置種子值。

規則7：始終保存原始數據

如果你使用腳本/編程語言，圖表常常將自動生成。但如果你使用Excel這樣的工具來繪制圖表，請確保你保存了原始數據。這使圖表可以復現，也能對圖表背后的數據進行更細致的檢查。

規則8：生成層次分析輸出結果，使越來越細致的層次可以被檢查

數據科學家的工作是以某種形式總結數據，從數據中獲取洞見。

不過，總結也容易導致數據誤用，所以應該讓相關方可以把總結分解成各個數據點。對于每個總結性結果，要與使用的數據聯系起來，以便對總結進行推算。

規則9：把文本陳述和潛在結果聯系起來

歸根結底，數據分析的結果是以文字的形式呈現，而文字是不精確的。有時，結論和分析之間的聯系很難確定。由于論文常常是科研中最具影響力的部分，因此把論文和結果聯系起來至關重要，由于規則1的緣故，與原始數據聯系起來也很重要。

這可以通過在文本中添加腳注的方式來實現。腳注引用的文件或URL應該包含引出論文中觀察發現的特定數據。如果你無法建立這種聯系，說明你可能沒有充分記錄所有步驟。

規則10：公開腳本、過程和結果

在商業環境中，可能不適合公開所有的數據。不過，向組織內部的其他人公開數據是可以的。基于云的源代碼控制系統，比如Bitbucket和GitHub，允許創建私密存儲，任何獲得授權的同事都能訪問。

眾人的審視可以改善分析質量，所以分享得越多，你的分析質量就可能越高。