對于已知的數據，企業已經很難跟蹤和保護，更不用提黑暗數據–即企業無意中創建的數據，黑暗數據給企業帶來了全然不同的挑戰。主要挑戰包括弄清楚如何訪問、使用和保護黑暗數據，以防止攻擊者將其用于攻擊企業。

[[266905]]

而確定企業有多少黑暗數據也面臨挑戰，對此，在True Global Intelligence的贊助下，舊金山大數據軟件供應商Splunk公司對普遍存在黑暗數據進行了研究。

在本次問答中，Splunk公司的高級副總裁兼首席技術官Tim Tully解釋了什么是黑暗數據、為什么會有這么多黑暗數據以及企業如何使用數據管理和培訓來更好地查找、使用和管理這些數據。

您如何定義黑暗數據?

Tim Tully：我們將黑暗數據定義為未知、未識別或未使用的數據，我發現這份報告中最有趣的關鍵數據是，我們調查的公司認為全球55%的數據都是黑暗數據。這個數字比我想象的要高。

我認為這個數據會很低的原因是，在來Splunk之前我曾在雅虎從事數據工作約14年，而我所做的工作都涉及大數據。我追蹤了日志集或日志ETL(提取、轉換、加載)以及數據的使用情況，根據我的經驗，這個數字會低得多，因為我看到我們從世界各地的數十萬臺服務器收集數據。

這些黑暗數據來自哪里?

Tully：黑暗數據的創建方式分為兩類。一個是數據根本沒有被收集-這是一種僵尸數據。通常情況下，這發生在企業引入新服務器時，特別是在臨時服務器和無服務器的情況下。企業很容易將這些服務器聯機并非常快速地再次關閉它，而沒有收集任何日志。

第二種情況是，人們因為各種原因收集數據，例如合規原因或者只是為了睡個安穩覺，然后就不再使用這些數據。這屬于“未使用”數據類別。

另一方面，盡管企業有很高比例的黑暗數據，但他們仍然覺得數據技能非常重要。最后的原因是，大家普遍認為，使用AI可能是控制黑暗數據向前發展的方式。

鑒于數據隱私立法的激增，當企業發現黑暗數據時，應該做些什么呢?目標是使用它還是破壞它?

Tully：我認為這是兩者的結合。如果你有數據在那里而沒有被查看，那么，企業就失去機會來提升安全性。例如，你希望查看防火墻日志，并了解入站TCP連接，以及了解您正在受到誰的攻擊。因此，從安全的角度來看，這意味著失去很好的機會。

另一方面，如果企業利用這些數據，則可以更好地構建AI驅動的模型，并更好地確定如何進行威脅建模和異常檢測。這是我在上一家公司看到的事情，從網絡安全的角度來看，這有很大的影響。

黑暗數據對網絡安全有什么影響?

Tully：最明顯的影響就是不使用這些數據。如果你已經收集了數據并且沒有對它進行任何操作，甚至不查看日志，那么，這可能是一個可怕的錯誤。你想知道是否正在遭受攻擊，如果你沒有實際查看黑暗數據，你怎么知道人們試圖攻擊你?這有點像先有雞還是先有蛋的問題。

其次，還會有大量未收集的數據，這里的問題不是你不查看數據，而是你根本不收集。你將臨時服務器聯網，天知道這些日志中發生了什么。如果你沒有使用數據，甚至沒有看到或收集數據，你就沒有辦法建立強大的網絡安全態勢。

除了未被查看的日志文件，人們是否還應該在其他地方尋找黑暗數據?

Tully：當然。我想到的是人們攜帶自己的各種設備連接企業網絡的情況。我個人而言，每天都會帶四五臺設備到辦公室，并且，這些設備都會聯網，考慮到這些設備的短暫性，我認為它們很快就會上線和離線，這里容易產生黑暗數據。我想知道企業是否會利用這些數據。

這些BYOD設備中包含哪些黑暗數據?

Tully：你的個人設備、你的手機、你的平板電腦。我時不時會攜帶個人筆記本電腦來做一些非工作的東西。但人們正在連接互聯網;他們正在下載東西;他們可能會把惡意軟件帶到辦公室;而這些設備會產生大量日志。你希望能夠檢測到網絡中這些客戶端正在做什么及它們正在查看什么，以及它們帶來的惡意病毒。

黑暗數據是否容易被攻擊者利用，而未被企業檢測到?

Tully：我認為企業正在記錄或收集的任何數據，無論是否黑暗，都容易受到攻擊者的攻擊，因此我認為答案是肯定的。 這些數據存在風險因素，它們處于休眠狀態，并且，攻擊者會希望利用它們。

人們對黑暗數據應該做的第一件事是什么?識別、整理和存儲，還是應該先考慮他們是否可以或應該使用這些數據?并且，如果他們不需要它，他們應該找到一種方法來消除這些數據嗎?

Tully：所有這些問題可以總結為，企業需要更好的數據管理。本周我在華盛頓特區參加了幾個小組討論，其中一個問題是：“現在大數據領域面臨的最大挑戰是什么?”除了整合多個系統以從開源領域獲得合理的解決方案外，那些取得成功的企業通常具有強大數據管理流程。也就是說，了解正在收集哪些數據、收集數據的方式、數據中涉及的PII [個人身份信息]，然后確定誰正在使用這些數據及其目的，以及數據如何被利用。

數據管理可非常有效地幫助客戶掌控他們的黑暗數據。

企業應該如何處理所有這些黑暗數據?

Tully：首先要確保他們在收集數據。大量數據被記錄而未被收集，這些數據變成了僵尸數據，然后由于日志過期而逐漸刪除。

企業應該做的是對這些數據部署強大的數據管理。數據會過期;確保PII應用到這些數據;然后，向內部人員教授新技能，以幫助他們應對這些數據。

在我們的調查中，企業領導者表示，恢復黑暗數據的主要障礙是數據量和缺乏必要的技能。這里的解決方案之一是提供培訓。我經常看到這樣的情況，無論數據是否是黑暗，海量數據都會淹沒企業。而且當大多數分析師使用這些數據時，它會以儀表板的形式顯示出來。通常情況下，儀表板讓人們無所適從，他們在這種儀表板環境中會感到有點不愿意深入挖掘。

這里更多的是關于學習新技能并確保你擁有強大的數據管理。

為了處理這種類型的數據，人們應該學習哪些主要技能?

Tully：其中之一是更好地了解這些數據如何生成。了解數據是如何來到當前位置以及數據背后的人。同時，與數據相關的人員交談，并理解這個過程，這樣可以更好地幫助他們接受挑戰，以獲得不同格式的數據或不同報告。

另外，編程技巧也非常重要。如果你想以不同的形式查看儀表板，你要做的一件事就是將基礎數據集脫機，并對其進行一些輕量編碼。一些輕量級的Python，一些輕量級的R -甚至在數據足夠小的情況下將數據放入Excel，并且能夠針對它編寫宏，這些基本方法就足以處理這類數據。