數(shù)據(jù)工程是一種用于收集和分析數(shù)據(jù)的技能。然后，它可用于了解數(shù)據(jù)的質(zhì)量并對其進(jìn)行預(yù)測。這使其成為網(wǎng)絡(luò)情報專業(yè)人員的一項基本技能，以確保他們的系統(tǒng)收集高質(zhì)量的信息以做出準(zhǔn)確的預(yù)測。

數(shù)據(jù)科學(xué)是一個包含許多不同子專業(yè)的大領(lǐng)域，數(shù)據(jù)工程就是這樣一個專業(yè)。它專注于理解系統(tǒng)如何工作，這意味著這些專業(yè)人員對從頭開始構(gòu)建事物具有親和力；這包括Python或R等編程語言，而不僅僅是使用第三方供應(yīng)商（例如 Google Analytics）提供的現(xiàn)有軟件包。

理解數(shù)據(jù)工程

要開始任何分析，理解初始數(shù)據(jù)至關(guān)重要。數(shù)據(jù)工程師在從原始數(shù)據(jù)中提取有價值的見解并將其轉(zhuǎn)換為信息數(shù)據(jù)方面發(fā)揮著至關(guān)重要的作用。此過程包括發(fā)現(xiàn)數(shù)據(jù)集中的模式、趨勢和聯(lián)系，以幫助網(wǎng)絡(luò)情報專家就其關(guān)注領(lǐng)域做出有根據(jù)的決策。

在處理大數(shù)據(jù)集（例如社交媒體或網(wǎng)絡(luò)使用）時，也需要數(shù)據(jù)工程技能。這些類型的數(shù)據(jù)集有很多變量需要單獨(dú)分析；但是，它們通常在這些組內(nèi)的不同組之間具有相似的屬性。要了解這些屬性的含義以及它們?nèi)绾蜗嗷リP(guān)聯(lián)，您需要了解每個變量如何單獨(dú)表現(xiàn)的人，然后將它們的結(jié)果匯總到更大的范圍內(nèi)（例如，全國范圍）。

網(wǎng)絡(luò)情報管道

數(shù)據(jù)工程是網(wǎng)絡(luò)情報的必備技能。這是構(gòu)建管道以收集和分析數(shù)據(jù)的過程。管道包括數(shù)據(jù)源、數(shù)據(jù)存儲和分析工具。這可以通過幾個步驟完成：

首先，您需要定義您的查詢或使用預(yù)建工具來幫助您從您的來源（例如，搜索歷史）中找到特定信息。然后使用索引或關(guān)鍵字在不同的信息之間建立聯(lián)系；這些連接在數(shù)據(jù)庫中稱為連接，因為它們將多行組合成一個結(jié)果集（“連接”部分來自連接數(shù)據(jù)集）。您可能還想導(dǎo)出此數(shù)據(jù)，以便它可以在別處使用，而無需直接通過其原始源進(jìn)行訪問——這稱為 ETL（提取轉(zhuǎn)換加載）或 ETL/ELT（提取轉(zhuǎn)換加載/導(dǎo)出）。最后，可視化表示所有結(jié)果的圖表以及對它們執(zhí)行的任何其他分析；這個過程稱為 BI（商業(yè)智能）。

網(wǎng)絡(luò)威脅的未來

網(wǎng)絡(luò)威脅的未來是一場數(shù)字軍備競賽。這將是一場數(shù)據(jù)、云和人工智能的戰(zhàn)斗。

在這場數(shù)字戰(zhàn)爭中，情報機(jī)構(gòu)被迫迅速采取行動，以領(lǐng)先于對手的能力。因此，他們需要了解這些技術(shù)的工作原理，以便在為時已晚之前攔截通信或接管控制系統(tǒng)——他們需要更多接受過深度學(xué)習(xí) (DL) 等機(jī)器學(xué)習(xí)技術(shù)培訓(xùn)的數(shù)據(jù)科學(xué)家，該技術(shù)使用神經(jīng)網(wǎng)絡(luò)作為其預(yù)測分析過程的一部分。這意味著即使您自己不是編碼員（或者不知道編碼員長什么樣），您仍然可以從當(dāng)?shù)厣鐓^(qū)學(xué)院或大學(xué)課程中學(xué)習(xí) DL 理論課程中受益。

數(shù)據(jù)工程技能對于網(wǎng)絡(luò)情報專業(yè)人員至關(guān)重要

數(shù)據(jù)工程技能對于網(wǎng)絡(luò)情報專家來說至關(guān)重要。他們需要分析數(shù)據(jù)，使其更有價值，并從大量信息中獲得洞察力。

數(shù)據(jù)工程師從事的項目要求他們將大量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)整合成一個有凝聚力的整體。他們經(jīng)常使用他們領(lǐng)域中可用的工具：SQL 數(shù)據(jù)庫、自然語言工具包 (NLTK) 等文本分析軟件、R 和 Python 統(tǒng)計包以及 Tableau 或 D3js 等可視化工具。

數(shù)據(jù)工程師對于保護(hù)組織免受網(wǎng)絡(luò)威脅并確保其數(shù)據(jù)免受黑客或惡意行為者的侵害至關(guān)重要。數(shù)據(jù)工程是一套復(fù)雜的技能，任何具有正確思維方式和受過培訓(xùn)的人都可以掌握。這是網(wǎng)絡(luò)情報專家的一項基本技能，他們需要了解他們使用的系統(tǒng)如何工作以及如何使用它們。掌握所有這些技能后，您就可以在采取行動時做出明智的決定。

結(jié)論

總之，實施開放網(wǎng)絡(luò)安全架構(gòu)框架 (OSCF) 等標(biāo)準(zhǔn)使數(shù)據(jù)工程師能夠標(biāo)準(zhǔn)化數(shù)據(jù)收集和映射，從而簡化安全團(tuán)隊的流程。這導(dǎo)致了數(shù)據(jù)分析和威脅檢測的通用語言，促進(jìn)了數(shù)據(jù)科學(xué)家、分析師和安全團(tuán)隊之間的協(xié)作。任何框架的最終目標(biāo)都是作為一個廣泛接受的開放標(biāo)準(zhǔn)來補(bǔ)充現(xiàn)有的安全實踐和流程。