如何將實(shí)時(shí)流量解析并存入數(shù)據(jù)庫(kù)

作者：一安 2025-05-22 07:17:09

Suricata是一個(gè)開(kāi)源的網(wǎng)絡(luò)入侵檢測(cè)和防護(hù)系統(tǒng)（IDS/IPS），由Open Information Security Foundation（OISF）開(kāi)發(fā)和維護(hù)。該系統(tǒng)可以利用多線程設(shè)計(jì)在硬件上實(shí)現(xiàn)高性能數(shù)據(jù)處理，并且能夠深入檢查并解析多種網(wǎng)絡(luò)和應(yīng)用層協(xié)議。

Suricata介紹

Suricata是一個(gè)開(kāi)源的網(wǎng)絡(luò)入侵檢測(cè)和防護(hù)系統(tǒng)（IDS/IPS），由Open Information Security Foundation（OISF）開(kāi)發(fā)和維護(hù)。該系統(tǒng)可以利用多線程設(shè)計(jì)在硬件上實(shí)現(xiàn)高性能數(shù)據(jù)處理，并且能夠深入檢查并解析多種網(wǎng)絡(luò)和應(yīng)用層協(xié)議。通過(guò)高級(jí)的流量處理和還原能力，Suricata能夠?qū)崟r(shí)識(shí)別并處理網(wǎng)絡(luò)威脅，為分析人員提供原始且詳盡的網(wǎng)絡(luò)通信數(shù)據(jù)，助其深入洞察網(wǎng)絡(luò)行為，預(yù)防潛在的安全隱患。

流量還原技術(shù)的原理

Suricata流量還原技術(shù)主要基于網(wǎng)絡(luò)流量來(lái)重構(gòu)原始數(shù)據(jù)，為深入分析和研究數(shù)據(jù)提供基礎(chǔ)。一旦Suricata捕獲到網(wǎng)絡(luò)流量，就能靈活解析多種協(xié)議，并從中提取文件、會(huì)話內(nèi)容等關(guān)鍵數(shù)據(jù)。流量還原技術(shù)的核心在于，它將這些提取的數(shù)據(jù)按照原始的順序和結(jié)構(gòu)重新排序，確保還原出的數(shù)據(jù)與原始傳輸狀態(tài)一致。這種技術(shù)賦予了分析人員直觀理解攻擊內(nèi)容、方法和目的的能力，并為后續(xù)的高級(jí)分析（如文件的惡意性檢測(cè)）提供了有力支持。

（1）數(shù)據(jù)包捕獲

首先，Suricata通過(guò)監(jiān)聽(tīng)指定的網(wǎng)絡(luò)接口，利用如PCAP這樣的工具庫(kù)，實(shí)時(shí)捕獲并臨時(shí)存儲(chǔ)數(shù)據(jù)包。為了保障數(shù)據(jù)的完整性以及檢測(cè)的準(zhǔn)確性，Suricata通過(guò)特定的內(nèi)存和緩沖區(qū)策略，確保即使在高流量環(huán)境下也能有效捕獲數(shù)據(jù)。同時(shí)，通過(guò)動(dòng)態(tài)的負(fù)載均衡技術(shù)，Suricata使得每個(gè)處理線程都能有效處理其分配到的數(shù)據(jù)，從而提高處理效率，防止性能瓶頸出現(xiàn)。

（2）會(huì)話跟蹤

會(huì)話跟蹤是確保網(wǎng)絡(luò)流量上下文完整性的關(guān)鍵環(huán)節(jié)。一旦Suricata識(shí)別到一系列相關(guān)聯(lián)的數(shù)據(jù)包，它會(huì)依據(jù)源、目標(biāo)地址及端口信息快速創(chuàng)建會(huì)話記錄。這些記錄不僅用于分類，更是為了全面理解通信的完整性。為了高效管理這些會(huì)話，Suricata維護(hù)了一個(gè)動(dòng)態(tài)的會(huì)話表，能夠迅速識(shí)別并更新現(xiàn)有會(huì)話或創(chuàng)建新會(huì)話。此外，通過(guò)對(duì)會(huì)話內(nèi)的數(shù)據(jù)包進(jìn)行深度分析，Suricata能夠捕捉更為復(fù)雜的通信模式（如多階段攻擊或數(shù)據(jù)傳輸），從而為后續(xù)的安全分析和響應(yīng)提供詳盡且豐富的上下文信息。

（3）數(shù)據(jù)包排序

數(shù)據(jù)包在傳輸過(guò)程中可能會(huì)遭遇亂序，因此排序成為流量重組的重要環(huán)節(jié)。在TCP通信中，Suricata精準(zhǔn)利用TCP頭部的序列號(hào)來(lái)確定數(shù)據(jù)包的正確順序，確保每個(gè)數(shù)據(jù)包都能各歸其位。

數(shù)據(jù)包排序關(guān)乎流量的連貫性、數(shù)據(jù)的完整性和準(zhǔn)確性，而網(wǎng)絡(luò)擁塞、路由變動(dòng)或其他外部因素都可能導(dǎo)致數(shù)據(jù)包順序混亂，進(jìn)而影響數(shù)據(jù)流的完整性和分析結(jié)果的準(zhǔn)確性。為此，Suricata通過(guò)持續(xù)跟蹤每個(gè)會(huì)話的狀態(tài)和預(yù)期的數(shù)據(jù)包序列號(hào)，對(duì)這些數(shù)據(jù)包進(jìn)行排序。此外，為了確保不會(huì)因?yàn)槭蚨鴣G失重要的通信內(nèi)容，Suricata會(huì)暫時(shí)存儲(chǔ)那些尚未找到正確位置的數(shù)據(jù)包。這一策略在保障數(shù)據(jù)流完整性的同時(shí)，也確保了Suricata在處理高速、高流量網(wǎng)絡(luò)時(shí)，能夠捕獲并正確解析所有關(guān)鍵信息，為網(wǎng)絡(luò)安全分析提供強(qiáng)有力的支持。

（4）重組數(shù)據(jù)流

當(dāng)數(shù)據(jù)包經(jīng)過(guò)精確的排序后，Suricata便開(kāi)始著手將這些分散的碎片重新拼湊成原始的形態(tài)。像拼圖一樣，每個(gè)數(shù)據(jù)包都被放在其應(yīng)有的位置，形成一個(gè)流暢且連貫的數(shù)據(jù)流。這一過(guò)程不僅還原了通信的真實(shí)情境，也為后續(xù)深入的安全分析構(gòu)建了穩(wěn)固的基石。

（5）處理重組的數(shù)據(jù)

數(shù)據(jù)流一經(jīng)Suricata恢復(fù)與重組，便開(kāi)啟了對(duì)數(shù)據(jù)的深入挖掘之旅。這一過(guò)程不僅僅是簡(jiǎn)單的內(nèi)容瀏覽，而是涵蓋了多層次、多角度的細(xì)致分析，包括但不限于協(xié)議分析、應(yīng)用行為識(shí)別，以及潛在安全威脅檢測(cè)等。

（6）協(xié)議解析

協(xié)議解析是流量重組后的首要任務(wù)。Suricata憑借內(nèi)置的協(xié)議解析器，能夠輕松解碼網(wǎng)絡(luò)中遵循的多種協(xié)議，如HTTP、FTP、SMTP等。這一解碼過(guò)程不僅有助于識(shí)別數(shù)據(jù)流的類型，也有助于進(jìn)一步的數(shù)據(jù)提取。

（7）數(shù)據(jù)提取

在協(xié)議解析的基礎(chǔ)上，Suricata能夠進(jìn)一步從數(shù)據(jù)流中提取關(guān)鍵信息和內(nèi)容，涵蓋特定字符串、用戶憑據(jù)、URL乃至完整的文件內(nèi)容。這些提取出的數(shù)據(jù)元素可用于進(jìn)一步的分析，例如與惡意軟件簽名匹配或進(jìn)行行為分析，并為數(shù)據(jù)重組工作提供支持。

如何使用

安裝過(guò)程略過(guò)，網(wǎng)上教程也有很多，這里不再贅述

配置suricata

編輯配置文件/etc/suricata/suricata.yaml

# 指定監(jiān)聽(tīng)的網(wǎng)卡（如 eth0）
af-packet:
  - interface: eth0
    
# 啟用HTTP協(xié)議解析
app-layer:
  protocols: 
    http:
      enabled: yes
# 配置EVE日志輸出（JSON格式）
outputs:
  - eve-log:
      enabled: yes
      filetype: regular
      filename: eve.json
      types:
        - http:
            extended: yes  # 啟用擴(kuò)展字段
            request-body: yes # 記錄請(qǐng)求體（可選）
            response-body: yes # 記錄響應(yīng)體（可選）

配置完成以后，我們?cè)?/span>eth0制造一些流量，就可以看到suricata對(duì)實(shí)時(shí)流量進(jìn)行了解析：

UDP

{
    "timestamp": "2025-04-25T11:20:45.678901+0800",
    "flow_id": 987654321098765,
    "event_type": "flow",
    "src_ip": "172.16.0.20",
    "src_port": 33333,
    "dest_ip": "192.168.2.200",
    "dest_port": 53,
    "proto": "UDP",
    "app_proto": "dns",
    "flow": {
        "pkts_to_server": 2,
        "pkts_to_client": 2,
        "bytes_to_server": 100,
        "bytes_to_client": 100
    },
    "start": "2025-04-25T11:20:00.000000+0800",
    "end": "2025-04-25T11:20:50.000000+0800",
    "age": 50,
    "state": "established",
    "reason": "timeout",
    "alerted": false
}

TCP

{
    "timestamp": "2025-04-25T12:30:10.345678+0800",
    "flow_id": 567890123456789,
    "event_type": "flow",
    "src_ip": "192.168.3.15",
    "src_port": 8888,
    "dest_ip": "10.1.1.10",
    "dest_port": 22,
    "proto": "TCP",
    "app_proto": "ssh",
    "flow": {
        "pkts_to_server": 10,
        "pkts_to_client": 8,
        "bytes_to_server": 500,
        "bytes_to_client": 400
    },
    "start": "2025-04-25T12:29:30.000000+0800",
    "end": "2025-04-25T12:30:20.000000+0800",
    "age": 50,
    "state": "established",
    "reason": "user_logout",
    "alerted": false
}

HTTP

{
    "timestamp": "2025-05-01T10:15:40.789012+0800",
    "flow_id": 864209753108624,
    "event_type": "http",
    "src_ip": "192.168.20.30",
    "src_port": 53002,
    "dest_ip": "172.67.147.133",
    "dest_port": 8080,
    "proto": "TCP",
    "app_proto": "http",
    "http": {
        "http_method": "POST",
        "url": "/api/login",
        "protocol": "HTTP/1.1",
        "status": 200,
        "length": 567,
        "http_user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 13_3_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.4 Safari/605.1.15",
        "post_data": "username=testuser&password=testpass"
    },
    "start": "2025-05-01T10:15:20.000000+0800",
    "end": "2025-05-01T10:15:50.000000+0800",
    "age": 30,
    "state": "completed",
    "reason": "normal",
    "alerted": false
}

解析入庫(kù)

以HTTP為例，創(chuàng)建表結(jié)構(gòu)

-- 創(chuàng)建存儲(chǔ) HTTP 流量解析信息的表
CREATE TABLE http_traffic_analysis (
    -- 流量記錄的唯一 ID，自增主鍵
    id INT AUTO_INCREMENT PRIMARY KEY,
    -- 事件發(fā)生的時(shí)間戳
    timestamp DATETIME NOT NULL,
    -- 流量的唯一標(biāo)識(shí)符
    flow_id BIGINT NOT NULL,
    -- 事件類型，固定為 'http'
    event_type VARCHAR(20) NOT NULL DEFAULT 'http',
    -- 源 IP 地址
    src_ip VARCHAR(45) NOT NULL,
    -- 源端口號(hào)
    src_port INT NOT NULL,
    -- 目的 IP 地址
    dest_ip VARCHAR(45) NOT NULL,
    -- 目的端口號(hào)
    dest_port INT NOT NULL,
    -- 傳輸層協(xié)議，如 TCP、UDP
    proto VARCHAR(10) NOT NULL,
    -- 應(yīng)用層協(xié)議，固定為 'http'
    app_proto VARCHAR(20) NOT NULL DEFAULT 'http',
    -- HTTP 請(qǐng)求方法，如 GET、POST
    http_method VARCHAR(10) NOT NULL,
    -- HTTP 請(qǐng)求的 URL
    http_url VARCHAR(2048) NOT NULL,
    -- HTTP 協(xié)議版本，如 HTTP/1.1
    http_version VARCHAR(10) NOT NULL,
    -- HTTP 響應(yīng)狀態(tài)碼，如 200、404
    http_status_code INT NOT NULL,
    -- HTTP 響應(yīng)的長(zhǎng)度
    http_response_length INT,
    -- 客戶端的用戶代理信息
    http_user_agent VARCHAR(255),
    -- HTTP POST 請(qǐng)求的數(shù)據(jù)
    http_post_data TEXT,
    -- 連接開(kāi)始時(shí)間
    start_time DATETIME NOT NULL,
    -- 連接結(jié)束時(shí)間
    end_time DATETIME NOT NULL,
    -- 連接持續(xù)時(shí)間
    age INT NOT NULL,
    -- 連接狀態(tài)，如 completed
    state VARCHAR(20) NOT NULL,
    -- 事件原因，如 normal、page_not_found
    reason VARCHAR(50),
    -- 是否觸發(fā)警報(bào)
    alerted BOOLEAN NOT NULL DEFAULT FALSE
);

讀取Suricata的EVE日志文件，并將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)中

public class SuricataDataStorage {
    private static final String DB_URL = "jdbc:mysql://localhost:3306/suricata_data";
    private static final String DB_USER = "your_username";
    private static final String DB_PASSWORD = "your_password";

    public static void main(String[] args) {
        try (Connection connection = DriverManager.getConnection(DB_URL, DB_USER, DB_PASSWORD);
             BufferedReader reader = new BufferedReader(new FileReader("/var/log/suricata/eve.json"))) {

            String line;
            while ((line = reader.readLine()) != null) {
                try {
                    JSONObject event = new JSONObject(line);
                    //TODO 寫入數(shù)據(jù)庫(kù)
                    
                } catch (Exception e) {
                    System.err.println("Error parsing JSON line: " + e.getMessage());
                }
            }
        } catch (SQLException e) {
            System.err.println("Database connection error: " + e.getMessage());
        } catch (IOException e) {
            System.err.println("File reading error: " + e.getMessage());
        }
    }
}

以上代碼只是一個(gè)簡(jiǎn)單的示例，實(shí)際應(yīng)用中可能需要根據(jù)具體需求進(jìn)行修改和擴(kuò)展。

責(zé)任編輯：武曉燕來(lái)源：一安未來(lái)