[[198842]]

讓我們先看一下 kdump 的基本使用方法，和 kdump/kexec 在內核中是如何實現。

kdump 是獲取崩潰的 Linux 內核轉儲的一種方法，但是想找到解釋其使用和內部結構的文檔可能有點困難。在本文中，我將研究 kdump 的基本使用方法，和 kdump/kexec 在內核中是如何實現。

kexec 是一個 Linux 內核到內核的引導加載程序，可以幫助從***個內核的上下文引導到第二個內核。kexec 會關閉***個內核，繞過 BIOS 或固件階段，并跳轉到第二個內核。因此，在沒有 BIOS 階段的情況下，重新啟動變得更快。

kdump 可以與 kexec 應用程序一起使用 —— 例如，當***個內核崩潰時第二個內核啟動，第二個內核用于復制***個內核的內存轉儲，可以使用 gdb 和 crash 等工具分析崩潰的原因。(在本文中，我將使用術語“***內核”作為當前運行的內核，“第二內核” 作為使用 kexec 運行的內核，“捕獲內核” 表示在當前內核崩潰時運行的內核。)

kexec 機制在內核以及用戶空間中都有組件。內核提供了幾個用于 kexec 重啟功能的系統調用。名為 kexec-tools 的用戶空間工具使用這些調用，并提供可執行文件來加載和引導“第二內核”。有的發行版還會在 kexec-tools 上添加封裝器，這有助于捕獲并保存各種轉儲目標配置的轉儲。在本文中，我將使用名為 distro-kexec-tools 的工具來避免上游 kexec 工具和特定于發行版的 kexec-tools 代碼之間的混淆。我的例子將使用 Fedora Linux 發行版。

Fedora kexec-tools 工具

使用 dnf install kexec-tools 命令在 Fedora 機器上安裝 fedora-kexec-tools。在安裝 fedora-kexec-tools 后可以執行 systemctl start kdump 命令來啟動 kdump 服務。當此服務啟動時，它將創建一個根文件系統(initramfs)，其中包含了要掛載到目標位置的資源，以保存 vmcore，以及用來復制和轉儲 vmcore 到目標位置的命令。然后，該服務將內核和 initramfs 加載到崩潰內核區域內的合適位置，以便在內核崩潰時可以執行它們。

Fedora 封裝器提供了兩個用戶配置文件：

1. /etc/kdump.conf 指定修改后需要重建 initramfs 的配置參數。例如，如果將轉儲目標從本地磁盤更改為 NFS 掛載的磁盤，則需要由“捕獲內核”所加載的 NFS 相關的內核模塊。
2. /etc/sysconfig/kdump 指定修改后不需要重新構建 initramfs 的配置參數。例如，如果只需修改傳遞給“捕獲內核”的命令行參數，則不需要重新構建 initramfs。

如果內核在 kdump 服務啟動之后出現故障，那么“捕獲內核”就會執行，其將進一步執行 initramfs 中的 vmcore 保存過程，然后重新啟動到穩定的內核。

kexec-tools 工具

編譯 kexec-tools 的源代碼得到了一個名為 kexec 的可執行文件。這個同名的可執行文件可用于加載和執行“第二內核”，或加載“捕獲內核”，它可以在內核崩潰時執行。

加載“第二內核”的命令：

# kexec -l kernel.img --initrd=initramfs-image.img –reuse-cmdline 

--reuse-command 參數表示使用與“***內核”相同的命令行。使用 --initrd 傳遞 initramfs。 -l 表明你正在加載“第二內核”，其可以由 kexec 應用程序本身執行(kexec -e)。使用 -l 加載的內核不能在內核崩潰時執行。為了加載可以在內核崩潰時執行的“捕獲內核”，必須傳遞參數 -p 取代 -l。

加載捕獲內核的命令：

# kexec -p kernel.img --initrd=initramfs-image.img –reuse-cmdline 

echo c > /pros/sysrq-trigger 可用于使內核崩潰以進行測試。有關 kexec-tools 提供的選項的詳細信息，請參閱 man kexec。在轉到下一個部分之前，請看這個 kexec_dump 的演示： 

 kdump: 端到端流

下圖展示了流程圖。必須在引導“***內核”期間為捕獲內核保留 crashkernel 的內存。您可以在內核命令行中傳遞 crashkernel=Y@X，其中 @X 是可選的。crashkernel=256M 適用于大多數 x86_64 系統;然而，為崩潰內核選擇適當的內存取決于許多因素，如內核大小和 initramfs，以及 initramfs 中包含的模塊和應用程序運行時的內存需求。有關傳遞崩潰內核參數的更多方法，請參閱 kernel-parameters 文檔。 

pratyush_f1.png

您可以將內核和 initramfs 鏡像傳遞給 kexec 可執行文件，如(kexec-tools)部分的命令所示。“捕獲內核”可以與“***內核”相同，也可以不同。通常，一樣即可。Initramfs 是可選的;例如，當內核使用 CONFIG_INITRAMFS_SOURCE 編譯時，您不需要它。通常，從***個 initramfs 中保存一個不一樣的捕獲 initramfs，因為在捕獲 initramfs 中自動執行 vmcore 的副本能獲得更好的效果。當執行 kexec 時，它還加載了 elfcorehdr 數據和 purgatory 可執行文件(LCTT 譯注：purgatory 就是一個引導加載程序，是為 kdump 定作的。它被賦予了“煉獄”這樣一個古怪的名字應該只是一種調侃)。 elfcorehdr 具有關于系統內存組織的信息，而 purgatory 可以在“捕獲內核”執行之前執行并驗證第二階段的二進制或數據是否具有正確的 SHA。purgatory 也是可選的。

當“***內核”崩潰時，它執行必要的退出過程并切換到 purgatory(如果存在)。purgatory 驗證加載二進制文件的 SHA256，如果是正確的，則將控制權傳遞給“捕獲內核”。“捕獲內核”根據從 elfcorehdr 接收到的系統內存信息創建 vmcore。因此，“捕獲內核”啟動后，您將看到 /proc/vmcore 中“***內核”的轉儲。根據您使用的 initramfs，您現在可以分析轉儲，將其復制到任何磁盤，也可以是自動復制的，然后重新啟動到穩定的內核。

內核系統調用

內核提供了兩個系統調用：kexec_load() 和 kexec_file_load()，可以用于在執行 kexec -l 時加載“第二內核”。它還為 reboot() 系統調用提供了一個額外的標志，可用于使用 kexec -e 引導到“第二內核”。

kexec_load()：kexec_load() 系統調用加載一個可以在之后通過 reboot() 執行的新的內核。其原型定義如下：

long kexec_load(unsigned long entry, unsigned long nr_segments, 
struct kexec_segment *segments, unsigned long flags); 

用戶空間需要為不同的組件傳遞不同的段，如內核，initramfs 等。因此，kexec 可執行文件有助于準備這些段。kexec_segment 的結構如下所示：

struct kexec_segment { 
    void *buf; 
    /* 用戶空間緩沖區 */ 
    size_t bufsz; 
    /* 用戶空間中的緩沖區長度 */ 
    void *mem; 
    /* 內核的物理地址 */ 
    size_t memsz; 
    /* 物理地址長度 */ 
}; 

當使用 LINUX_REBOOT_CMD_KEXEC 調用 reboot() 時，它會引導進入由 kexec_load 加載的內核。如果標志 KEXEC_ON_CRASH 被傳遞給 kexec_load()，則加載的內核將不會使用 reboot(LINUX_REBOOT_CMD_KEXEC) 來啟動;相反，這將在內核崩潰中執行。必須定義 CONFIG_KEXEC 才能使用 kexec，并且為 kdump 定義 CONFIG_CRASH_DUMP。

kexec_file_load()：作為用戶，你只需傳遞兩個參數(即 kernel 和 initramfs)到 kexec 可執行文件。然后，kexec 從 sysfs 或其他內核信息源中讀取數據，并創建所有段。所以使用 kexec_file_load() 可以簡化用戶空間，只傳遞內核和 initramfs 的文件描述符。其余部分由內核本身完成。使用此系統調用時應該啟用 CONFIG_KEXEC_FILE。它的原型如下：

long kexec_file_load(int kernel_fd, int initrd_fd, unsigned long 
cmdline_len, const char __user * cmdline_ptr, unsigned long 
flags); 

請注意，kexec_file_load 也可以接受命令行，而 kexec_load() 不行。內核根據不同的系統架構來接受和執行命令行。因此，在 kexec_load() 的情況下，kexec-tools 將通過其中一個段(如在 dtb 或 ELF 引導注釋等)中傳遞命令行。

目前，kexec_file_load() 僅支持 x86 和 PowerPC。

當內核崩潰時會發生什么

當***個內核崩潰時，在控制權傳遞給 purgatory 或“捕獲內核”之前，會執行以下操作：

• 準備 CPU 寄存器(參見內核代碼中的 crash_setup_regs());
• 更新 vmcoreinfo 備注(請參閱 crash_save_vmcoreinfo());
• 關閉非崩潰的 CPU 并保存準備好的寄存器(請參閱 machine_crash_shutdown() 和 crash_save_cpu());
• 您可能需要在此處禁用中斷控制器;
• ***，它執行 kexec 重新啟動(請參閱 machine_kexec())，它將加載或刷新 kexec 段到內存，并將控制權傳遞給進入段的執行文件。輸入段可以是下一個內核的 purgatory 或開始地址。

ELF 程序頭

kdump 中涉及的大多數轉儲核心都是 ELF 格式。因此，理解 ELF 程序頭部很重要，特別是當您想要找到 vmcore 準備的問題。每個 ELF 文件都有一個程序頭：

• 由系統加載器讀取，
• 描述如何將程序加載到內存中，
• 可以使用 Objdump -p elf_file 來查看程序頭。

vmcore 的 ELF 程序頭的示例如下：

# objdump -p vmcore 
vmcore: 
file format elf64-littleaarch64 
Program Header: 
NOTE off 0x0000000000010000 vaddr 0x0000000000000000 paddr 0x0000000000000000 align 2**0 filesz 
0x00000000000013e8 memsz 0x00000000000013e8 flags --- 
LOAD off 0x0000000000020000 vaddr 0xffff000008080000 paddr 0x0000004000280000 align 2**0 filesz 
0x0000000001460000 memsz 0x0000000001460000 flags rwx 
LOAD off 0x0000000001480000 vaddr 0xffff800000200000 paddr 0x0000004000200000 align 2**0 filesz 
0x000000007fc00000 memsz 0x000000007fc00000 flags rwx 
LOAD off 0x0000000081080000 vaddr 0xffff8000ffe00000 paddr 0x00000040ffe00000 align 2**0 filesz 
0x00000002fa7a0000 memsz 0x00000002fa7a0000 flags rwx 
LOAD off 0x000000037b820000 vaddr 0xffff8003fa9e0000 paddr 0x00000043fa9e0000 align 2**0 filesz 
0x0000000004fc0000 memsz 0x0000000004fc0000 flags rwx 
LOAD off 0x00000003807e0000 vaddr 0xffff8003ff9b0000 paddr 0x00000043ff9b0000 align 2**0 filesz 
0x0000000000010000 memsz 0x0000000000010000 flags rwx 
LOAD off 0x00000003807f0000 vaddr 0xffff8003ff9f0000 paddr 0x00000043ff9f0000 align 2**0 filesz 
0x0000000000610000 memsz 0x0000000000610000 flags rwx 

在這個例子中，有一個 note 段，其余的是 load 段。note 段提供了有關 CPU 信息，load 段提供了關于復制的系統內存組件的信息。

vmcore 從 elfcorehdr 開始，它具有與 ELF 程序頭相同的結構。參見下圖中 elfcorehdr 的表示： 

pratyush_f2.png

kexec-tools 讀取 /sys/devices/system/cpu/cpu%d/crash_notes 并準備 CPU PT_NOTE 的標頭。同樣，它讀取 /sys/kernel/vmcoreinfo 并準備 vmcoreinfo PT_NOTE 的標頭，從 /proc/iomem 讀取系統內存并準備存儲器 PT_LOAD 標頭。當“捕獲內核”接收到 elfcorehdr 時，它從標頭中提到的地址中讀取數據，并準備 vmcore。

Crash note

Crash notes 是每個 CPU 中用于在系統崩潰的情況下存儲 CPU 狀態的區域;它有關于當前 PID 和 CPU 寄存器的信息。

vmcoreinfo

該 note 段具有各種內核調試信息，如結構體大小、符號值、頁面大小等。這些值由捕獲內核解析并嵌入到 /proc/vmcore 中。 vmcoreinfo 主要由 makedumpfile 應用程序使用。在 Linux 內核，include/linux/kexec.h 宏定義了一個新的 vmcoreinfo。 一些示例宏如下所示：

• VMCOREINFO_PAGESIZE()
• VMCOREINFO_SYMBOL()
• VMCOREINFO_SIZE()
• VMCOREINFO_STRUCT_SIZE()

makedumpfile

vmcore 中的許多信息(如可用頁面)都沒有用處。makedumpfile 是一個用于排除不必要的頁面的應用程序，如：

• 填滿零的頁面;
• 沒有私有標志的緩存頁面(非專用緩存);
• 具有私有標志的緩存頁面(專用緩存);
• 用戶進程數據頁;
• 可用頁面。

此外，makedumpfile 在復制時壓縮 /proc/vmcore 的數據。它也可以從轉儲中刪除敏感的符號信息; 然而，為了做到這一點，它首先需要內核的調試信息。該調試信息來自 VMLINUX 或 vmcoreinfo，其輸出可以是 ELF 格式或 kdump 壓縮格式。

典型用法：

# makedumpfile -l --message-level 1 -d 31 /proc/vmcore makedumpfilecore 

詳細信息請參閱 man makedumpfile。

kdump 調試

新手在使用 kdump 時可能會遇到的問題：

kexec -p kernel_image 沒有成功

• 檢查是否分配了崩潰內存。
• cat /sys/kernel/kexec_crash_size 不應該有零值。
• cat /proc/iomem | grep "Crash kernel" 應該有一個分配的范圍。
• 如果未分配，則在命令行中傳遞正確的 crashkernel= 參數。
• 如果沒有顯示，則在 kexec 命令中傳遞參數 -d，并將輸出信息發送到 kexec-tools 郵件列表。

在“***內核”的***一個消息之后，在控制臺上看不到任何東西(比如“bye”)

• 檢查 kexec -e 之后的 kexec -l kernel_image 命令是否工作。
• 可能缺少支持的體系結構或特定機器的選項。
• 可能是 purgatory 的 SHA 驗證失敗。如果您的體系結構不支持 purgatory 中的控制臺，則很難進行調試。
• 可能是“第二內核”早已崩潰。
• 將您的系統的 earlycon 或 earlyprintk 選項傳遞給“第二內核”的命令行。
• 使用 kexec-tools 郵件列表共享***個內核和捕獲內核的 dmesg 日志。

資源

fedora-kexec-tools

• GitHub 倉庫：git://pkgs.fedoraproject.org/kexec-tools
• 郵件列表：kexec@lists.fedoraproject.org
• 說明：Specs 文件和腳本提供了用戶友好的命令和服務，以便 kexec-tools 可以在不同的用戶場景下實現自動化。

kexec-tools

• GitHub 倉庫：git://git.kernel.org/pub/scm/utils/kernel/kexec/kexec-tools.git
• 郵件列表：kexec@lists.infradead.org
• 說明：使用內核系統調用并提供用戶命令 kexec。

Linux kernel

• GitHub 倉庫： git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git
• 郵件列表：kexec@lists.infradead.org
• 說明：實現了 kexec_load()、kexec_file_load()、reboot() 系統調用和特定體系結構的代碼，例如 machine_kexec() 和 machine_crash_shutdown()。

Makedumpfile

• GitHub 倉庫： git://git.code.sf.net/p/makedumpfile/code
• 郵件列表：kexec@lists.infradead.org
• 說明：從轉儲文件中壓縮和過濾不必要的組件。

(題圖：Penguin、 Boot，修改：Opensource.com. CC BY-SA 4.0)