如何用Linux命令行工具解析和格式化輸出JSON
JSON 是一種輕量級且與語言無關的數據存儲格式，易于與大多數編程語言集成，也易于人類理解 —— 當然，如果格式正確的話。JSON 這個詞代表 Java Script Object Notation，雖然它以 JavaScript 開頭，而且主要用于在服務器和瀏覽器之間交換數據，但現在正在用于許多領域，包括嵌入式系統。在這里，我們將使用 Linux 上的命令行工具解析并格式化打印 JSON。它對于在 shell 腳本中處理大型 JSON 數據或在 shell 腳本中處理 JSON 數據非常有用。
什么是格式化輸出？
JSON 數據的結構更具人性化。但是在大多數情況下，JSON 數據會存儲在一行中，甚至沒有行結束字符。
顯然，這對于手動閱讀和編輯不太方便。
這是格式化輸出就很有用。這個該名稱不言自明：重新格式化 JSON 文本，使人們讀起來更清晰。這被稱為 JSON 格式化輸出。
用 Linux 命令行工具解析和格式化輸出 JSON
可以使用命令行文本處理器解析 JSON 數據，例如 awk、sed 和 gerp。實際上 JSON.awk 是一個來做這個的 awk 腳本。但是，也有一些專用工具可用于同一目的。
jq或jshon，shell 下的 JSON 解析器，它們都非常有用。- Shell 腳本，如
JSON.sh或jsonv.sh，用于在 bash、zsh 或 dash shell 中解析JSON。 JSON.awk，JSON 解析器 awk 腳本。- 像
json.tool這樣的 Python 模塊。 undercore-cli，基于 Node.js 和 javascript。
在本教程中，我只關注 jq，這是一個 shell 下的非常強大的 JSON 解析器，具有高級過濾和腳本編程功能。
JSON 格式化輸出
JSON 數據可能放在一行上使人難以解讀，因此為了使其具有一定的可讀性，JSON 格式化輸出就可用于此目的的。
示例：來自 jsonip.com 的數據，使用 curl 或 wget 工具獲得 JSON 格式的外部 IP 地址，如下所示。
$ wget -cq http://jsonip.com/ -O -
實際數據看起來類似這樣：
{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}
現在使用 jq 格式化輸出它：
$ wget -cq http://jsonip.com/ -O - | jq '.'
通過 jq 過濾了該結果之后，它應該看起來類似這樣：
{"ip": "111.222.333.444","about": "/about","Pro!": "http://getjsonip.com"}
同樣也可以通過 Python json.tool 模塊做到。示例如下：
$ cat anything.json | python -m json.tool
這種基于 Python 的解決方案對于大多數用戶來說應該沒問題，但是如果沒有預安裝或無法安裝 Python 則不行，比如在嵌入式系統上。
然而，json.tool Python 模塊具有明顯的優勢，它是跨平臺的。因此，你可以在 Windows、Linux 或 Mac OS 上無縫使用它。
如何用 jq 解析 JSON
首先，你需要安裝 jq，它已被大多數 GNU/Linux 發行版選中，并使用各自的軟件包安裝程序命令進行安裝。
在 Arch Linux 上：
$ sudo pacman -S jq
在 Debian、Ubuntu、Linux Mint 上：
$ sudo apt-get install jq
在 Fedora 上：
$ sudo dnf install jq
在 openSUSE 上：
$ sudo zypper install jq
對于其它操作系統或平臺參見官方的安裝指導。
jq 的基本過濾和標識符功能
jq 可以從 STDIN 或文件中讀取 JSON 數據。你可以根據情況使用。
單個符號 . 是最基本的過濾器。這些過濾器也稱為對象標識符-索引。jq 使用單個 . 過濾器基本上相當將輸入的 JSON 文件格式化輸出。
- 單引號：不必始終使用單引號。但是如果你在一行中組合幾個過濾器，那么你必須使用它們。
- 雙引號：你必須用兩個雙引號括起任何特殊字符，如
@、＃、$，例如jq .foo.”@bar”。 - 原始數據打印：不管出于任何原因，如果你只需要最終解析的數據（不包含在雙引號內），請使用帶有
-r標志的jq命令，如下所示：jq -r .foo.bar。
解析特定數據
要過濾出 JSON 的特定部分，你需要了解格式化輸出的 JSON 文件的數據層次結構。
來自維基百科的 JSON 數據示例：
{"firstName": "John","lastName": "Smith","age": 25,"address": {"streetAddress": "21 2nd Street","city": "New York","state": "NY","postalCode": "10021"},"phoneNumber": [{"type": "home","number": "212 555-1234"},{"type": "fax","number": "646 555-4567"}],"gender": {"type": "male"}}
我將在本教程中將此 JSON 數據用作示例，將其保存為 sample.json。
假設我想從 sample.json 文件中過濾出地址。所以命令應該是這樣的：
$ jq .address sample.json
示例輸出：
{"streetAddress": "21 2nd Street","city": "New York","state": "NY","postalCode": "10021"}
再次，我想要郵政編碼，然后我要添加另一個對象標識符-索引，即另一個過濾器。
$ cat sample.json | jq .address.postalCode
另請注意，過濾器區分大小寫，并且你必須使用完全相同的字符串來獲取有意義的輸出，否則就是 null。
從 JSON 數組中解析元素
JSON 數組的元素包含在方括號內，這無疑是非常通用的。
要解析數組中的元素，你必須使用 [] 標識符以及其他對象標識符索引。
在此示例 JSON 數據中，電話號碼存儲在數組中，要從此數組中獲取所有內容，你只需使用括號，像這個示例：
$ jq .phoneNumber[] sample.json
假設你只想要數組的第一個元素，然后使用從 0 開始的數組對象編號，對于第一個項目，使用 [0]，對于下一個項目，它應該每步增加 1。
$ jq .phoneNumber[0] sample.json
腳本編程示例
假設我只想要家庭電話，而不是整個 JSON 數組數據。這就是用 jq 命令腳本編寫的方便之處。
$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'
首先，我將一個過濾器的結果傳遞給另一個，然后使用 select 屬性選擇特定類型的數據，再次將結果傳遞給另一個過濾器。
解釋每種類型的 jq 過濾器和腳本編程超出了本教程的范圍和目的。強烈建議你閱讀 jq 手冊，以便更好地理解下面的內容。
資源：
- https://stedolan.github.io/jq/manual/
- http://www.compciv.org/recipes/cli/jq-for-parsing-json/
- https://lzone.de/cheat-sheet/jq
【編輯推薦】
