[[282048]]

Netflix 開(kāi)源了自己開(kāi)發(fā)的 Mantis 平臺(tái)，該平臺(tái)能讓開(kāi)發(fā)者在最小化觀察和操作系統(tǒng)的成本的情況下，實(shí)時(shí)地監(jiān)控并分析運(yùn)維事件，并將故障平均檢測(cè)時(shí)間從幾十分鐘減少到了幾秒鐘。

2019 年 10 月 21 日，我們很高興地宣布，Netflix 將 Mantis（螳螂）開(kāi)源了，這個(gè)平臺(tái)能夠幫助 Netflix 的工程師們更好地理解他們所開(kāi)發(fā)的應(yīng)用程序的各種行為，以確保為 Netflix 的會(huì)員提供最高質(zhì)量的體驗(yàn)。而且我們相信，我們?cè)?Netflix 所遇到的種種挑戰(zhàn)并不一定是 Netflix 所獨(dú)有的，這就是為什么我們要在更廣泛的開(kāi)發(fā)社區(qū)來(lái)分享這個(gè)平臺(tái)。

作為一個(gè)流媒體微服務(wù)生態(tài)系統(tǒng)，在不影響運(yùn)維判斷力的情況下，Mantis 平臺(tái)為開(kāi)發(fā)工程師提供了讓觀察和操作復(fù)雜分布式系統(tǒng)的成本降至最低的能力。開(kāi)發(fā)工程師們已經(jīng)基于 Mantis 平臺(tái)構(gòu)建了性價(jià)比頗高的應(yīng)用程序，以實(shí)現(xiàn)快速識(shí)別問(wèn)題、觸發(fā)警報(bào)、以及實(shí)施補(bǔ)救措施，從而最大程度地降低 Netflix 服務(wù)的宕機(jī)時(shí)間，甚至完全避免發(fā)生宕機(jī)事故。而遇到類似的指標(biāo)故障，其他系統(tǒng)可能需要花上十多分鐘才能完成精確處理，而 Mantis 將這一過(guò)程從幾十分鐘減少到了幾秒鐘，卓然有效地減少了我們的故障平均檢測(cè)時(shí)間。這點(diǎn)是至關(guān)重要的，因?yàn)槿魏五礄C(jī)時(shí)間對(duì)于 Netflix 都是致命的，并且會(huì)對(duì)我們的訂閱用戶產(chǎn)生非常大的負(fù)面影響，因此，宕機(jī)過(guò)程中每流逝的一秒對(duì)我們來(lái)說(shuō)都很重要。

隨著 Netlix 在全球日益增長(zhǎng)的會(huì)員基數(shù)，以及隨著這些會(huì)員越來(lái)越多地使用 Netflix 提供的服務(wù)，我們對(duì) Netflix 的系統(tǒng)運(yùn)營(yíng)健康狀況如何進(jìn)行經(jīng)濟(jì)適用、便捷快速且精確無(wú)誤的監(jiān)控分析就變得越來(lái)越重要。例如，距離我們發(fā)表上一篇 關(guān)于 Mantis 博客文章（2016 年 3 月）已經(jīng)有兩年半的時(shí)間，今日 Netflix 五分鐘的宕機(jī)的影響體量已經(jīng)相當(dāng)于那時(shí)候兩小時(shí)的宕機(jī)。

Matins 讓回答未知問(wèn)題變得容易  

對(duì)于規(guī)模巨大又日益增長(zhǎng)的系統(tǒng)而言，只使用指標(biāo)度量和日志分析的傳統(tǒng)方法已不能滿足當(dāng)前的系統(tǒng)需求。指標(biāo)衡量和日志分析方法的前提是，在事故發(fā)生之前你預(yù)先就知道需要回答什么樣的問(wèn)題。而另一方面，Mantis 讓我們完全避開(kāi)這個(gè)缺點(diǎn)，這個(gè)平臺(tái)讓我們能夠回答事先并未預(yù)料到的新問(wèn)題，且不需要添加任何新的工具或配置。Mantis 并沒(méi)有使用日志或度量指標(biāo)，而是支持將事件普遍化，開(kāi)發(fā)人員可以根據(jù)需要從任何能收集數(shù)據(jù)的應(yīng)用程序?qū)κ录鲗?shí)現(xiàn)訪問(wèn)。通過(guò)這種“按需消費(fèi)”的模式，你就可以自由地將所有數(shù)據(jù)發(fā)布給 Mantis。

Matins 以經(jīng)濟(jì)合算的方式回答問(wèn)題  

如果為了能夠在未來(lái)回答新的問(wèn)題就發(fā)布 100% 的運(yùn)維數(shù)據(jù)，這么做在傳統(tǒng)意義上成本會(huì)是非常昂貴的。而 Mantis 使用了一種隨需應(yīng)變的、響應(yīng)式的模型，在這些事件被訂閱成為事件流之前，你并不需要為這些事件付出任何成本。而為了進(jìn)一步降低成本，Mantis 會(huì)為等效的訂閱者重新發(fā)布相同的數(shù)據(jù)。通過(guò)這種方式，Mantis 與其他系統(tǒng)的顯著不同之處在于，Mantis 允許我們對(duì)事件實(shí)現(xiàn)基于流的可觀察性，同時(shí)允許開(kāi)發(fā)工程師使用工具來(lái)降低成本，否則過(guò)高的成本將有害于業(yè)務(wù)。

從一開(kāi)始構(gòu)建 Mantis，我們就把這個(gè)指導(dǎo)原則準(zhǔn)確無(wú)誤地銘記于心：讓我們確保最小化觀察和操作系統(tǒng)的成本，同時(shí)也保證了不會(huì)犧牲那些必要的和機(jī)遇性的監(jiān)控要點(diǎn)。

構(gòu)建 Mantis 的指導(dǎo)原則  

以下是構(gòu)建 Mantis 平臺(tái)背后的指導(dǎo)原則。

1. 我們應(yīng)該保證能夠?qū)υ际录M(jìn)行訪問(wèn)。 將事件發(fā)布到 Mantis 中的應(yīng)用程序應(yīng)該可以自由地發(fā)布每個(gè)事件。如果我們?cè)谶@個(gè)階段過(guò)早地把原始事件轉(zhuǎn)換為其他形式，那么在洞察事件原因方面可能就已經(jīng)處于劣勢(shì)了，因?yàn)檫@樣一來(lái)已經(jīng)丟失了原始形式的數(shù)據(jù)。

2. 我們應(yīng)該能夠做到實(shí)時(shí)訪問(wèn)這些事件。 很多運(yùn)維性用例在本質(zhì)上是時(shí)間敏感的。而傳統(tǒng)的方法采用發(fā)布、存儲(chǔ)、然后批量聚合事件等步驟，這樣處理起來(lái)太慢了。與之相反的是，我們應(yīng)該在事件到達(dá)時(shí)逐個(gè)地對(duì)它們進(jìn)行處理和服務(wù)。隨著系統(tǒng)規(guī)模的擴(kuò)張，更短的時(shí)間內(nèi)事件的影響會(huì)變得更顯著，實(shí)時(shí)處理這一點(diǎn)會(huì)變得越來(lái)越重要。

3. 我們應(yīng)該在不需要向應(yīng)用程序添加新的工具和配置的情況下，基于這些收集的數(shù)據(jù)回答那些未知的新問(wèn)題。 無(wú)論怎么為系統(tǒng)打造足夠的彈性，我們都不可能做到事先悉知系統(tǒng)可能會(huì)遇到的每一種可能的故障模式。所以，當(dāng)這些未知故障不可避免地發(fā)生時(shí)，最重要的是我們可以從這些收集的數(shù)據(jù)中獲取針對(duì)未知問(wèn)題的新見(jiàn)解。因此，你應(yīng)該做到能夠發(fā)布具有任意上下文、任意大小的事件。這樣，當(dāng)你未來(lái)某次想起要向系統(tǒng)詢問(wèn)一個(gè)未知的新問(wèn)題時(shí)，可以運(yùn)用這些數(shù)據(jù)來(lái)回答這些新問(wèn)題。

4. 我們應(yīng)該能夠以一種經(jīng)濟(jì)適用的方式來(lái)實(shí)現(xiàn)上述所有這些需求。 隨著 Netflix 這個(gè)業(yè)務(wù)關(guān)鍵系統(tǒng)規(guī)模不斷擴(kuò)大，我們需要確保為該業(yè)務(wù)關(guān)鍵系統(tǒng)所打造的支撐性系統(tǒng)，其最終的成本不會(huì)超過(guò)業(yè)務(wù)關(guān)鍵系統(tǒng)本身。

請(qǐng)記住這些指導(dǎo)原則，接下來(lái)讓我們來(lái)看看 Mantis 是如何為 Netflix 帶來(lái)更多價(jià)值的。

Mantis 如何為 Netflix 帶來(lái)更多價(jià)值  

Mantis 投入生產(chǎn)的實(shí)際應(yīng)用已經(jīng)超過(guò)四年了。在此期間，在 Mantis 平臺(tái)上已經(jīng)構(gòu)建了幾個(gè)關(guān)鍵的運(yùn)維洞察性應(yīng)用程序。

在這些洞察性應(yīng)用程序中，一些值得注意的例子包括：

• 實(shí)時(shí)監(jiān)控 Netflix 流媒體健康狀況，該應(yīng)用程序?qū)崟r(shí)地檢查 Netflix 的所有流媒體視頻流量，并以精細(xì)粒度準(zhǔn)確地識(shí)別那些對(duì)觀看體驗(yàn)的負(fù)面影響。該系統(tǒng)為 Netflix 服務(wù)整體健康狀況承擔(dān)了預(yù)警指示的作用，并將在幾秒鐘內(nèi)觸發(fā)警告并通知相關(guān)團(tuán)隊(duì)。
• 上下文警報(bào)，這個(gè)應(yīng)用程序會(huì)實(shí)時(shí)地分析數(shù)十種 Netflix 微服務(wù)之間數(shù)以百萬(wàn)計(jì)的互動(dòng)，從而識(shí)別出異常，并為運(yùn)營(yíng)商提供與該異常所相關(guān)的豐富的上下文信息。這些由 Mantis 在背后支持的聚合具有天然的實(shí)時(shí)特性，從而使得異常的平均檢測(cè)時(shí)間從幾十分鐘減少到幾秒鐘。考慮到 Netflix 如此巨大的規(guī)模，這帶來(lái)的影響確實(shí)十分深遠(yuǎn)。
• Raven 允許用戶使用我們的 Mantis 查詢語(yǔ)言（MQL）對(duì)來(lái)自數(shù)百個(gè)流媒體源的實(shí)時(shí)數(shù)據(jù)進(jìn)行各種形式的探測(cè)。
• Cassandra 健康檢查則提供了對(duì)豐富的運(yùn)維事件的實(shí)時(shí)分析，并為 Netflix 里每個(gè) Cassandra 集群生成整體性的健康狀況報(bào)告。
• 日志警報(bào)，通過(guò)實(shí)時(shí)處理來(lái)自數(shù)千個(gè) Netflix 服務(wù)器的日志數(shù)據(jù)，來(lái)檢測(cè)應(yīng)用程序錯(cuò)誤。
• 混沌實(shí)驗(yàn)監(jiān)控，實(shí)時(shí)地跟蹤混沌實(shí)驗(yàn)中的用戶體驗(yàn)變化，并在遇到負(fù)面影響時(shí)觸發(fā)中斷混沌實(shí)驗(yàn)。
• 實(shí)時(shí)個(gè)人身份信息（PII）數(shù)據(jù)，跨越所有流媒體源實(shí)時(shí)地檢測(cè)個(gè)人身份信息數(shù)據(jù)樣本，以快速識(shí)別敏感數(shù)據(jù)的傳輸。

歡迎嘗試開(kāi)源的 Mantis  

如果想要了解更多關(guān)于 Mantis 的信息，可以查看 Mantis 的主頁(yè)。現(xiàn)在，可以嘗試讓你自己的第一個(gè) Mantis 集群運(yùn)轉(zhuǎn)起來(lái)，可以選擇在本地使用 Docker，也可以在云端用 Mantis CLI 在 AWS 中構(gòu)建一個(gè)小集群。你也可以在 Github 上獲取 Mantis 的開(kāi)源代碼，通過(guò)用戶或 開(kāi)發(fā)者 郵件列表與社區(qū)進(jìn)行交流，為 Mantis 做出你的一份貢獻(xiàn)。

Mantis 主頁(yè)：https://netflix.github.io/mantis/