譯者 | 崔皓

審校 | 重樓

摘要

本文強調MLOps（機器學習運營）的重要性，并詳細介紹了其五個關鍵階段：問題框架、解決方案框架、數據準備、模型構建和分析以及模型服務和監控。文章通過一個金融科技案例研究，詳細解釋了如何在實踐中應用這五個階段。最后，文章強調了實施MLOps的好處，包括解決業務問題、使用正確的工具、善用代表問題的數據集、構建最優的機器學習模型，以及部署和監控模型。

開篇

許多數據科學項目因為各種原因都不為人所知。MLOps就是其中一個， MLOps指的是從數據階段到部署階段的過程，它可以確保機器學習模型的成功。在這篇文章中，你將了解到MLOps的關鍵階段（從數據科學家的角度）以及一些常見的陷阱。

小貼士：MLOps市場在2019年估計為232億美元，并預計到2025年將達到1260億美元，原因是MLOps被業內廣泛應用。

MLOps的動機

MLOps是一種專注于運營數據科學模型的實踐。通常，在大多數企業中，數據科學家負責建模數據集，預處理數據，進行特征工程，最后構建模型。然后，模型被“扔”給工程團隊，以便部署成API或者站點。在這個過程中，科學（建模）和工程（部署）往往在各自的孤島中進行，兩部分工作的隔離導致部署延遲，在最壞的情況下，會導致部署錯誤。MLOps可以快速準確地部署企業規模的ML模型。數據科學往往被人認為 “說起來容易做起來難”。MLOps就是這一領域的靈丹妙藥，用來根治從模型學習到生產部署的各種疑難雜癥。其實數據科學家都清楚，90%的ML模型并沒有投入生產。MLOps給數據科學和工程團隊帶來了標準和流程，確保他們緊密且持續地合作。這種合作對于確保模型成功部署至關重要。

簡述MLOps

對于熟悉DevOps的人來說，MLOps對于機器學習應用就像DevOps對于軟件應用一樣重要。MLOps有多種形式，然而有五個關鍵階段對于MLOps策略至關重要，同時每個階段都需要與利益相關者進行溝通。下面我們就展開說明有哪五個階段：

問題框架

深入理解業務問題。這是成功部署模型和使用的關鍵。在這個階段需要與所有的利益相關者進行交流，從而獲得項目的支持。包括工程、產品、合規等。

解決方案框架

只有在問題陳述被詳細討論之后，才開始考慮“如何”以及是否需要機器學習來解決業務問題？一開始，作為數據科學家，我建議避開機器學習，這一舉動可能會讓人覺得奇怪。因為“巨大的力量帶來的是巨大的責任”。我們只要確保機器學習模型被建立、部署和仔細監控，以確保它滿足并繼續滿足業務需求。同時，在這個階段也應該與利益相關者討論時間表和資源。

數據準備

一旦決定走機器學習的路線，就開始考慮“數據”。這個階段包括數據收集、數據清洗、數據轉換、特征工程和標簽（對于監督學習）。這里需要記住的格言是“垃圾輸入，垃圾輸出”。這個步驟通常是過程中最痛苦的步驟，對于確保模型成功至關重要。確保多次驗證數據和特征，以確保它們與業務問題相符。記錄你在創建數據集時做出的所有假設。例如：一個特征的異常值真的是異常值嗎？

模型構建和分析

在這個階段，需要構建和評估多個模型，選擇最能解決問題的模型架構。選擇的優化指標應反映業務需求。現在，有許多機器學習庫可以加快這個步驟。記住記錄和跟蹤你的實驗，以確保機器學習流水線的可重復性。

模型服務和監控

一旦我們從前一階段構建出模型對象，需要考慮如何讓最終用戶“使用”它。最小化響應延遲，以及最大化吞吐量。部署服務模型為REST API端點，并將其部署到云上的Docker容器或在邊緣設備上。即便是順利部署了服務，但也不能高興得太早，因為還存在變數。例如，生產中的數據可能會漂移，導致模型衰退，或者模型會受到對抗性攻擊。我們需要為機器學習應用建立強大的監控基礎設施。這里需要監控兩件事：

1.部署環境的健康狀況（例如：負載，使用情況，延遲）

2. 模型本身的健康狀況（例如：性能指標，輸出分布）。

在這個階段也需要確定監控頻率。每天、每周還是每月監控ML應用程序？至此，已經建立、部署和監控了一個健壯的機器學習應用程序。但是，輪子并沒有停止旋轉，因為上述步驟需要不斷迭代。

金融科技案例研究

為了將上述五個階段付諸實踐，我們會舉一個案例作為最佳實踐的參考。假設你是一家金融科技公司的數據科學家，負責部署一個用于檢測欺詐交易的欺詐模型。在這種情況下，首先要深入研究檢測的欺詐類型（是第一方還是第三方？）。交易如何被確定為欺詐或非欺詐？是由最終用戶報告的，還是你必須使用啟發式方法來識別欺詐？誰會使用模型？它將實時使用還是批量模式？回答上述問題對解決這個業務問題至關重要。

接下來，考慮什么解決方案最能解決這個問題。你需要機器學習來解決這個問題，還是可以從簡單的啟發式方法開始來處理欺詐？所有的欺詐是否都來自一小部分IP地址？

如果你決定構建一個機器學習模型（假設這個案例是監督學習），你將需要標簽和特征。你將如何處理缺失的變量？異常值呢？欺詐標簽的觀察窗口是多少？即用戶報告欺詐交易需要多長時間？是否有一個數據倉庫可以用來構建特征？在向前移動之前，確保驗證數據和特征。這也是與利益相關者就項目方向進行交流的好時機。

一旦你有了所需的數據，就構建模型并進行必要的分析。確保模型指標與業務使用相符。（例如：對于這個用例，可能是第一分位數的召回率）。所選的模型算法是否滿足延遲要求？

最后，與工程協調部署和服務模型。因為欺詐檢測是一個非常動態的環境，欺詐者努力保持在系統前面，所以監控非常重要。對數據和模型都有一個監控計劃。例如，人口穩定性指數（PSI）是常用的跟蹤數據漂移的措施。你將多久重新訓練一次模型？

現在，你可以成功地通過使用機器學習（如果需要的話！）來減少欺詐交易，從而創造商業價值。

結論

希望在閱讀這篇文章后，你能夠理解MLOps給企業實現機器學習到部署帶來的益處。總的來說，MLOps能夠給數據科學團隊帶來如下優勢：

• 解決正確的業務問題
• 使用正確的工具來解決問題
• 利用代表問題的數據集
• 構建最優的機器學習模型
• 最后部署和監控模型以確保持續的成功

然而，要注意常見的陷阱，以確保你的數據科學項目不會成為數據科學墓地的一塊墓碑！數據科學應用是一個活生生的東西。數據和模型需要持續被監控。從一開始就應該考慮AI治理，而不是作為事后的想法。牢記這些原則，我相信你可以真正地利用機器學習（如果需要的話！）創造商業價值。

譯者介紹

崔皓，51CTO社區編輯，資深架構師，擁有18年的軟件開發和架構經驗，10年分布式架構經驗。

原文標題：How to MLOps like a Boss: A Guide to Machine Learning without Tears，作者：Natesh Babu Arunachalam