譯者 | 布加迪

審校 | 孫淑娟

目前，沒有用于構建和管理機器學習（ML）應用程序的標準實踐。機器學習項目組織得不好，缺乏可重復性，而且從長遠來看容易徹底失敗。因此，我們需要一套流程來幫助自己在整個機器學習生命周期中保持質量、可持續性、穩健性和成本管理。

圖1. 機器學習開發生命周期流程

使用質量保證方法開發機器學習應用程序的跨行業標準流程（CRISP-ML（Q））是CRISP-DM的升級版，以確保機器學習產品的質量。

CRISP-ML（Q）有六個單獨的階段：

1. 業務和數據理解

2. 數據準備

3. 模型工程

4. 模型評估

5. 模型部署

6. 監控和維護

這些階段需要不斷迭代和探索，以構建更好的解決方案。即使框架中有順序之分，后一階段的輸出可以決定我們要不要重新檢查前一階段。

圖2. 每個階段的質量保證

質量保證方法被引入到框架的每個階段。這套方法有要求和約束，比如性能指標、數據質量要求和穩健性。它有助于降低影響機器學習應用程序成功的風險。它可以通過持續監控和維護整個系統來實現。

比如說：在電子商務企業，數據和概念漂移會導致模型退化；如果我們沒有部署系統來監控這些變化，公司就會蒙受損失，即失去客戶。

業務和數據理解

開發流程一開始，我們需要確定項目范圍、成功標準和ML應用程序的可行性。之后，我們開始數據收集和質量驗證過程。這個過程漫長而又充滿挑戰。

范圍：我們希望通過使用機器學習流程實現的目標。是留住客戶，還是通過自動化降低運營成本？

成功標準：我們必須定義清晰和可衡量的業務、機器學習（統計指標）和經濟（KPI）成功指標。

可行性：我們需要確保數據可用性、機器學習應用程序的適用性、法律約束、穩健性、可擴展性、可解釋性和資源需求。

數據收集：通過收集數據，對其進行版本控制以實現可重復性，并確保源源不斷的真實數據和生成數據。

數據質量驗證：通過維護數據描述、要求和驗證來確保質量。

為了確保質量和可重復性，我們需要記錄數據的統計屬性和數據生成過程。

數據準備

  第二階段很簡單。我們將為建模階段準備數據。這包括數據選擇、數據清洗、特征工程、數據增強和規范化。

1. 我們從特征選擇、數據選擇以及通過過采樣或欠采樣來處理不平衡類入手。

2. 然后，專注于減少噪音和處理缺失值。出于質量保證的目的，我們將添加數據單元測試，以減少錯誤值。

3. 視模型而定，我們執行特征工程和數據增強，比如獨熱編碼和聚類。

4. 規范化和擴展數據。這可降低特征有偏差的風險。

為了確?？芍貜托?，我們創建了數據建模、轉換和特征工程管道。

模型工程

業務和數據理解階段的約束和要求將決定建模階段。我們需要了解業務問題以及我們將如何開發機器學習模型來解決這些問題。我們將專注于模型選擇、優化和訓練，將確保模型性能指標、穩健性、可擴展性、可解釋性，并優化存儲和計算資源。

1. 模型架構和類似業務問題方面的研究。

2. 定義模型性能指標。

3. 模型選擇。

4. 通過整合專家來了解領域知識。

5. 模型訓練。

6. 模型壓縮和集成。

為確保質量和可重復性，我們將存儲模型元數據并進行版本控制，比如模型架構、訓練和驗證數據、超參數以及環境描述。

最后，我們將跟蹤ML試驗，并創建ML管道，以創建可重復的訓練流程。

模型評估

這是我們測試并確保模型已準備好部署的階段。

• 我們將在測試數據集上測試模型性能。
• 通過提供隨機或虛假數據，評估模型的穩健性。
• 增強模型的可解釋性，以滿足監管部門要求。
• 自動或請教領域專家，將結果與初始成功指標進行比較。

為了質量保證，評估階段的每一步都被記錄下來。

模型部署

模型部署是我們將機器學習模型集成到現有系統中的階段。該模型可以部署在服務器、瀏覽器、軟件和邊緣設備上。來自模型的預測可用于BI儀表板、API、Web應用程序和插件。

模型部署流程：

• 定義硬件推理。
• 生產環境中的模型評估。
• 確保用戶接受和可用性。
• 提供后備方案，最大程度地減少損失。
• 部署策略。

監控和維護

生產環境中的模型需要持續監控和維護。我們將監控模型時效性、硬件性能和軟件性能。

持續監控是流程的第一部分；如果性能降到閾值以下，自動做出決定，針對新數據重新訓練模型。此外，維護部分不僅限于模型的重新訓練。它需要決策機制，獲取新數據、更新軟硬件以及根據業務用例改進ML流程。

簡而言之，就是持續集成、訓練和部署ML模型。

結論

訓練和驗證模型是ML應用程序的一小部分。將最初的想法變成現實需要幾個過程。我們在本文中介紹了CRISP-ML（Q） 以及它如何側重風險評估和質量保證。

我們先定義業務目標、收集和清理數據、構建模型、拿測試數據集驗證模型，然后將其部署到生產環境中。

該框架的關鍵組件是持續監控和維護。我們將監控數據和軟硬件指標，以確定是重新訓練模型還是升級系統。

如果您不熟悉機器學習操作，想了解更多信息，請閱讀DataTalks.Club評述的??免費MLOps課程??。您將獲得所有六個階段的上手經驗，了解CRISP-ML的實際實施。

原文標題：??Making Sense of CRISP-ML(Q): The Machine Learning Lifecycle Process??，作者：Abid Ali Awan