前言

不論AI是真風口還是大泡沫，在擁有九年互聯網AI開發從業經驗的筆者看來，AI技術一定要在我們的技術棧中占據一席之地，這已經是不可逆的歷史大勢。筆者多年來一直關注人工智能領域的前沿研究和***實踐，久聞華為云推出的一站式AI開發平臺ModelArts在斯坦福DAWNBench的Image Classification on ImageNet中多次登頂TOP2，便想體驗體驗。

此次得到華為云布道師、ASF Member陳亮之邀，我對ModelArts進行了一番深度體驗與實踐。

ModelArts介紹

ModelArts是面向 AI 開發者的一站式開發平臺，其開發平臺如圖1-1所示；ModelArts平臺向開發者提供了全套AI開發環境：分布式計算工具（TensorFlow/PyTorch）、分布式文件系統OBS（Ceph）、AI開發工具，該環境以Docker的方式集成，方便快速部署和擴展，對于開發者只需要選擇所需要的Docker即可，避免了每個開發者進行繁瑣的開發環境準備工作；對于開發者，只需要關注模型生產部分的工作，包括數據的上傳、數據的標注、模型選擇和開發、模型訓練、模型部署等工作；對于上層應用，開發者可以基于自己的模型進行業務實現，比如：圖像識別、分類預測、個性推薦等實際業務場景。

圖1-1 ModelArts平臺

其中ModelArts為了提升開發者的效率，還提供了海量數據預處理及半自動化標注提高數據標注效率，大規模分布式訓練減少模型訓練耗時，自動化模型生成和模型部署能力幫助開發者快速創建和部署模型。對于開發者，基于ModelArts平臺的開發流程如圖1-2所示；首先進行數據上傳，將數據上傳至OBS中；其次再對數據進行樣本準備，如果是需要標注的數據，采用平臺提供的半自動化標注工具可以快速進行標注，標注完成后，則自動生成樣本文件；再次根據業務需求進行算法開發，包括模型選擇、參照模型集市已有成熟模型、模型算法開發（基于Notebook進行模型調試）；然后對模型進行訓練，包括模型參數調優、效果指標分析等；***對模型進行快速部署，包括模型管理、模型發布、在線預測、批量預測、AB分流等。

圖1-2 ModelArts 開發流程

2、環境準備

步驟1：在華為云首頁點擊右上角的【控制臺】，如圖2-1所示。

圖2-1 進入控制臺

步驟2：在控制臺首頁點擊右上角個人賬號選擇【我和憑證】，如圖2-2所示。

圖2-2 進入我的憑證

步驟3：在首頁點擊【管理訪問密鑰】，然后點擊下方【新增訪問密鑰】，如圖2-3所示。

圖2-3 新增訪問密鑰

申請完后會自動下載密鑰文件，如圖2-4所示

圖2-4 密鑰文件

其中密鑰文件主要包括以下內容：

• Access Key：是開發者擁有的項目身份識別ID，用以身份認證，類似于用戶名。
• Secret Key：是開發者擁有的項目身份密鑰，類似于密碼。

其中密鑰文件主要應用在OBS文件和Notebook中，***使用上述功能需要輸入Access Key和Secret Key。

3、數據上傳

步驟1：華為云首頁在菜單欄點擊【產品】選擇【對象存儲服務 OBS】，如圖3-1所示。

圖3-1 進入OBS

步驟2：進行后點擊【管理控制臺】，如圖3-2所示，***使用需要輸入開發者的Access Key和Secret Key。

圖3-2 進入OBS控制臺

步驟3：進入管理控制臺后點擊右上角【創建桶】，如圖3-3所示。

圖3-3 OBS創建桶

其中OBS的2個基本概念：

• Bucket：存儲桶是S3中用于存儲數據的容器，每個對象都存儲在一個存儲桶中。
• Object：對象是 S3中存儲的具體文件，是存儲的基本實體。

步驟4：點擊桶名稱，進入數據集，如圖3-4所示。

圖3-4 OBS數據集

步驟5：上傳數據，首先可以先【新建文件夾】，然后進入文件夾后，點擊【上傳對象】，如圖3-5所示。

圖3-5 OBS上傳數據

除了上述直接在網頁上上傳數據，開發者還可以通過OBS Browser客戶端上傳數據，這里需要開發者對應的客戶端，如圖3-6所示。

圖3-6 OBS客戶端

4、數據集管理

步驟1：進入數據標注首頁，如圖4-1所示。

圖4-1 進入數據標注

步驟2：在首頁點擊【創建數據集】，開始創建數據標注任務，如圖4-2所示。

圖4-2 創建數據標注任務

其中數據集輸入位置就是上傳至OBS中數據集的路徑，這里還需要設定數據集的輸出位置，也就是輸出路徑，需要提前在OBS中建立輸出文件目錄。

步驟3：在創建的數據集上雙擊鼠標，就可以開始標注數據，如圖4-3所示。

圖4-3 開始標注任務

其中標注任務如圖4-4所示，通過鼠標勾選圖片，然后在右邊對所勾選的圖片進行打標簽。

[[267766]]

步驟4：查看標注完成數據集，如圖4-5所示，可以對完成數據集進行版本發布，并且查看數據集的文件路徑，如圖4-6和圖4-7所示。

圖4-5 標注完成頁

圖4-6 數據集版本發布

圖4-7 數據集路徑查看

除了上述通過半自動標注數據進行數據生成外，開發者還可以直接上傳已生成好的樣本文件進行數據生成，有了數據后，需要進行數據集發布，其中數據集的發布的步驟如下所示。

步驟1：在【數據管理】菜單中點擊【數據集】，進入數據集首頁，在這里可以查看已有數據集，并且可以創建數據集。如圖4-8所示。

圖4-8 數據集

步驟2：點擊在【創建】按鈕，進入創建數據集配置頁，如圖4-9所示。

圖4-9 創建數據集

其中數據集存儲路徑就是數據集的OBS文件路徑（數據標注生成的路徑或者開發者上傳數據路徑）。

5、Notebook實踐

步驟1：進入【開發環境】，點擊【Notebook】，如圖5-1所示，***使用需要輸入開發者的Access Key和Secret Key。

圖5-1 開發環境

步驟2：創建Notebook，如圖5-2所示，開發者需要根據自己所需要的開發環境選擇相應的Docker鏡像，并且選擇合適的計算資源，其中Notebook文件的存儲路徑也需要開發者設置OBS路徑。

圖5-2 創建Notebook

步驟3：啟動Notebook，如圖5-3所示，點擊打開，就可以啟動。

圖5-3 啟動Notebook

步驟4：Notebook編程，Notebook首頁如圖5-4所示，開發者可以新建一個Notebook。

圖5-3 Notebook首頁

步驟：Notebook編程調試，開發者可以在一個Notebook進行編程和調試，如下案例所示。

圖5-4 環境準備

圖5-5 數據準備

圖5-6 數據調試

圖5-7 模型開發

圖5-8 模型調試

6、訓練作業

步驟1：點擊【訓練作業】菜單，進入創建訓練作業首頁，如圖6-1所示。

圖6-1 訓練作業首頁

步驟2：在首頁點擊【創建】，創建訓練作業，如圖6-2所示。

圖6-2 創建訓練作業

其中【數據來源】就是選擇已發布的數據集數據，【算法來源】可以選擇預置算法、常用框架、自定義實現算法等，【運行參數】就是算法訓練所需要的參數，【訓練輸出位置】就是模型生成的OBS路徑。參數設置完成后，點擊【下一步】進行確認頁，如圖6-3所示。

圖6-3 訓練配置確認

點擊【立即創建】后，該訓練任務已經成功創建，可以查看任務的狀態，如圖6-4所示，訓練中，可以查看模型信息、日志、資源使用等，如圖6-5所示，訓練完成后還可以查看模型評估指標，如圖6-6所示。

圖6-4 訓練狀態

圖6-5 訓練信息

圖6-6 訓練評估指標

7、模型管理

步驟1：點擊【模型管理】菜單，進入模型管理首頁，如圖7-1所示。

圖7-1 模型管理首頁

步驟2：在首頁點擊【導入】，進行模型導入配置，如圖7-2所示。

圖7-2 模型導入配置

其中【模型來源】可以來自訓練任務、OBS文件中、鏡像中。

步驟3：在模型管理首頁可以進行模型管理，包括：模型部署、在市場進行模型發布，如圖7-3所示。

圖7-3 模型管理

8、模型上線

在線服務首頁：在【部署上線】菜單，點擊【在線服務】進入在線服務首頁，如圖8-1所示。

圖8-1 在線服務首頁

在線服務部署配置：在首頁點擊【部署】，進入部署配置頁，如圖8-2所示。

圖8-2 模型部署配置頁

在線服務狀態監控：部署完成后，可以進行狀態監控和預測服務等，如圖8-3所示。

圖8-3 模型服務

在線服務預測：點擊【預測】，可以進入預測頁面，如圖8-4所示。

圖8-4 預測服務

批量服務首頁：在【部署上線】菜單，點擊【批量服務】進入批量服務首頁，如圖8-5所示。

圖8-5 批量服務首頁

批量服務部署配置：在首頁點擊【部署】，進入部署配置頁，如圖8-6所示。

圖8-6 模型部署配置頁

其中批量服務部署配置需要配置模型版本，批量預測樣本的路徑，以及預測結果路徑。

批量服務狀態監控：在首頁可以監控批量預測服務的狀態，進入部署配置頁，如圖8-7所示，點擊啟動后，可以查看任務信息，如圖8-8所示，根據輸出目錄，可以查看輸出文件，如圖8-9所示，其中每一條的預測結果用json格式保存，例如：{"predicted_label":"dog","scores":[["dog",0.61349],["cat",0.38650]]}。

圖8-7批量預測服務的狀態

圖8-8預測信息

圖8-9預測結果

9、ModelArts總結

9.1 平臺優點

• 1、Docker化，易用性高，開發者不用關心開發環境，省去繁瑣的開發環境準備工作。
• 2、一站式機器學習平臺，從數據、模型生產、模型部署、模型上線一站式管理。
• 3、樣本準備高效，半自動幫助開發者進行樣本標注，并且自動生成模型可讀的樣本文件。
• 4、可視化流程管理，訓練過程、日志文件、評估結果查詢方便。
• 5、版本管理，支持數據、訓練、模型的版本管理。
• 6、快速上線，支持一鍵式上線管理，也支持快速批量預測，還支持線上AB測試。
• 7、模型共享，可以方便查詢集市上相關的模型，并且可以直接進行訓練。

9.2 平臺建議

平臺建議1—增加特征分析組件

• 1、支持CSV、libSVM等格式樣本集的特征分析和數據分析。
• 2、特征分析指標包括：特征覆蓋率、特征IV值、特征信息熵、特征缺失率等。
• 3、數據分析分析包括：樣本整體Label分布比例；

連續特征的***、最小、平均、分位數等指標；

離散特征的：枚舉個數、枚舉TopK的分布等。

平臺建議2—模型評估指標增加特征重要性排序

• 1、增加特征重要性排序指標，比如輸出TopK個特征
• 2、可視化輸出TopK個卷積核的圖像

平臺建議3—增加模型可解釋組件

• 1、集成類似：LIME組件

平臺建議4—增加共享Notebook功能

• 1、對于開發者之間進行交流，最方便的是用Notebook，比如：開發者A，可以將他的Notebook地址發給開發者群或者開發者B，通過權限控制，開發者群或者開發者B可以擁有該Notebook的訪問、編輯、調試權限，大家可以這樣相互交流代碼和問題
• 2、類似功能可以參考：共享文檔思路，類似產品有：騰訊文檔

平臺建議5—技術路線梳理

• 1、平臺可以增加技術路線引導，幫助開發者快速找到所需的技術，或者幫助開發者提升技術實力。
• 2、例如NLP的簡單技術路線如圖9-1所示。

圖9-1NLP技術路線