引言

作為一名數據科學家，我一直有一個夢想——***科技公司在與我相關的領域不斷推出新產品。

如果你觀看了Apple公司***的iPhone X發布會，你會發現iPhone X具有非常酷的特性，比如FaceID、動態表情、增強現實，這些特性都使用了機器學習。作為一名駭客，我決定親自上手探索一下如何建立那樣的系統。

進一步調查后我發現了一個很有趣的工具，那就是Apple官方面向開發者推出的機器學習框架工具CoreML。它可以在iPhone、Macbook、Apple TV、Apple watch等任何一個蘋果設備上使用。

[[206275]]

另一個有趣的發現是Apple在***的iPhone手機上設計了一個定制GPU，以及一個帶有神經引擎的A11先進仿生學處理芯片，以便用于優化機器學習。

隨著核心組件計算引擎功能日益強大，iPhone將開辟機器學習的新途徑，CoreML在未來的意義將越來越重要。

讀完這篇文章，大家將會了解Apple CoreML是什么以及為何它勢頭正猛。我們也將通過開發一款iPhone上的垃圾短信分類app來與大家一起一探CoreML的實現細節。

同時，我們也會通過客觀評價CoreML的利弊來結束本篇文章。

文章目錄：

1. CoreML是什么?
2. 建立系統
3. 案例學習：實現一個iPhone上的垃圾短信分類app
4. 使用CoreML的利弊

01、CoreML是什么?

今年，Apple公司在每年一次的全球開發者大會WWDC(類似于谷歌的I/O會議)上大肆宣傳CoreML。為了更好地理解CoreML的作用，我們需要了解一些背景。

CoreML的背景

有趣的是，這并不是Apple公司***次發布移動端機器學習框架。去年它就發布了一些同樣的框架庫：

1. Accelerate 框架和基本神經網絡子程序(BNNS)——高效利用CPU并使用卷積神經網絡進行預測。
2. Metal Performance Shaders CNN(MPSCNN)——高效利用GPU并使用卷積神經網絡進行預測。

這兩個框架庫的區別在于，一個針對CPU優化而另一個針對GPU。這是因為有時在inference(推斷)過程中CPU比GPU計算更快，而在training(訓練)過程中幾乎每次都是GPU計算更快。

但為了提高性能，框架會非常接近底層硬件，使得這些混合框架對開發者造成混亂，從而很難編程。

走進CoreML

CoreML 會在之前提到的兩個庫上面提供一個抽象層，并且還會提供一個簡單的接口，以達到同樣的效率。另一個好處是，在我們的app運行時，CoreML充分照顧到了CPU與GPU之間的上下文切換。

換句話說，假如我們有一個耗內存的任務，它涉及文本處理(自然語言處理)，CoreML將自動在CPU運行;而如果我們有一個計算繁重的任務，例如圖像識別，它將使用GPU;當app包含這兩種功能的時候，它又會自動切換從而使得兩者都得到***化的利用。

CoreML還將提供什么?

CoreML頂層還附帶了三個庫：

1. Vision：這個庫提供了高性能圖像分析與計算機視覺技術，用于人臉識別、特征檢測以及圖像與視頻中的場景識別。
2. Foundation(NLP)：顧名思義，它提供了自然語言處理的一些功能
3. Gameplay Kit：用于游戲開發的庫，此外它還提供了AI，并運用決策樹。

以上提到的所有庫都可以用一些簡單的接口輕松使用，可用于完成一系列任務。通過上述的庫，CoreML最終框架圖如下：

注意，上述設計給iOS應用程序提供了一個很好的模塊化結構。你可以使用不同層進行不同的任務，也可以用多種方式使用它們(例如，在app中使用NLP進行圖像分類)。了解更多：Vision、Foundation與GameplayKit。好了，現在我們有了足夠的理論知識，是時候實踐一下了!

“微信排版限制，需要代碼的同學請看文末的原文鏈接自行查找”

02、建立系統

為了充分使用CoreML，你需要遵循如下要求：

1.OS：MacOS(Sierra 10.12或以上)

2.Python 2.7和pip：點擊下載mac上的python。打開終端，輸入如下代碼安裝pip：

sudo easy_install pip 

3.coremltools：這個包有助于將你的模型從python轉換成CoreML能理解的格式。在終端輸入如下代碼進行安裝：

sudo pip install -U coremltools 

4.Xcode 9：這是用于構建Apple設備上應用程序的默認軟件。點此下載。下載Xcode之前，你需要使用Apple ID進行登陸。

登陸之后，你需要驗證你的apple ID。你將會收到與注冊Apple ID的設備相同的通知。

點擊“允許”并輸入網站顯示的6位密碼。

當你完成這一步，你將會看到一個下載選項。你可以在那兒下載Xcode。現在，我們建立好了系統，準備好了的話就讓我們進入實現部分!

03、案例學習：實現一個iPhone上的垃圾短信分類app

在本次開發中，我們將著重于在兩個重要途徑上來使用CoreML的能力。讓我們開始吧!

將你的機器學習模型轉換成CoreML格式

CoreML其中一個優勢，或者我應該說它的創造者作出的明智的決定是，支持在sklearn、caffe、xgboost等其他流行框架中訓練好的機器學習模型的轉換。

數據科學社區并不會不嘗試CoreML試行，因為他們可以在他們最喜歡的環境中進行實驗、訓練他們的模型，然后輕松導入并在iOS/MacOS的app上使用。

下面是即時可用的CoreML支持的框架：

Mlmodel是什么?

為了使轉換過程簡單，Apple設計了它自己的開放格式來代表跨框架機器學習模型，即mlmodel。這個模型文件包含了模型各層的描述、輸入、輸出、類標簽、任何需要對數據進行的預處理。它還包含了已學習的參數(權重及偏差)。

轉換流程如下：

1. 在你最喜歡的框架中訓練模型
2. 使用python模塊coremltools將模型轉換為.mlmodel格式
3. 在app中使用模型

在本次例子中，我們將在sklearn中訓練一個垃圾短信分類器，然后將該模型轉給CoreML。

關于垃圾短信數據集

SMS垃圾短信數據集 v.1是一個公開的SMS標注短信數據集，用于手機垃圾短信研究。它包含了5574份真實無編碼的英文短信，這些短信都標注了合法(做作)或者垃圾短信。

你可以在此下載該數據集。

建立基礎模型

我們使用sklearn中的LinearSVC建立基礎模型。同時，我們提取短信文本的TF-IDF值作為模型特征。TF-IDF是自然語言處理中的一種方法，它基于唯一標識文檔的詞來分類文檔。如果你想要學習更多NLP和tf-idf的知識，你可以閱讀這篇文章。代碼如下：

 

import numpy as npimport pandas as pd#Reading in and parsing dataraw_data = open('SMSSpamCollection.txt', 'r')sms_data = []for line in raw_data: split_line = line.split("\t") sms_data.append(split_line) 
#Splitting data into messages and labels and training and testsms_data = np.array(sms_data)X = sms_data[:, 1]y = sms_data[:, 0]  
#Build a LinearSVC modelfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.svm import LinearSVC  
#Build tf-idf vector representation of datavectorizer = TfidfVectorizer()vectorized_text = vectorizer.fit_transform(X)text_clf = LinearSVC()text_clf = text_clf.fit(vectorized_text, y) 

我們的模型建立好了，讓我們用一份垃圾短信測試一下：

#Test the modelprint text_clf.predict(vectorizer.transform(["""XXXMobileMovieClub: To use your credit, click the WAP link in the next txt message or click here>> http://wap. xxxmobilemovieclub.com?n=QJKGIGHJJGCBL"""])) 

有趣，我們的模型效果很好!讓我們添加交叉驗證：

 

#Cross - Validationfrom sklearn.model_selection import cross_val_scorecross_score = cross_val_score(text_clf, vectorized_text, y, cv=10)print cross_scoreprint "mean:",np.mean(cross_score) 
現在已建好模型，為使它適用于CoreML，我們需要把它轉換成.mlmodel格式。用之前安裝的coremltools工具包來實現。以下代碼能將我們的模型轉換成.mlmodel格式。  
import coremltools  
#convert to coreml model  
coreml_model = coremltools.converters.sklearn.convert(text_clf, "message", "spam_or_not")  
#set parameters of the model 
coreml_model.short_description = "Classify whether message is spam or not"  
coreml_model.input_description["message"] = "TFIDF of message to be classified"  
coreml_model.output_description["spam_or_not"] = "Whether message is spam or not"  
#save the model  
coreml_model.save("SpamMessageClassifier.mlmodel") 

這是如何運作的呢?

首先我們運用coremltools Python工具包。再選擇一個轉換器對模型進行轉換，本例中用converters.sklearn，因為要轉換的模型是用sklearn工具建立的。然后在.convert()括號內聲明模型對象、輸入變量名稱、輸出變量名稱。接下來設置模型參數來添加更多關于輸入、輸出的信息，***用.save()保存已轉換成CoreML格式的模型文件。

雙擊模型文件，會用Xcode打開。

如你所見，該模型文件顯示了很多信息，關于模型的類型、它的輸入、輸出，輸入輸出的類型等。我已在上圖中用紅色標記。你可以將這些描述和轉換成.mlmodel時所提供的一一對比。

將自己的模型引入CoreML就是這么簡單。現在你的模型已經在蘋果生態系統里了，接下來真正好玩的開始啦!

注意：這一步的完整代碼文件請看這里。進一步了解coremltools請看這里，提供的不同種類的轉換器請看這里。

將該模型用于我們的app

既然已經訓練好模型并引入CoreML中，讓我們用該模型開發一個iPhone垃圾信息分類app吧!

我們將在模擬器上運行app。模擬器這一軟件能顯示app的界面及運行情況，像在iPhone上真正運行那樣。這樣節省了大量時間，因為用iPhone運行app之前，我們就可以測試代碼、調試。看一下最終產品長什么樣子吧：

下載工程

我已經為我們的app制作了一個簡單基礎的UI放在GitHub上。用以下命令加載并運行：

 

git clone https://github.com/mohdsanadzakirizvi/CoreML-on-iPhone.git  
cd CoreML-on-iPhone/Practice\ App/  
open coreml\ test.xcodeproj/ 

這會在Xcode打開我們的項目。

在Xcode窗口中我用紅色標示了三個重要區域：

1. 左上角的播放按鈕用來啟動app在模擬器運行。
2. 播放按鈕的正下方列出了與我們項目相關的文件和文件夾。這是項目導航欄，方便你找項目里的文件和文件夾。
3. 播放按鈕旁邊寫著iPhone 8，表示你想用模擬器仿真的目標設備。你可以點擊它，在下拉列表里選擇iPhone 7。

讓我們開始運行app吧，看看會發生什么。點擊左上角的播放按鈕讓模擬器運行app。在框中隨便鍵入些文字，點擊預測按鈕。發生了什么?

到現在，我們的app什么也沒做，只是原樣輸出框中鍵入的文字。

向你的app中添加一個訓練好的模型

相當簡單：

• 將你的.mlmodel模型文件拖入到Xcode窗口工程導航欄中。
• 做好后，會彈出一個含有幾項選擇的窗口，默認缺省，點擊“結束”。
• 當你像這樣拖拽文件到Xcode時，自動在工程中生成該文件的參考路徑。這樣你能輕松地在代碼中獲取該文件。

編譯模型

在能夠用我們的模型進行推測之前，需要讓Xcode在建立階段中編譯模型。以下是具體步驟：

在工程導航欄中選擇有藍色標識的文件

會在右手邊打開工程設置。點擊Compile Sources(編譯源)并選擇+標識。

在新出現的窗口中選擇 SpamMessageClassifier.mlmodel文件，點擊新增。

現在每次運行app，Xcode就會編譯我們的機器學習模型，使它能用來做預測。

在代碼中創建模型

任何為蘋果設備開發的app都用swift編程。你不需要學swift但如果以后你有興趣深入，你可以跟著這個教程學。

在工程導航欄中選擇 ViewController.swift。這一文件包含大部分控制app功能的代碼。

第24行的 predictSpam() 函數會做最多的工作。刪除第25行，向函數中添加以下代碼：

 

let enteredMessage = messageTextField.text!  
if (enteredMessage != ""){  
spamLabel.text = ""  
}  
//Fetch tfidf representation of text  
let vec = tfidf(sms: enteredMessage)  
do {  
//Get prediction on the text  
let prediction = try SpamMessageClassifier().prediction(message: vec).spam_or_not  
print (prediction)  
if (prediction == "spam"){  
spamLabel.text = "SPAM!" 
 }  
else if(prediction == "ham"){  
spamLabel.text = "NOT SPAM"  
}  
}  
catch{  
spamLabel.text = "No Prediction"  
} 

以上代碼檢查用戶是否向框內輸入了任何信息。如果有，調用tfidf()函數計算文本的tfidf值。然后生成一個SpamMessageClassifier 對象實例，再調用.prediction() 函數。這與sklearn中的 .predict() 函數相同。然后基于預測展示恰當的信息。

但為什么需要tfidf()?

記住我們基于文本的tf-idf表征來訓練模型，因此我們的模型需要相同形式的輸入。一旦獲得鍵入的文本框的信息，就調入tfidf()函數來做同樣的事。來寫這一步的代碼吧，復制下列代碼放在predictSpam()函數后：

 

//MARK: Functionality code  
func tfidf(sms: String) -> MLMultiArray{  
//get path for files  
let wordsFile = Bundle.main.path(forResource: "wordlist", ofType: "txt")  
let smsFile = Bundle.main.path(forResource: "SMSSpamCollection", ofType: "txt")  
do {  
//read words file  
let wordsFileText = try String(contentsOfFile: wordsFile!, encoding: String.Encoding.utf8)  
var wordsData = wordsFileText.components(separatedBy: .newlines)  
wordsData.removeLast() // Trailing newline.  
//read spam collection file  
let smsFileText = try String(contentsOfFile: smsFile!, encoding: String.Encoding.utf8)  
var smsData = smsFileText.components(separatedBy: .newlines)  
smsData.removeLast() // Trailing newline.  
let wordsInMessage = sms.split(separator: " ") 
 //create a multi-dimensional array  
let vectorized = try MLMultiArray(shape: [NSNumber(integerLiteral: wordsData.count)], dataType: MLMultiArrayDataType.double)  
for i in 0..  
let word = wordsData[i]  
if sms.contains(word){  
var wordCount = 0  
for substr in wordsInMessage{  
if substr.elementsEqual(word{  
wordCount += 1  
}  
} 
 let tf = Double(wordCount) / Double(wordsInMessage.count)  
var docCount = 0  
for sms in smsData{  
if sms.contains(word) {  
docCount += 1  
} 
}  
let idf = log(Double(smsData.count) / Double(docCount))  
vectorized[i] = NSNumber(value: tf * idf) 
 } else {  
vectorized[i] = 0.0  
}  
}  
return vectorized  
} catch {  
return MLMultiArray()  
}  
} 

以上代碼得到文本框內輸入信息的tfidf表征，為此讀取SMSSpamCollection.txt原始數據庫并返回同樣信息。一旦你保存項目然后再次運行模擬器，你的app就會運行良好。

4、CoreML優缺點

像每個發展中的庫一樣，CoreML有優點也有缺點。讓我們說清楚。

優點：

• 對在移動設備上運行性能進行優化，最小化內存和能量消耗。
• 在移動設備上運行保證了用戶隱私，不再需要將數據發給服務器做預測。
• 在移動設備上運行意味著甚至在沒聯網的時候都可以做預測，此外對用戶來說反應時間更短。
• 能自己決定在CPU還是GPU上運行(或者都有)。

因為它可以用CPU，所以你能在iOS模擬器上運行它(iOS模擬器不支持GPU)。

提供了很多模型，因為它能從其他主流機器學習框架中引入模型：

• 支持向量機(SVM)
• 樹集成，如隨機森林、提升樹
• 線性回歸和邏輯回歸
• 神經網絡：前向反饋、卷積、循環

缺點：

• 只支持有監督模型，不支持無監督模型和強化學習。
• 不支持模型在設備上再訓練，只能做預測。
• 如果CoreML不支持某種層，你就不可以使用。目前還不能用自己的層擴展CoreML。
• CoreML工具只支持少量訓練工具的特定版本(竟然不支持tensorflow)。
• 不能看中間層的輸出，只能得到預測結果。
• 只支持回歸和分類(不支持聚類、排序、降維等)。

結語

本文中，我們學習了CoreML及應用它開發iPhone機器學習app。CoreML是一個較新的庫，因此有自己的優點和缺點。有一個非常有用的優點是它在本地設備上運行，因此速度更快，保證數據隱私。但同時，它功能不全面，對數據科學家的需求考慮還不夠周全。期待后續版本會改進。

如果你在某個步驟遇到困難，本文所有代碼都在GitHub上。