承接昨天的人工智能項(xiàng)目十條建議-理論篇，今天我們來說說人工智能項(xiàng)目的 10 條指導(dǎo)原則。

在制定人工智能項(xiàng)目方案時(shí)，確定構(gòu)建模型的目標(biāo)至關(guān)重要，但這種理解只能提供成功的解決方案。在時(shí)真正按照完善的建議交付，人工智能項(xiàng)目團(tuán)隊(duì)必須在執(zhí)行項(xiàng)目時(shí)遵循最佳實(shí)施路線。為了幫助能按照正確的路徑執(zhí)行，對之前提出的十條建議，現(xiàn)在一起探討一下執(zhí)行路徑

1. 了解您的問題

解決任何問題的最基本部分是確切地知道你正在解決什么問題。確保你了解你要預(yù)測的內(nèi)容、任何限制以及該項(xiàng)目最終目的是什么。盡早提出問題，并與同行、業(yè)務(wù)專家和最終用戶驗(yàn)證你的理解。如果你發(fā)現(xiàn)答案與你的理解一致，那么你就知道你是走在正確的道路上。

2. 了解您的數(shù)據(jù)

通過了解你的數(shù)據(jù)的含義，你就能夠了解哪種模型運(yùn)行良好以及使用哪些功能。數(shù)據(jù)背后的問題將影響哪個(gè)模型最成功，計(jì)算時(shí)間將影響項(xiàng)目成本。通過使用和創(chuàng)建有意義的功能，你可以模仿或改進(jìn)人工決策。了解每個(gè)字段的含義對問題很重要，尤其是在受監(jiān)管的行業(yè)中，數(shù)據(jù)可能需要匿名化，因此不太清楚。如果你不清楚某個(gè)功能的含義，請咨詢相關(guān)業(yè)務(wù)專家。

3. 拆分OR清洗您的數(shù)據(jù)

你的模型將如何處理看不見的數(shù)據(jù)?如果它不能泛化到新數(shù)據(jù)，那么它在給定數(shù)據(jù)上的表現(xiàn)并不是最重要的。我們在訓(xùn)練時(shí)不能讓你的模型看到部分?jǐn)?shù)據(jù)，你可以驗(yàn)證它在未知情況下的表現(xiàn)如何。這種方法對于選擇正確的模型架構(gòu)和調(diào)整參數(shù)以獲得最佳性能是至關(guān)重要的。

對于監(jiān)督學(xué)習(xí)問題，你需要將數(shù)據(jù)分成兩部分或三部分。

訓(xùn)練數(shù)據(jù)——模型從中學(xué)習(xí)的數(shù)據(jù)——通常是隨機(jī)選擇的原始數(shù)據(jù)的 75-80%。

測試數(shù)據(jù)——你評(píng)估模型的數(shù)據(jù)——是剩余的數(shù)據(jù)。

根據(jù)你正在構(gòu)建的模型類型，你可能還需要第三個(gè)稱為驗(yàn)證集的保留數(shù)據(jù)，用于比較已根據(jù)測試數(shù)據(jù)調(diào)整的多個(gè)監(jiān)督學(xué)習(xí)模型。在這種情況下，你需要將非訓(xùn)練數(shù)據(jù)拆分為兩個(gè)數(shù)據(jù)集，即測試和驗(yàn)證。你想使用測試數(shù)據(jù)比較同一模型的迭代，并使用驗(yàn)證數(shù)據(jù)比較不同模型的最終版本。

在 Python 中，正確拆分?jǐn)?shù)據(jù)的最簡單的方法就是使用 Scikit-learn 的 train_test_split 函數(shù)。

4. 不要泄露測試數(shù)據(jù)

重要的是不要將測試數(shù)據(jù)中的任何信息輸入到你的模型中。這可以對整個(gè)數(shù)據(jù)集的訓(xùn)練產(chǎn)生負(fù)面影響，也可以像在拆分之前執(zhí)行轉(zhuǎn)換(例如縮放)一樣微妙。例如，如果你在拆分之前對數(shù)據(jù)進(jìn)行規(guī)范化，則模型正在獲取有關(guān)測試數(shù)據(jù)集的信息，因?yàn)槿肿钚≈祷蜃畲笾悼赡茉诒Ａ舻臄?shù)據(jù)中。

5.使用正確的評(píng)估指標(biāo)

由于每個(gè)問題都是不同的，因此必須根據(jù)上下文選擇適當(dāng)?shù)脑u(píng)估方法。最幼稚—也可能是最危險(xiǎn)的——分類指標(biāo)的準(zhǔn)確性。考慮檢測癌癥的問題。如果我們想要一個(gè)相當(dāng)準(zhǔn)確的模型，我們總是預(yù)測“不是癌癥”，因?yàn)槌^ 99% 的時(shí)間可以驗(yàn)證我們都是正確的。然而，這不是一個(gè)非常有用的模型，我們實(shí)際上想要檢測癌癥。注意考慮在分類和回歸問題中使用哪種評(píng)估指標(biāo)。

6.保持簡單

在處理問題時(shí)，重要的是為工作選擇正確的解決方案，而不是最復(fù)雜的模型。管理層、客戶，甚至你可能都想使用“最新最好的”。你需要使用最簡單(非最先進(jìn))的模型來滿足你的需求，即奧卡姆剃刀原理。這不僅會(huì)提供更多可見性并縮短培訓(xùn)時(shí)間，而且實(shí)際上可以提高性能。簡而言之，不要用火箭筒射擊蒼蠅或試圖用蒼蠅拍殺死哥斯拉。

7. 不要過擬合(或欠擬合)你的模型

過度擬合，也稱為方差，會(huì)導(dǎo)致模型在未見過的數(shù)據(jù)上表現(xiàn)不佳。該模型只是簡單地記憶訓(xùn)練數(shù)據(jù)。欠擬合，也稱為偏差，是給模型提供的信息太少，無法學(xué)習(xí)問題的正確表示。平衡這兩者——通常被稱為“偏差-方差權(quán)衡”——是人工智能過程的重要組成部分，不同的問題需要不同的平衡。

我們以一個(gè)簡單的圖像分類器為例。它的任務(wù)是對圖像中是否有狗進(jìn)行分類。如果你過擬合此模型，它將無法將圖像識(shí)別為狗，除非它以前看過該確切圖像。如果你對模型進(jìn)行欠擬合，即使它以前看過該特定圖像，它也可能無法將圖像識(shí)別為狗。

8. 嘗試不同的模型架構(gòu)

大多數(shù)時(shí)候，為一個(gè)問題考慮不同的模型架構(gòu)是有益的。對一個(gè)問題最有效的方法，可能對另一個(gè)問題不是很好。嘗試混合使用簡單和復(fù)雜的算法。例如，如果執(zhí)行分類模型，請嘗試像隨機(jī)森林一樣簡單和像神經(jīng)網(wǎng)絡(luò)一樣復(fù)雜的事情。有趣的是，極端梯度提升 (XGBoost) 通常遠(yuǎn)遠(yuǎn)優(yōu)于神經(jīng)網(wǎng)絡(luò)分類器。一個(gè)簡單的問題通常最好用一個(gè)簡單的模型來解決。

9.調(diào)整你的超參數(shù)

超參數(shù)是模型計(jì)算中使用的值。例如，決策樹的一個(gè)超參數(shù)是樹的深度，即在決定答案之前它會(huì)問多少個(gè)問題。模型的默認(rèn)超參數(shù)是那些平均提供最佳性能的超參數(shù)。但是你的模型不太可能正好落在那個(gè)最佳位置。如果選擇不同的參數(shù)，你的模型就可以表現(xiàn)得更好。調(diào)整超參數(shù)最常用的方法是網(wǎng)格搜索、隨機(jī)搜索和貝葉斯優(yōu)化搜索，當(dāng)然還有許多其他更高級(jí)的技術(shù)。

10. 正確比較模型

機(jī)器學(xué)習(xí)的最終目標(biāo)是開發(fā)一個(gè)泛化良好的模型。這就是為什么正確比較和選擇最佳模型如此重要的原因。如上所述，你需要使用與訓(xùn)練超參數(shù)進(jìn)行評(píng)估時(shí)使用不同的保持集。此外，你還需要使用適當(dāng)?shù)慕y(tǒng)計(jì)測試來評(píng)估結(jié)果。

既然你已經(jīng)掌握了執(zhí)行人工智能項(xiàng)目的指導(dǎo)原則，請?jiān)谀憬酉聛淼娜斯ぶ悄茼?xiàng)目中嘗試一下。