訓練一個人工智能(AI)模型看起來似乎很簡單，但事實并非如此。要成功、安全地駕馭AI模型并不容易，這是一段充滿了許多不確定因素和潛在陷阱的旅程，隨時都可能導致錯誤的輸出、低效的資源使用，甚至引發(fā)重大的安全事件。

安全研究人員表示，只有通過對細節(jié)的敏銳觀察，對道德實踐的承諾，以及對先進技術(shù)的有力掌握，我們才可以創(chuàng)造出安全、高效、道德的AI解決方案。企業(yè)是在AI項目開發(fā)和實施過程中，必須規(guī)避以下10種類型的錯誤。

1、糟糕的數(shù)據(jù)預處理

AI模型的開發(fā)需要高質(zhì)量的數(shù)據(jù)進行訓練，如果數(shù)據(jù)的質(zhì)量無法保證，那么AI模型很可能就會出錯。不完整的用戶數(shù)據(jù)、錯誤填充的數(shù)據(jù)以及未更新的過期數(shù)據(jù)都可能會讓AI模型產(chǎn)生錯誤的結(jié)果，難以實現(xiàn)對數(shù)據(jù)的深入理解，無法捕捉到數(shù)據(jù)的潛在屬性，進而導致糟糕的用戶體驗和潛在的應用風險。

2、模型評估不準確

除了高質(zhì)量的數(shù)據(jù)，選擇正確的開發(fā)模型也很重要。AI項目開發(fā)人員需要確保使用正確的模型，并理解哪種模型最適合什么解決什么問題。例如，如果一家銀行使用AI模型來預測客戶貸款的違約概率，應用程序往往會根據(jù)歷史客戶的準確性對其進行訓練。但如果銀行只把準確性作為唯一的績效衡量標準是遠遠不夠的。模型應該結(jié)合使用其他性能指標，如精確召回率和F1分數(shù)等，進行交叉驗證和AUC-ROC分析，以確定模型評估結(jié)果(默認和非默認)的可靠性。

3、模型對齊(Alignment)不準確

開發(fā)人員通常會基于一些關(guān)鍵性技術(shù)指標(如準確性、精確度、召回率或F1分數(shù))來優(yōu)化模型，但是這些指標中很多都沒有與業(yè)務(wù)指標(如創(chuàng)收、成本節(jié)約、客戶滿意度或風險降低)直接相關(guān)。然而大量實踐表明，將技術(shù)性AI指標與業(yè)務(wù)性AI指標保持一致對于實現(xiàn)預期的業(yè)務(wù)成果至關(guān)重要。

以信用卡欺詐檢測模型為例，僅僅強調(diào)模型的準確性或F1分數(shù)，可能會導致更多的警告交易出現(xiàn)。這會導致大量誤報的出現(xiàn)，很多合法交易會被錯誤地標記為欺詐。這將產(chǎn)生嚴重的業(yè)務(wù)影響，降低了AI應用系統(tǒng)的實際可用性。

4、忽視數(shù)據(jù)隱私

在AI項目開發(fā)過程中，數(shù)據(jù)隱私保護是一個非常敏感的問題，需要額外的關(guān)注和重視，尤其是AI模型中包含有未成年人的數(shù)據(jù)時，問題就更復雜了。例如，針對青少年的一些借記卡選項，銀行必須確保其安全標準符合監(jiān)管合規(guī)要求。所有以任何形式或途徑收集客戶信息的公司都需要制定數(shù)據(jù)保護政策。這樣，客戶就可以知道組織如何處理他們的數(shù)據(jù)。然而，用戶如何知道他們的數(shù)據(jù)是否流入了人工智能算法的應用中?很少(或者可以說幾乎沒有)有開發(fā)人員會關(guān)注這些信息。

我們正在步入人工智能驅(qū)動的時代，對于個人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。企業(yè)組織必須定期進行安全審計，并在人工智能開發(fā)的所有階段實施強有力的數(shù)據(jù)保護實踐。隱私風險可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。

5、擴展能力不足

今年初，當ChatGPT剛推出的時候，在短短兩個月內(nèi)就擁有了1億用戶。然而OpenAI公司并沒有預料到用戶數(shù)的激增，導致很多用戶難以正常訪問該服務(wù)。AI模型的應用通常會令人興奮，在系統(tǒng)上線后可能在一夜之間就迅速傳播開來，有數(shù)千甚至數(shù)百萬用戶會同時訪問這個系統(tǒng)。如果我們沒有為這種快速的應用規(guī)模擴展做好計劃，AI模型將無法跟上節(jié)奏并導致資源過載。因此，從一開始就做好AI模型的實時擴展計劃是非常重要的。要考慮該模型將如何處理大量用戶，確保基礎(chǔ)設(shè)施能夠處理激增的數(shù)據(jù)處理，并管理好不斷增加的存儲需求。

6、模型訓練過度

眾所周知，AI模型需要通過大量的數(shù)據(jù)進行訓練，然而在訓練AI應用模型時，過多的數(shù)據(jù)訓練也會導致過擬合(overfitting)情況的出現(xiàn)。過擬合是指在訓練集上達到比較高的精度，但是在實際測試中的精度卻很低，也就是缺少泛化能力(指對訓練數(shù)據(jù)以外的數(shù)據(jù)難以做出準確分析)。當AI模型部署應用后，數(shù)據(jù)量會日新月異，重新訓練模型的時間成本和資金花費都是不可接受的。對AI模型而言，要避免大量的重復訓練，而是要通過不斷地更新模型參數(shù)來適應不斷變化的數(shù)據(jù)分布，從而不斷提高模型的可用性。

7、用非真實的數(shù)據(jù)訓練

當研究人員訓練和測試AI模型時，他們經(jīng)常使用干凈、標記良好的數(shù)據(jù)集，且通常不反映真實世界的數(shù)據(jù)分布。因此，結(jié)果在表面上看起來令人印象深刻，因為模型在測試數(shù)據(jù)上表現(xiàn)良好，測試數(shù)據(jù)與訓練數(shù)據(jù)共享相同的分布。這被稱為“分布內(nèi)”(in-distribution)性能。然而，在現(xiàn)實場景中，AI模型所獲取的數(shù)據(jù)會與它所訓練的數(shù)據(jù)有明顯不同。這些數(shù)據(jù)可能比較嘈雜，也沒有清晰的標簽和特征。因此，當AI模型部署實際部署應用時，它的性能往往會顯著降低。這被稱為“分布外”(out-of-distribution)性能。而實際上，企業(yè)需要面對“分布外”數(shù)據(jù)也能保持高性能的AI模型。

8、算法偏見

算法偏見(Bias)是AI模型應用中所面臨的一個主要問題。AI模型算法和機器學習程序應該是客觀和公正的，但事實卻并非如此。因為人工智能模型是由人類訓練的，所以它們會繼承人類的偏見。當算法由于訓練數(shù)據(jù)或模型設(shè)計方式的潛在偏見而產(chǎn)生系統(tǒng)性錯誤或不公平?jīng)Q策時，就會出現(xiàn)偏見。如果不檢查人工智能模型是否存在偏見，它可能會系統(tǒng)性地使某些數(shù)據(jù)點處于不利地位。對抗偏見的一個有效方法是制定指導方針和規(guī)則，并不斷監(jiān)督和審查，以確保算法偏見的影響是已知和可掌控的。

9、忽略模型的可理解性

為了讓AI模型得到充分的信任，其決策的原理必須要透明。因此，對于維護AI模型倫理來說，這需要是可理解和可解釋的。科學家們一直致力于使復雜的AI模型(如深度神經(jīng)網(wǎng)絡(luò))更加透明和可理解。他們提出了一些技術(shù)來幫助解釋為什么這些模型會做出某些決定。事實上，維護透明度和確保AI模型易于理解的最佳方法是維護完整的開發(fā)文檔。該文檔應包括用于訓練AI模型數(shù)據(jù)的詳細信息，這有助于使用者更清晰地理解人工智能模型，并為其決策過程注入信心。

10、忽視持續(xù)性監(jiān)測

隨著日常數(shù)據(jù)和底層模式的變化，AI模型的算法可能會過時或不那么準確。這些變化可能源于不斷變化地消費者行為、市場趨勢演變、競爭格局的變化、法規(guī)政策的修改等因素。這種現(xiàn)象也被稱為“概念漂移”(concept drift)。因此，持續(xù)性地監(jiān)控AI模型的性能表現(xiàn)和準確性是至關(guān)重要的。盡管該模型最初可能提供了準確的預測，但隨著時間的推移，由于上述現(xiàn)實數(shù)據(jù)的變化，其準確性可能會顯著降低。

為了解決這樣的問題，公司需要根據(jù)實際需求持續(xù)跟蹤模型的輸出，并實時監(jiān)控性能指標。此外，應用增量學習技術(shù)也是至關(guān)重要的。這種方法使模型能夠從新數(shù)據(jù)中學習，同時保留從以前觀察到的數(shù)據(jù)中獲得的有價值的知識。通過采用這些策略，企業(yè)可以有效地適應概念漂移，并確保對AI模型應用需求的準確把握。

參考鏈接：

https://dzone.com/articles/dont-make-these-mistakes-in-ai-development。