譯者 | 晶顏
審校 | 重樓
在我們的行業(yè)中,很少有組合能像人工智能(AI)和機器學(xué)習(xí)(ML)與云原生環(huán)境的結(jié)合那樣令人興奮并改變游戲規(guī)則。這是一個為創(chuàng)新、可擴展性、甚至成本效率而生的“聯(lián)盟”。接下來,就讓我們走進這個數(shù)據(jù)科學(xué)與云相遇的動態(tài)世界吧!

在我們探索AI/ML和云原生技術(shù)之間的協(xié)同作用之前,先來了解一些基礎(chǔ)概念。
- 人工智能(AI):一個寬泛的概念,指的是模仿人類智能的機器。
- 機器學(xué)習(xí)(ML):“教”機器執(zhí)行特定任務(wù)并通過模式識別產(chǎn)生準(zhǔn)確輸出的過程。
- 云原生:一種利用現(xiàn)代云基礎(chǔ)設(shè)施來構(gòu)建可擴展、有彈性和靈活的應(yīng)用程序的設(shè)計范式——在Kubernetes編排的Docker容器中構(gòu)建微服務(wù),并通過CI/CD管道持續(xù)部署。
AI/ML和云原生的融合
在云原生環(huán)境中實現(xiàn)AI和ML有哪些好處呢?
可擴展性
你是否曾經(jīng)嘗試過手動擴展ML模型,因為它受到無數(shù)請求的轟炸?這個過程顯然并不輕松。但有了云原生平臺,擴展就像周日下午在公園散步一樣容易。例如,Kubernetes可以根據(jù)實時指標(biāo)自動擴展運行AI模型的pod,這意味著你的AI模型即使在受到脅迫的情況下也能表現(xiàn)良好。
敏捷性
在云原生世界中,微服務(wù)架構(gòu)意味著你的AI/ML組件可以獨立開發(fā)、更新和部署。這種模塊化促進了敏捷性,使你能夠快速地進行創(chuàng)新和迭代,而不必擔(dān)心破壞整個系統(tǒng)。這就像你可以在開車的時候換掉汽車引擎的部件來實現(xiàn)安全更新一樣。
成本效率
無服務(wù)器計算平臺(如AWS Lambda、Google Cloud Functions和Azure Functions)允許你僅在需要時運行AI/ML工作負載,無需再為閑置的計算資源付費。這相當(dāng)于在你離開房間時關(guān)掉燈,簡單、智能又經(jīng)濟。它對于間歇性或不可預(yù)測的工作負載也特別有利。
協(xié)作
云原生環(huán)境使數(shù)據(jù)科學(xué)家、開發(fā)人員和運營團隊之間的協(xié)作變得輕而易舉。有了集中的存儲庫、版本控制和CI/CD管道,每個人都可以在相同的ML生命周期中和諧地工作。
云原生環(huán)境中AI/ML的熱門應(yīng)用
雖然大多數(shù)公眾是通過與生成式AI聊天機器人的互動認識了AI/ML技術(shù),但很少有人意識到AI/ML已經(jīng)在多大程度上增強了他們的在線體驗。以下是云原生環(huán)境中AI/ML的一些熱門用例:
AI驅(qū)動的DevOps(AIOps)
通過使用AI/ML強化DevOps流程,你可以自動進行事件檢測、根本原因分析和預(yù)測性維護。此外,將AI/ML與可觀察性工具和CI/CD管道集成可以提高運營效率并減少服務(wù)停機時間。
Kubernetes + AI/ML
Kubernetes是長期以來容器編排的實際平臺,現(xiàn)在也是編排AI/ML工作負載的首選。Kubeflow等項目簡化了Kubernetes上機器學(xué)習(xí)管道的部署和管理,這意味著你可以獲得對模型訓(xùn)練、調(diào)優(yōu)和服務(wù)的端到端支持。
邊緣計算
邊緣計算處理AI/ML工作負載更接近數(shù)據(jù)生成的位置,這大大減少了延遲。通過在邊緣位置部署輕量級人工智能模型,企業(yè)可以對物聯(lián)網(wǎng)傳感器、攝像頭和移動設(shè)備(甚至是智能冰箱)等設(shè)備進行實時推斷。
聯(lián)邦學(xué)習(xí)
聯(lián)邦學(xué)習(xí)不需要組織為了協(xié)作訓(xùn)練人工智能模型而共享原始數(shù)據(jù)。對于醫(yī)療保健和金融等具有嚴格隱私和合規(guī)法規(guī)的行業(yè)來說,這是一個很好的解決方案。
MLOps
MLOps將DevOps實踐集成到機器學(xué)習(xí)生命周期中。MLflow、TFX (TensorFlow Extended)和Seldon Core等工具使人工智能模型的持續(xù)集成和部署成為現(xiàn)實。MLOps是比DevOps更智能的存在。
AI/ML集成帶來的挑戰(zhàn)
集成讓事情變得有趣,但這一切也伴隨著挑戰(zhàn)。
復(fù)雜性
將AI/ML工作流程與云原生基礎(chǔ)設(shè)施集成并不適合謹小慎微的人。管理依賴關(guān)系、確保數(shù)據(jù)一致性和編排分布式訓(xùn)練過程都充滿復(fù)雜性,需要強大的技能支持和知識儲備。
延遲和數(shù)據(jù)傳輸
對于實時AI/ML應(yīng)用程序,延遲可能是一個關(guān)鍵問題。在存儲節(jié)點和計算節(jié)點之間移動大量數(shù)據(jù)會帶來延遲。邊緣計算解決方案可以通過更靠近數(shù)據(jù)源處理數(shù)據(jù)來緩解這一問題。
成本管理
云的現(xiàn)收現(xiàn)付模式很棒,直到不受控制的資源分配開始蠶食你的預(yù)算。實施資源配額、自動擴展策略和成本監(jiān)控工具是你的財務(wù)安全網(wǎng)。
AI/ML實踐指南
1. 模塊化!使用微服務(wù)的原則來設(shè)計你的AI/ML應(yīng)用。解耦數(shù)據(jù)預(yù)處理、模型訓(xùn)練和推理組件,以實現(xiàn)獨立擴展和更新。
2. 利用托管服務(wù):云提供商提供AI/ML服務(wù),以簡化基礎(chǔ)設(shè)施管理并加速開發(fā)。
3. 觀察模型:將AI/ML工作負載與可觀察性工具集成—訪問有關(guān)資源使用、模型性能和系統(tǒng)健康狀況的指標(biāo)可以幫助你主動檢測和解決問題。
4. 保護數(shù)據(jù)和模型:使用加密、訪問控制和安全存儲解決方案來保護敏感數(shù)據(jù)和人工智能模型。
結(jié)語
AI/ML技術(shù)與云原生環(huán)境中的集成提供了可擴展性、敏捷性和成本效率,同時增強了團隊之間的協(xié)作。然而,駕馭這一格局也面臨著一系列挑戰(zhàn),涉及管理復(fù)雜性、確保數(shù)據(jù)隱私以及成本控制等問題。
此外,一些熱門趨勢同樣值得關(guān)注,比如AIOps為DevOps帶來智慧;聯(lián)合學(xué)習(xí)讓組織在不共享數(shù)據(jù)的情況下共享智能。利用這些技術(shù)的關(guān)鍵在于最佳實踐:考慮模塊化設(shè)計、強大的監(jiān)控以及通過可觀察性工具獲得洞察力。
AI/ML在云原生環(huán)境中的未來并不僅僅是緊跟最新的技術(shù)潮流。它是關(guān)于構(gòu)建更加智能、有彈性和適應(yīng)性的系統(tǒng),讓科幻電影中的設(shè)想成為現(xiàn)實。現(xiàn)在,請保持你的算法敏銳,你的云同步,一起見證接下來會發(fā)生什么吧!
原文標(biāo)題:Artificial Intelligence and Machine Learning in Cloud-Native Environments,作者:Reese Lee





























