K8s和大模型真的搭嗎？
編譯|言征
出品 | 51CTO技術棧（微信號：blog51cto）
K8s和大模型真的搭嗎？ 本文拋出了一個問題，但答案仍有待驗證。
1.K8s迎來了新的受眾群體
假設一位機器學習研究人員閱讀了一篇研究論文，并想在PyTorch環境中使用基于Python的GPU進行測試。她要求她的工程團隊訪問一個帶有兩個GPU的Jupyter筆記本和她的所有庫。
工程團隊告訴她：這需要三天時間。他們必須獲取GPU的來源，創建一個堆棧，然后授予對JupyterHub的訪問權限。
“這正是DevOps 10年前所經歷的，”獨立分析師Janakiram 3月在KubeCon+CloudNativeCon Europe的一次對話中表示。
“因此，現在的整個想法是，我們如何加快這一進程，并使企業IT能夠將基礎施帶到ML研究人員、工程師和開發人員可以隨時使用的程度，以便他們能夠快速將自己的想法轉化為代碼？”
新的人物角色反映了大型語言模型（LLM）對云原生社區的影響，并提出了關于身份和Kubernetes角色的問題。數據科學家甚至需要Kubernetes來將他們的模型投入生產嗎？
獨立分析師Sanjeev Mohan認為NVIDIA推出的推理微服務Nim就是為Kubernetes精心策劃的Docker容器。
挑戰性就在于：Kubernetes將轉變為深度以數據為中心，這是數據的狀態性及頻繁變化的特點所造成的。數據在Kubernetes社區中從未發揮過如此重要的作用。Kubernetes社區從未需要以這樣的方式適應生成人工智能、模型開發、集成、部署和管理帶來的新需求。
如果沒有在Kubernetes上部署數據模型的標準方法，未來的工作將需要社區通過新的硬件集成和項目來適應新的“數據角色”。
2.AI如何讓K8s變得更強大？
Kubernetes服務LLMs，那LLM能為K8s做哪些？
但實際上，Kubernetes在人工智能中的作用是什么？數據角色問題把這件事帶到了最前沿。Kubernetes是一個控制平面——是的，這是有道理的。自2014年以來，它一直是DevOps的應用程序架構。
因此，Mohan提出的一個問題變得更加相關：究竟K8s是服務AI，還是AI服務于K8s？
在KubeCon，我們看到了很多Kubernetes如何作為人工智能的控制平面。NVIDIA在主題演講中，他們討論了分配部分GPU的動態資源分配。這樣可以節省成本。這就是人工智能的Kubernetes。所有這些發展都進行得很順利，Mohan說，我們將看到越來越多的Kubernet成為通用人工智能的控制平面。
但令一方面，LLM怎樣才能讓K8s更加強大呢？Mohan提出了一個非常有想象力的問題。
他說：“我還沒有看到太多這方面的情況，也許到之后的某一屆KubeCon上，我們將開始看到更高的集成度。”
OpenAI無疑是Kubernetes的盟友，該公司正在使用Kubernete來啟動和擴大實驗規模。
圖片
作為當紅的人工智能研究實驗室，OpenAI需要深度學習的基礎設施，使實驗能夠在云中或自己的數據中心中運行，并易于擴展。便攜性、速度和成本是主要驅動因素。
Oracle在KubeCon的高級副總裁Sudha Raghavan問道，如果沒有數據科學家和數據工程師思考如何配置它，以最有效地使用任何硬件GPU，Kubernetes將如何成為所有人工智能工作負載的默認選項？
Raghavan也在KubeCon的一個小組討論會上談到了這樣一種設想，設想中，人們基于每個工作負載的工作變得更容易了，工程師可以配置開箱即用的模板，并理解這些是尚未出現的人工智能工作負載模式，并且有預定義的模板。
因此，任何想做實驗的數據科學家都不必自己學習，而是可以了解云原生計算基金會在其生態系統中為人工智能和ML社區提供的內容。
英特爾開放生態系統副總裁兼總經理Arun Gupta在一個小組討論會上表示，云原生社區的責任是彌合這一差距。“必須跟客戶共情，客戶就是數據科學家。他說，一篇新的云原生人工智能論文解決了這些挑戰。
云原生AI
微軟首席產品經理拉克倫?埃文森（Lachlan Evenson）與古普塔（Gupta）在同一小組中表示，Kubernetes社區中的一個新角色還包括人工智能工程師，他們位于數據科學家和基礎設施工程師或平臺工程師之間。
Evenson在小組討論中指出，人工智能工程師不僅需要了解人工智能世界的所有術語，還需要了解如何大規模使用這些分布式系統并構建這些新平臺。
3.K8s承諾：可擴展、安全
Kubernetes的創始人將Kubernete設計成了無狀態的，后來又構建了有狀態的技術來與其分布式平臺集成。
Evenson說：“這不僅限于這個社區，也直接造就了我們通過K8s社區在該平臺上構建的可擴展性。”
“我們需要提供開源替代品和開源平臺，這樣那些希望開始投資并了解人工智能如何影響其業務的公司，就可以采用模型，而不必擔心數據治理或安全問題，并開始在本地環境中對其進行修改和熟悉。”
參考鏈接：??https://thenewstack.io/kubernetes-and-ai-are-they-a-fit/??
本文轉載自 ??51CTO技術棧??，作者：言征
