如何在安卓手機(jī)上本地安裝和運(yùn)行LLM? 原創(chuàng)
了解如何將AI的力量徑直帶入到你的安卓手機(jī)上：沒(méi)有云，沒(méi)有互聯(lián)網(wǎng)，只有純粹的設(shè)備端智能！
在安卓手機(jī)上本地運(yùn)行大語(yǔ)言模型（LLM）意味著你可以在不依賴云服務(wù)器或互聯(lián)網(wǎng)連接的情況下訪問(wèn)人工智能（AI）模型。這種本地環(huán)境通過(guò)確保數(shù)據(jù)安全、并在設(shè)備端來(lái)確保隱私。隨著移動(dòng)硬件領(lǐng)域的發(fā)展，在本地運(yùn)行AI模型已成為了現(xiàn)實(shí)。MLC Chat應(yīng)用程序可以讓你很容易直接在手機(jī)上體驗(yàn)這種功能強(qiáng)大的技術(shù)。
本文將解釋在安卓手機(jī)上本地運(yùn)行LLM的重要性，并提供了使用MLC Chat應(yīng)用程序安裝和運(yùn)行LLM的逐步教程。
為什么在安卓手機(jī)上運(yùn)行LLM？
LLM通常在云服務(wù)器上運(yùn)行，因?yàn)樗鼈冃枰獜?qiáng)大的算力。雖然安卓手機(jī)在運(yùn)行LLM方面存在一定的限制，但它們也帶來(lái)了令人興奮的可能性。
- 增強(qiáng)隱私：由于整個(gè)計(jì)算工作都在你的手機(jī)上進(jìn)行，所以你的數(shù)據(jù)保持在本地，這對(duì)于你共享的任何敏感信息都至關(guān)重要。
- 離線訪問(wèn)：訪問(wèn)這些模型或與之交互不需要持續(xù)的互聯(lián)網(wǎng)連接。這對(duì)偏遠(yuǎn)地區(qū)或互聯(lián)網(wǎng)接入有限的用戶尤其有用。
- 成本效率：在云服務(wù)器上運(yùn)行LLM需要處理能力和云存儲(chǔ)等運(yùn)營(yíng)成本。這種方法為用戶提供了一種經(jīng)濟(jì)的解決方案。
在安卓上安裝和運(yùn)行MLC Chat的逐步指南
MLC Chat應(yīng)用程序旨在使用戶能夠在包括手機(jī)在內(nèi)的各種設(shè)備上本地運(yùn)行大語(yǔ)言模型（LLM）并與之交互，無(wú)需依賴基于云的服務(wù)。按照以下步驟，即可在安卓設(shè)備上本地運(yùn)行LLM。
第1步：安裝MLC Chat應(yīng)用程序
首先，你需要從下面給出的鏈接下載MLC Chat應(yīng)用程序的APK（112MB）。
MLC Chat應(yīng)用程序APK文件：???https://llm.mlc.ai/docs/deploy/android.html???
下載APK后，點(diǎn)擊文件開(kāi)始安裝。
第2步：下載LLM
成功安裝應(yīng)用程序后，打開(kāi)它，你將看到可供下載的LLM列表。大小和功能各異的模型可供使用，比如LLama-3.2、Phi-3.5和Mistral。根據(jù)你的需要選擇模型，然后點(diǎn)擊它旁邊的下載圖標(biāo)即可開(kāi)始下載。比如說(shuō)，由于我使用的是像紅米Note 10這樣的中檔手機(jī)，于是選擇了Qwen-2.5之類的輕量級(jí)模型，以獲得更流暢的性能。
第3步：運(yùn)行已安裝的LLM
一旦下載了模型，旁邊就會(huì)出現(xiàn)一個(gè)聊天圖標(biāo)。點(diǎn)擊該圖標(biāo)即可啟動(dòng)模型。
模型準(zhǔn)備就緒后，你可以開(kāi)始輸入提示，并在本地與LLM進(jìn)行交互。
比如說(shuō)，在紅米Note 10這樣的設(shè)備上，運(yùn)行Qwen2.5之類的小模型提供了相當(dāng)流暢的體驗(yàn)，每秒生成約1.4個(gè)詞元（token）。雖然與Galaxy S23 Ultra等高端設(shè)備相比，這一性能要遜色一些，但它仍然可以完成諸如簡(jiǎn)短對(duì)話和簡(jiǎn)單內(nèi)容生成之類的基本任務(wù)。
結(jié)論
通過(guò)MLC Chat應(yīng)用程序在安卓設(shè)備上本地運(yùn)行LLM為你與AI模型進(jìn)行交互提供了一種易于訪問(wèn)、保護(hù)隱私的方式。性能在很大程度上取決于你手機(jī)的硬件。如果用戶需要離線訪問(wèn)AI模型、實(shí)時(shí)嘗試LLM或關(guān)注隱私，這一解決方案很理想。隨著移動(dòng)硬件不斷改進(jìn)，本地LLM的功能只會(huì)越來(lái)越強(qiáng)大，這將成為AI技術(shù)一個(gè)令人興奮的前沿。
原文標(biāo)題：??How to Install and Run LLMs Locally on Android Phones??，作者：Kanwal Mehreen
