LightPlanner：中科視語開源的輕量化具身推理大模型，賦能機器人高效決策
在人工智能和機器人技術迅速發展的當下，機器人在復雜環境中的任務規劃與決策能力顯得尤為重要。然而，現有的許多機器人系統在處理復雜任務時往往面臨推理效率低下、決策不準確等問題。為了解決這一挑戰，中科視語推出了LightPlanner，這是一個開源的輕量化具身推理大模型，旨在提升機器人在復雜任務中的推理和決策能力。本文將深入探討 LightPlanner 的項目背景、技術原理、功能特點、應用場景以及如何快速上手使用，幫助讀者全面了解這一前沿技術。
一、項目概述
中科視語推出LightPlanner，是一個專為機器人設計的輕量化具身推理大模型，它的主要目標是開發一個輕量級、高效的具身推理模型，能夠支持機器人在復雜環境中的任務規劃和決策。具體目標包括：
1. 提升機器人在復雜任務中的推理效率，減少推理時間。
2. 提高機器人決策的準確性，減少錯誤決策。
3. 優化模型的資源占用，使其能夠在邊緣設備上高效運行。
二、技術原理
（一）層次化深度推理
LightPlanner 采用了層次化深度推理技術，模擬人類的決策邏輯。在每一步執行前，模型會觸發三層驗證，包括執行反饋、語義一致性和參數有效性。這種多層次的驗證機制能夠有效減少錯誤決策，實現“錯誤自愈”，從而提升模型的推理準確性和魯棒性。
（二）參數化動態技能鏈
傳統的具身推理模型通常依賴于固定的技能模板，這限制了模型在處理復雜任務時的靈活性。LightPlanner 引入了參數化動態技能鏈，突破了這一限制。通過上下文感知的函數調用機制，模型能夠動態解析指令中的動態參數，從而執行需要視覺或空間推理的復雜具身任務。
（三）邊緣設備友好架構
為了滿足邊緣設備的部署需求，LightPlanner 在大模型的輸入端引入了動態更新的歷史行動記憶模塊，并結合迭代式上下文管理，顯著降低了顯存占用。這種架構優化使得 LightPlanner 能夠在資源受限的邊緣設備上高效運行，而不失推理性能。
三、功能特點
（一）高效推理能力
LightPlanner 在推理效率方面表現出色。實驗結果顯示，在真實世界環境中的具身決策規劃任務中，盡管 LightPlanner 的參數數量最少，僅為 1.5B，但其任務成功率最高。在需要空間語義推理的任務中，其成功率比 ReAct 高出 14.9%。
（二）動態參數化技能控制
LightPlanner 支持動態參數化技能控制，能夠根據任務需求動態調整技能參數。這種靈活性使得機器人能夠更好地適應復雜多變的環境，執行各種復雜的具身任務。
（三）開源量化模型
為了促進技術的普及和應用，中科視語開源了LightPlanner 的量化模型。提供 0.9 到 2.7G 多種量化版本，這些模型在 Hugging Face 平臺熱度飆升，為研究人員和開發者提供了豐富的資源。
（四）豐富的數據集支持
LightPlanner 配套發布了 LightPlan-40K 數據集，這是首個具身決策深度推理數據集，覆蓋動作序列長度為 2-13 的不同復雜度任務，總計包含 4 萬個帶有層次化深度推理的動作決策步驟。
四、應用場景
（一）物流領域
在物流倉庫中，機器人需要高效地規劃路徑、搬運貨物，并處理各種突發情況。LightPlanner 能夠顯著提升機器人在這些任務中的推理和決策能力，優化物流效率。
（二）制造業
在復雜的制造環境中，機器人需要執行高精度的組裝和加工任務。LightPlanner 的動態參數化技能控制功能能夠幫助機器人更好地適應這些任務，提高生產效率和產品質量。
（三）服務行業
服務機器人需要在動態環境中與人類進行交互，執行各種服務任務。LightPlanner 的高效推理能力和動態技能控制功能能夠使服務機器人更好地適應這些需求，提供更優質的服務。
五、快速使用
（一）環境準備
在開始之前，請確保您已經安裝了以下必要的軟件和庫：
- Python 3.10
- PyTorch 2.2.0
- LightPlanner 代碼庫
（二）安裝步驟
1. 克隆代碼庫：
git clone https://github.com/unira-zwj/LightPlanner.git
cd LightPlanner2. 安裝依賴項：
pip install fastapi pydantic transformers torch asyncio gradio re如果您使用的是UR 機器人，還需要安裝 `urx`：
pip install urx（三）硬件連接
1. UR 機器人和 Robotiq 夾爪：
- 將 UR 機器人的網絡電纜連接到 Jetson（或 PC）。
- 將 Robotiq 的 USB 電纜插入 Jetson（或 PC）。
- 將 Inter D435 相機的 USB 連接到 Jetson（或 PC）的 USB 3.0 端口。
- 確保 UR 機器人的末端執行器與相機對齊，并在軟件設置中配置坐標變換矩陣。
2. 設置 IP 地址：
- 將 UR 機器人的 IP 地址設置為 192.168.0.1。
- 將 Jetson（或 PC）的 IP 地址設置為 192.168.0.2（或確保與 UR 機器人在同一網段）。
3. 查詢 Robotiq 的 tty 設備號：
- 通常為 `/dev/ttyUSB0`。
4. 設置坐標變換矩陣：
- 在 `lightplanner_callback_v2.py` 的第 110 行設置：
R_C_to_T = np.eye(3) # 從相機到工具的旋轉矩陣
t_C_to_T = np.array([-0.038, -0.065, -0.135]) # 從相機到工具的平移向量5. 設置機器人的初始位置：
- 在 `lightplanner_callback_v2.py` 的第 106 行設置：
HOME_POSE = [-0.025, -0.32, 0.2, 0, 3.133, 0] # 垂直向下任務的初始位置
HOME_POSE_H = [-0.025, -0.48, 0.15, 0, 2.24, -2.16] # 水平操作任務的初始位置（四）模型下載
- 從 [Hugging Face](https://huggingface.co/lightplanner) 下載模型文件。
- 將下載的模型文件移動到 `checkpoints` 文件夾中，或者在 `llm-serve.py` 的第 24 行更改模型路徑。
（五）啟動服務
1. 啟動 FastAPI 服務：
uvicorn llm-serve:app --host 0.0.0.0 --port 80002. 啟動 Web 界面：
python web-v2.py（六）使用示例
1. 發送請求：
- 打開瀏覽器，訪問：http://localhost:8000。
- 在 Web 界面中輸入指令，例如：
In: What action should the robot take to {<INSTRUCTION>}?
Out:- 模型將生成相應的動作指令，并顯示在界面上。
六、結語
LightPlanner 作為中科視語推出的開源輕量化具身推理大模型，憑借其層次化深度推理技術、參數化動態技能鏈和邊緣設備友好架構，在機器人任務規劃和決策領域取得了顯著的成果。通過提升推理效率和決策準確性，LightPlanner 為機器人在復雜環境中的應用提供了強大的支持。隨著技術的不斷發展和開源社區的貢獻，LightPlanner 有望在物流、制造、服務等多個領域發揮更大的作用，推動機器人技術的發展和普及。
項目主頁：???https://github.com/unira-zwj/LightPlanner??
本文轉載自????小兵的AI視界????，作者：AGI小兵?
