譯者 | 朱先忠

審校 | 重樓

LOONARR-1搭載ArduRover

如果你曾經嘗試構建搭載計算機視覺的自主系統，你就會知道入門有多么困難。當平臺是空中平臺時，例如FPV無人機或飛機，難度會更大——飛行過程中的任何失誤都可能導致墜機和嚴重損壞。相比之下，使用像Rover這樣的地面機器人平臺就可以消除這些風險。由于它始終停留在地面上，因此你可以安全地調試和開發自動駕駛儀或其他功能，風險要低得多。

在本文中，我將提供一份全面的搭建試驗指南，教你如何從零開始構建一臺漫游車，并將自動駕駛儀與計算機視覺集成，用于地面目標跟蹤。在本試驗中，我們將使用ArduRover固件、MAVLink協議、配套計算機（Raspberry Pi 5）以及OpenCV和YOLO進行物體檢測（識別）。

一般設計方案

漫游車運行ArduRover固件，并使用樹莓派（RaspberryPi）作為配套計算機。連接到樹莓派的攝像頭可捕捉圖像，用于基于人工智能的自主導航。在跟隨模式下，漫游車的自動駕駛儀采用YOLO計算機視覺模型進行目標檢測（識別），計算目標在NED坐標系中的位置，然后跟隨目標。一旦漫游車足夠接近目標，它就會停止，關閉電機，完成任務。

因此，我們的示例重點關注基于AI的自主導航，使用在GNSS環境（GPS+指南針）中運行的地面機器人平臺，并使用YOLO計算機視覺模型作為目標檢測器。

作為開發的基礎，我們使用4WD底盤機器人框架和Dake FPV F405飛行控制器作為我們原理圖的核心。

系統架構

與任何電子設備一樣，Rover也有一個電路圖，用于顯示其組件的連接方式。雖然Rover的電路可能并不簡單；但是，我還是為你繪制了一個示意圖。在開始組裝和焊接組件之前，請花點時間查看一下。

我們的試驗目標漫游車的電路圖設計

從上圖可以看出，有許多組件必須相互連接。

接線組織如下：

• 電池組(6S2P)通過正面的8線JST接口連接到飛控(FC)。接線方式：BAT→+，GND→?。電源輸入端必須安裝1000μF電容以穩定電壓。
• XL4015DC-DC轉換器配置為輸出6.5V/3A，為TT黃色電機提供足夠的電流給電機驅動器。
• 兩個BTS7960驅動器上的B+/B?連接到XL4015轉換器的VOUT/GND。
• TT電機（左側）通過M+和M-。焊盤與左側BTS7960驅動器并聯。
• TT電機（右側）通過M+和M-。焊盤并聯連接到右側BTS7960驅動器。

第一級（XL4015、驅動器和電機）

• BTS7960（左驅動器）通過前面的8線JST插孔連接到FC：
  S1→R_PWM、S2→L_PWM、5V→VCC、GND→GND、
  R_EN/L_EN必須連接到VCC才能保持驅動器啟用。
• BTS7960（右驅動器）通過前面的8線JST插孔連接到FC：
  S3→R_PWM、S4→L_PWM、5V→VCC、GND→GND
  R_EN/L_EN必須連接到VCC才能保持驅動器啟用。

第二層（FC、GPS、指南針、ELRS、3DR、RPi、蜂鳴器）

• ELRS接收器通過正面的4線JST插孔將SpeedyBee ELRS Nano接收器2.4GHz連接到Dake FPV F405 FC，或通過直接接線：T2→RX、R2→TX、GD→GND、5V→VCC。
• GPS模塊（BN-220）連接4根線：5V→VCC、GND→GND、T1→RX、R1→TX。
• 指南針（QMC5883L）連接4根線：SDA→SDA、SCL→SCL、5V→VCC、GND→GND。
• 蜂鳴器
• 連接到FC：BZ+→VCC，BZ?→GND。
• 3DR遙測模塊連接4根線：T4→RX，R4→TX，GND→GND，5V→VCC。

第三層（電池、RPi的DC-DC轉換器）

• Raspberry Pi 5通過底部的6線JST插孔連接到FC：
  T5→UART0_RXD、R5→UART0_TXD、GND→GND
  Raspberry Pi由專用5V/5ADC-DC轉換器供電，該轉換器通過XT60連接器連接到電池組。
  由于系統復雜（三個層級），上面的示意圖并非完整的電路原理圖。部分元件（例如Raspberry Pi的專用DC-DC轉換器或XL4015輸出端的肖特基二極管）未顯示，但最終設備必須包含這些元件。
  我相信每次搭建都是一次新的實驗，學習過程的一部分就是逐步完成布線。這種方法能幫助你更深入地理解設計，甚至基于這些知識創建自己的原理圖。

軟件配置

正確焊接所有組件并在Dake FPV F405飛行控制器上安裝ArduRover固件后，下一步是使用Mission Planner軟件配置你的模型。

你必須相應地配置以下參數：

• FRAME_CLASS=1—流動站
• FRAME_TYPE=0—未定義
• MOT_PWM_TYPE=4—BrushedBiPolar流動站，可通過4WD電機實現前進和后退運動
• SERVO1_FUNCTION=73—油門左
• SERVO2_FUNCTION=73（已檢查反向）—ThrottleLeft（反向）
• SERVO3_FUNCTION=74—油門右
• SERVO4_FUNCTION=74（已選中反向）—ThrottleRight（反向）
• RC5_OPTION=153—布防/撤防控制
• ARMING_CHECK=0—臨時（禁用安全檢查）
• RC7_OPTION=55—切換至引導模式
• GPS1_TYPE=2—UBlox（如果使用BN-220）
• SERIAL1_BAUD=38–38400GPS波特率
• EK3_GPS_CHECK=0—臨時（禁用GPS檢查）
• SERIAL4_BAUD=57–遙測模塊的波特率為57600
• SERIAL4_PROTOCOL=42—MAVLink2（通過Mission Planner的無線電鏈路實現流動站控制）
• WP_SPEED=0.5—GUIDED模式下的最大速度設置為0.5m/s(50cm/s)正確的配置是ArduRover固件和自動駕駛儀可靠運行的基礎。此外，你需要通過基本設置將Radio Master Pocket 2.4 GHz發射器與Rover綁定，并確保模型至少可以在手動模式下運行，然后再繼續操作。

自動駕駛儀

在配套計算機（Raspberry Pi）上運行并通過MAVLink與飛行控制器通信以實現自主操作的特殊軟件稱為自動駕駛儀。

該自動駕駛儀的完整源代碼可以在下面的鏈接處下載：

ArduRover的目標跟蹤自動駕駛儀（開發版）

我之前發布的原始實現的通用版本見下面的鏈接：

用于FPV戰斗無人機的帶目標跟蹤的自動駕駛儀（模擬器版本）

如果需要，這兩個版本都可以輕松適應你的特定FPV無人機、飛機或探測車模型，并且可以自由使用，無需任何擔保。

軟件架構

我們的自動駕駛儀LOONARR采用多線程設計，圍繞中央命令隊列和命令路由器構建。路由器線程處理排隊的命令，而遙測線程和跟隨線程則簡單地將新命令附加到隊列中。

ArduRover自動駕駛儀開發的軟件架構

每個模塊的詳細描述，包括其配置參數和工作流程，都可以在我上面提到的源代碼倉庫中的README_DEV.md文件中找到。恕我不會在這里詳細介紹。

計算機視覺

CV模塊是目標跟蹤過程的基石，也是我們解決方案的關鍵組件。它就像系統的“眼睛”，能夠檢測和跟蹤（跟隨）目標。因此，我將在本節中對它作簡要介紹。

該自動駕駛儀使用YOLOv8模型進行物體檢測，具體來說是yolov8n.pt模型，使用Person類（class0）。為了處理視頻幀、與Raspberry Pi攝像頭連接以及管理不同的分辨率，自動駕駛儀依賴于OpenCV和Picamera2。

物體檢測和目標跟蹤在工作過程中涉及幾個復雜的任務，包括：

• 將目標位置從圖像幀轉換為笛卡爾坐標（NED—北，東，下）
• 根據需要調整探測車的位置和速度
• 考慮比例和轉換因素

所有這些功能都是在位于vision.py文件中的計算機視覺模塊中實現的。

import cv2
import definitions as vars

from datetime import datetime
from picamera2 import Picamera2
from ultralytics import YOLO

model = YOLO(vars.vision_model)
image_width = vars.camera_width
image_height = vars.camera_height
yaw_conversion_factor = 0.002
threshold_percentage=0.40
approach_factor = 0.8
pi_camera_index = 255

def configure_camera():
 camera = {}
 if vars.video_source == pi_camera_index:
 camera = Picamera2()
 config = camera.create_preview_configuration(
 main={"size": (vars.camera_width, vars.camera_height), 
 "format": "RGB888"})
 camera.configure(config)
 camera.start()
 else:
 camera = cv2.VideoCapture(vars.video_source)
 if not camera.isOpened():
 print('VISION: Camera is not ready!')

 return camera

cam = configure_camera()

def get_camera_image():
 result = {}
 png_file_name = \
 f'{vars.logger_directory}/img_{datetime.now().strftime("%Y-%m-%d_%H-%M-%S")}.png'

 if vars.video_source == pi_camera_index:
 frame = cam.capture_array()
 result = get_anotated_frame(frame, 
 png_file_name)
 else:
 success, frame = cam.read()
 if success:
 result = get_anotated_frame(frame, 
 png_file_name)

 cv2.destroyAllWindows()

 return result

def get_anotated_frame(frame, png_file_name):
 results = model(frame, classes=vars.vision_classes, 
 imgsz=vars.camera_width, verbose=False)
 anotated_frame = results[0].plot()
 cv2.imwrite(png_file_name, anotated_frame)
 result = results[0]

 return result

def get_ned_coordinates(x1, y1, x2, y2, altitude):
 target_x = (x1 + x2) / 2
 target_y = (y1 + y2) / 2

 relative_x = (2 * target_x / image_width) - 1
 relative_y = (2 * target_y / image_height) - 1

 N_coord = relative_y * altitude
 E_coord = relative_x * altitude

 D_coord = 0

 return N_coord, E_coord, D_coord

def get_yaw_angle(x1, y1, x2, y2):
 target_x = (x1 + x2) / 2
 yaw_angle = (target_x - image_width / 2) * yaw_conversion_factor

 return yaw_angle

def get_target_threshold_area(x1, y1, x2, y2):
 target_area = (x2 - x1) * (y2 - y1)
 threshold_area = \
 image_width * image_height * threshold_percentage

 return target_area, threshold_area

def is_target_close_enough(x1, y1, x2, y2):
 target_area, threshold_area = \
 get_target_threshold_area(x1, y1, x2, y2)

 return target_area > threshold_area

def get_ned_target(x1, y1, x2, y2, altitude):
 N_coord, E_coord, D_coord = get_ned_coordinates(
 x1, y1, x2, y2, altitude)
 yaw_angle = get_yaw_angle(x1, y1, x2, y2)
 target_area, threshold_area = \
 get_target_threshold_area(x1, y1, x2, y2)
 long_factor = threshold_area / target_area

 return round(N_coord * long_factor * approach_factor, 4), \
 round(E_coord, 4), round(D_coord, 4), round(yaw_angle, 4)

如上代碼所示，該系統使用由YOLOv8驅動的目標跟蹤模塊。其中，OpenCV從USB攝像頭或RPI攝像頭（基于配置）捕獲實時視頻，YOLO檢測人員自定義函數，將這些檢測轉換為導航命令（NED坐標和偏航），以便探測車跟蹤目標。

NED坐標計算

如上圖所示，上坡的人被YOLO模型檢測為目標。代碼計算邊界框（紅色）的中心，并在NED（北、東、下）坐標系中相應地調整Rover的移動，如圖所示。

例如，NED（4.21，-1.83，-2.29）表示探測車應從當前位置向北移動4.21米，向西移動1.83米（由于值為負，因此與向東方向相反），向上移動2.29米（與向下方向相反），以跟隨斜坡上的目標。

在RPi上安裝

如前面的架構部分所述，Raspberry Pi（RPi）在此設置中充當配套計算機，通過MAVLink與飛行控制器上的ArduRover固件進行通信。

按照以下步驟在RPi上安裝自動駕駛儀代碼：

1. 下載并將存儲庫解壓到目錄：/home/pi/Apps/loonarr
2. 將服務和腳本文件復制config/run_autopilot.service到config/run_autopilot.sh：/etc/systemd/system
3. 設置必要的權限

 sudo chmod +x /etc/systemd/system/run_autopilot.sh

4. 啟動時啟用Autopilot服務

sudo systemctl enable run_autopilot.service
sudo reboot

5. 驗證日志：

樹莓派重啟后，前往logs文件夾檢查是否有新文件生成。

如果沒有，請檢查definitions.py并根據需要調整設置。

此時，你的Rover、自動駕駛儀以及所有相關組件應該已準備好進行首次啟動和測試。請按照下一節中的說明進行操作。

用法

現在，你已經完成了所有艱苦的工作，是時候測試你的作品了，看看它在實際應用中的表現如何。前往一片空曠的地方，帶上你的Rover（搭載了樹莓派）、RadioMaster Tx以及你的筆記本電腦（筆記本電腦的USB端口已插入3DR遙測模塊）。然后按照圖片下方的說明測試你的最終組裝。

GPS：3D定位（準備執行任務）

檢查設備功能的步驟是：

1. 打開你的RadioMaster TX（或另一個ELRS發射器）。
2. 將電池組連接到Rover的XT60輸入。
3. 驗證流動站響應：切換模式、布防/撤防，并在手動模式下駕駛。
4. 使用計算機上的3DR Telemetry檢查GPS信號。
5. 將RC7（chan7_raw）切換到GUIDED模式。
6. 武裝好Rover并站在攝像機前。
7. 等待約2秒—探測車就會朝你駛來。
8. 完成：一旦探測車到達你身邊，它將自動解除武裝并且蜂鳴器會響起。

如果你做的一切都正確，那么探測車就會像本文開頭的第一張插圖中所示那樣跟隨你。

飛行記錄

出于安全原因和飛行后分析，自動駕駛儀在運行期間會生成日志文件，并將導航中使用的帶有邊界框的所有圖像保存到日志文件夾中。

目標跟蹤幀

這些飛行記錄在必要時可作為正確操作的寶貴證據，也可用于調查飛行過程中的碰撞或不當行為（這對Rover來說很重要）。

日志文件中的飛行記錄

如圖所示，自動駕駛儀幾次失去目標，然后重新獲得目標并繼續跟蹤，直到距離足夠近，可以成功完成任務。

與往常一樣，我建議將記錄器設置為“調試”模式，以便最大限度地利用這些飛行記錄。這將幫助你在每次飛行中改進自動駕駛系統。

一些注意事項

如果上述所有操作均已完成并正常運行，那么許多新的可能性就會隨之而來。從這一點開始，利用你從本文中獲得的方法和知識，你可以構建其他地面機器人平臺，包括但不限于：

• 疏散流動車
• 醫療用品流浪者隊
• 有效載荷運載工具
• 偵察平臺
• 等等。

無論你是出于興趣愛好還是實際使用而創建設備，都可以考慮提供經過測試的第一視角（FPV）無人機、偵察固定翼飛機，甚至大型探測車（如果你決定建造的話），以用于民用、國防保護等領域應用。

聯系我們

你可以在Twitter上提問：https://twitter.com/dmytro_sazonov

譯者介紹

朱先忠，51CTO社區編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標題：Building an autonomous ArduRover that sees with Computer Vision，作者：Dmytro Sazonov