基于 Spring Boot 的實時人臉檢測和識別系統
作者：編程疏影
本文首先介紹了實時人臉檢測和識別系統的基本需求和技術挑戰。接著，通過Spring Boot和WebSocket技術實現了一個簡單的實時人臉檢測與識別系統，并結合代碼示例詳細講解了實現過程。
基于 Spring Boot 的實時人臉檢測和識別系統
隨著人工智能和計算機視覺技術的不斷發展，實時人臉檢測和識別技術在安防、考勤、門禁控制等領域的應用越來越廣泛。實現一個高效、穩定的實時人臉檢測和識別系統，需要解決包括延遲、數據一致性、并發處理等相關技術難題。本文將深入講解如何基于Spring Boot和WebSocket實現一個實時人臉檢測和識別系統，并結合具體代碼示例進行講解。
基本需求和挑戰
- 實時檢測和識別需求
- 高實時性：視頻流中的人臉圖像需要被及時檢測和識別，并同步到客戶端。
- 高準確性：檢測和識別算法需要具有高準確率，減少誤識別和漏識別現象。
- 技術挑戰
系統延遲：在高并發訪問下，需要保證檢測和識別的快速響應，降低系統延遲。
數據一致性：在多客戶端并發訪問和多個傳感器同時上傳數據時，確保數據一致性和同步。
擴展性：系統需要具備良好的擴展性，能夠處理不斷增加的數據量和訪問量。
實現方案
1. 使用Spring Boot和WebSocket實現實時人臉檢測
依賴配置在項目的 pom.xml 文件中添加以下依賴，以支持Spring Boot和WebSocket：
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacpp</artifactId>
<version>1.5.5</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>1.5.5</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>dlib-platform</artifactId>
<version>19.21.1-1.5.5</version>
</dependency>
<dependency>
<groupId>net.sourceforge.tess4j</groupId>
<artifactId>tess4j</artifactId>
<version>4.5.3</version>
</dependency>WebSocket配置創建 WebSocketConfig 配置類，實現 WebSocket 的配置：
import org.springframework.context.annotation.Configuration;
import org.springframework.web.socket.config.annotation.EnableWebSocket;
import org.springframework.web.socket.config.annotation.WebSocketConfigurer;
import org.springframework.web.socket.config.annotation.WebSocketHandlerRegistry;
@Configuration
@EnableWebSocket
public class WebSocketConfig implements WebSocketConfigurer {
@Override
public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
// 注冊WebSocket處理器
registry.addHandler(new FaceDetectionHandler(), "/faceDetection")
.setAllowedOrigins("*"); // 允許所有域名的跨域請求
}
}視頻流處理使用 OpenCV 庫進行視頻流處理和人臉檢測：
import org.opencv.core.Mat;
import org.opencv.core.Rect;
import org.opencv.core.Size;
import org.opencv.imgproc.Imgproc;
import org.opencv.objdetect.CascadeClassifier;
import org.opencv.videoio.VideoCapture;
import org.springframework.web.socket.TextMessage;
import org.springframework.web.socket.WebSocketSession;
import org.springframework.web.socket.handler.TextWebSocketHandler;
import java.io.ByteArrayInputStream;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class FaceDetectionHandler extends TextWebSocketHandler {
private static final List<WebSocketSession> sessions = new ArrayList<>();
static {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
}
@Override
public void afterConnectionEstablished(WebSocketSession session) throws Exception {
sessions.add(session); // 連接建立后添加會話
}
@Override
public void afterConnectionClosed(WebSocketSession session, CloseStatus status) throws Exception {
sessions.remove(session); // 連接關閉時移除會話
}
@Override
protected void handleTextMessage(WebSocketSession session, TextMessage message) throws Exception {
// 處理收到的消息并廣播給所有連接的會話
for (WebSocketSession webSocketSession : sessions) {
webSocketSession.sendMessage(message);
}
}
// 推送人臉檢測結果
public void sendFaceDetectionResult(String imageBase64) {
for (WebSocketSession session : sessions) {
try {
session.sendMessage(new TextMessage(imageBase64)); // 發送消息
} catch (IOException e) {
e.printStackTrace();
}
}
}
// 處理視頻流，檢測人臉
public void processVideoStream() {
VideoCapture camera = new VideoCapture(0);
if (!camera.isOpened()) {
System.out.println("Camera Error");
return;
}
CascadeClassifier faceDetector = new CascadeClassifier("haarcascade_frontalface_alt.xml");
Mat frame = new Mat();
while (camera.read(frame)) {
Mat frameGray = new Mat();
Imgproc.cvtColor(frame, frameGray, Imgproc.COLOR_BGR2GRAY);
Imgproc.equalizeHist(frameGray, frameGray);
Rect[] facesArray = faceDetector.detectMultiScale(frameGray);
for (Rect face : facesArray) {
Imgproc.rectangle(frame, face.tl(), face.br(), new Scalar(0, 255, 0), 3);
}
BufferedImage image = matToBufferedImage(frame);
String imageBase64 = imageToBase64(image);
sendFaceDetectionResult(imageBase64);
}
camera.release();
}
private BufferedImage matToBufferedImage(Mat mat) {
// Convert Mat to BufferedImage
MatOfByte mob = new MatOfByte();
Imgcodecs.imencode(".jpg", mat, mob);
byte[] byteArray = mob.toArray();
BufferedImage bufImage = null;
try {
bufImage = ImageIO.read(new ByteArrayInputStream(byteArray));
} catch (IOException e) {
e.printStackTrace();
}
return bufImage;
}
private String imageToBase64(BufferedImage image) {
// Convert BufferedImage to Base64 String
ByteArrayOutputStream baos = new ByteArrayOutputStream();
try {
ImageIO.write(image, "jpg", baos);
byte[] bytes = baos.toByteArray();
return Base64.getEncoder().encodeToString(bytes);
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
}2. 結合視頻流實現實時人臉識別
在檢測到人臉后，通過人臉識別算法進行識別，并返回識別結果：
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import redis.clients.jedis.Jedis;
@RestController
@RequestMapping("/api/face")
public class FaceRecognitionController {
@Autowired
private FaceDetectionHandler faceDetectionHandler; // 注入WebSocket消息處理器
private Jedis jedis = new Jedis("localhost");
@PostMapping("/recognize")
public void recognizeFace(@RequestBody FaceRecognitionRequest request) {
// 假設FaceRecognitionService進行了人臉識別
String recognizedPerson = FaceRecognitionService.recognize(request.getImageBase64());
// 更新 Redis 中的識別結果
jedis.set("recognizedPerson", recognizedPerson);
// 通過 WebSocket 推送識別結果
faceDetectionHandler.sendFaceRecognitionResult(recognizedPerson);
}
}FaceRecognitionService示例：
import org.bytedeco.dlib.*;
import org.bytedeco.dlib.global.dlib;
import org.bytecode.*;
import java.nio.file.*;
import java.util.*;
public class FaceRecognitionService {
private frontal_face_detector detector;
private shape_predictor sp;
private anet_type net;
private List<FaceProfile> knownFaces;
public FaceRecognitionService() {
detector = dlib.get_frontal_face_detector();
sp = new shape_predictor("shape_predictor_68_face_landmarks.dat");
net = new anet_type();
dlib.deserialize("dlib_face_recognition_resnet_model_v1.dat").to(net);
knownFaces = loadKnownFaces();
}
// 加載已知人臉數據
private List<FaceProfile> loadKnownFaces() {
List<FaceProfile> faces = new ArrayList<>();
// 讀取已知人臉圖像和特征
// 這里可以從數據庫或文件系統加載已知人臉數據
return faces;
}
// 識別人臉
public String recognize(String imageBase64) {
// 解碼Base64圖片
byte[] decodedBytes = Base64.getDecoder().decode(imageBase64);
Mat img = ImgCodecs.imdecode(new Mat(decodedBytes), ImgCodecs.IMREAD_COLOR);
// 檢測人臉
dlib.rectangles faces = detector.apply(img);
ArrayList<Matrix> faceDescriptors = new ArrayList<>();
for (rect face : faces) {
full_object_detection shape = sp.apply(img, face);
Matrix face_chip = new Matrix();
extract_image_chip.apply(img, get_face_chip_details.apply(shape, 150, 0.25) , face_chip);
faceDescriptors.add(net.apply(face_chip));
}
// 比對人臉
if (faceDescriptors.size() > 0) {
Matrix faceDescriptor = faceDescriptors.get(0);
String recognizedPerson = findBestMatch(faceDescriptor);
return recognizedPerson;
}
return "Unknown";
}
// 比對人臉特征，找到最佳匹配
private String findBestMatch(Matrix faceDescriptor) {
double minDistance = Double.MAX_VALUE;
String bestMatch = "Unknown";
for (FaceProfile knownFace : knownFaces) {
double distance = length(subtract(faceDescriptor, knownFace.getFaceDescriptor()));
if (distance < minDistance) {
minDistance = distance;
bestMatch = knownFace.getName();
}
}
return bestMatch;
}
}
class FaceProfile {
private String name;
private Matrix faceDescriptor;
public FaceProfile(String name, Matrix faceDescriptor) {
this.name = name;
this.faceDescriptor = faceDescriptor;
}
public String getName() {
return name;
}
public Matrix getFaceDescriptor() {
return faceDescriptor;
}
}3. 討論系統延遲和優化策略
- 系統延遲問題
- 視頻幀處理延遲：由于視頻幀處理需要完成面部檢測和識別，可能會導致延遲。
- 網絡傳輸延遲：視頻流數據和識別結果需要通過網絡進行傳輸，傳輸過程中的網絡波動可能導致延遲。
- 優化策略
硬件加速：利用GPU進行視頻幀和人臉檢測、識別計算，提高計算速度，降低處理延遲。
改進算法效率：優化圖像處理和人臉識別算法，減少單幀處理時間。
并行處理：引入多線程并行處理技術，如將檢測與識別步驟分離，獨立處理不同視頻流幀。
視頻編碼優化：利用高效的視頻編碼技術，減少視頻傳輸數據量，降低網絡傳輸時間。
前端 WebSocket 客戶端實現
在前端實現 WebSocket 客戶端，以接收和展示實時檢測與識別的結果。
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>實時人臉檢測和識別</title>
</head>
<body>
<h1>實時人臉檢測和識別結果</h1>
<div id="video-container">
<img id="video-frame" src="" alt="Video Frame">
<p id="recognition-result"></p>
</div>
<script>
// 初始化WebSocket連接
const socket = new WebSocket('ws://localhost:8080/faceDetection');
socket.onopen = function(event) {
console.log("WebSocket connection established!");
};
socket.onmessage = function(event) {
// 解析WebSocket消息
const message = JSON.parse(event.data);
if (message.type === 'detection') {
// 更新視頻幀
document.getElementById('video-frame').src = 'data:image/jpeg;base64,' + message.data;
} else if (message.type === 'recognition') {
// 更新識別結果
document.getElementById('recognition-result').innerText = '識別結果: ' + message.data;
}
};
socket.onclose = function(event) {
console.log("WebSocket connection closed.");
};
</script>
</body>
</html>這個前端頁面展示了一個簡單的實時視頻流容器，以及一個顯示人臉識別結果的文本框。WebSocket 客戶端接收到服務器推送的檢測結果和識別結果，并進行展示。
完整代碼結構
以下是一個完整的項目結構，供大家參考：
com.example.facedetection
├───config
| └───WebSocketConfig.java
├───controller
| └───FaceRecognitionController.java
├───handler
| └───FaceDetectionHandler.java
├───service
| └───FaceRecognitionService.java
├───FaceDetectionApplication.java
├───resources
| └───application.properties
└───static
└───index.html總結
本文首先介紹了實時人臉檢測和識別系統的基本需求和技術挑戰。接著，通過Spring Boot和WebSocket技術實現了一個簡單的實時人臉檢測與識別系統，并結合代碼示例詳細講解了實現過程。
這個系統在實際應用中還需要進一步優化和擴展，包括提升檢測和識別精度、降低系統延遲、實現分布式部署等。相信大家通過本文的學習，對實現一個實時人臉檢測和識別系統有了更深入的理解和掌握。
責任編輯：武曉燕
來源：
路條編程
