基于 OpenCV 的實時睡意檢測系統

作者：小白玩轉Python 2024-09-04 15:42:38

該系統可以檢測一個人在開車時是否困倦，如果有的話，可以通過使用語音消息實時提醒他。該系統使用網絡攝像頭和電話攝像頭進行實時數據傳輸。

研究目的

根據國家公路交通安全管理局的數據，每年均涉及疲勞駕駛事故中導致超過1,550人死亡和71,000人受傷，但是實際數字可能要高得多[1]。因此，為了避免這類事故的發生，我們制作了這個系統。它通過檢查人的眼睛是否閉合或正在打哈欠來預測眼睛和嘴巴的標志，從而確定一個人是否正處于疲勞駕駛。

主要內容

該系統的工作可以分為兩個部分：

檢測或定位面部。
預測檢測到的面部中重要區域的地標。

一旦預測出結果，我們僅使用眼睛地標和嘴部地標來確定人的眼睛長寬比（EAR）和嘴部長寬比（MAR），以檢查人是否困倦。EAR和MAR的計算如下所示：

from scipy.spatial import distance as dist 
def eye_aspect_ratio(eye):
  # Vertical eye landmarks
  A = dist.euclidean(eye[1], eye[5])
  B = dist.euclidean(eye[2], eye[4])
  # Horizontal eye landmarks 
  C = dist.euclidean(eye[0], eye[3])
  # The EAR Equation 
  EAR = (A + B) / (2.0 * C)
  return EAR
def mouth_aspect_ratio(mouth): 
  A = dist.euclidean(mouth[13], mouth[19])
  B = dist.euclidean(mouth[14], mouth[18])
  C = dist.euclidean(mouth[15], mouth[17])
  MAR = (A + B + C) / 3.0
  return MAR

現在，既然有了代碼，讓我們了解一下代碼是如何工作的：

dlib庫內部的預訓練面部界標檢測器用于估計映射到面部面部結構的68-（x，y）坐標的位置[2]。這些68-（x，y）坐標表示臉部的重要區域，例如嘴巴，左眉，右眉，左眼，右眼，鼻子和下巴。其中，我們只需要左眼，右眼和嘴巴的（x，y）坐標：

# Grab the indexes of the facial landamarks for the left and right eye respectively 
(lstart, lend) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rstart, rend) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]
(mstart, mend) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]

現在，每只眼睛都由一組6-（x，y）坐標表示，該坐標從眼睛的左上角開始（就像您在看那個人一樣），然后圍繞該區域的其余部分順時針旋轉[3]。：

左上：當眼睛睜開時，眼睛界標的可視化。右上：閉上眼睛時的眼睛地標。底部：繪制隨時間變化的眼睛縱橫比。眼睛縱橫比的下降表示眨眼[3]（Soukupová和?ech的圖1）。[4]

基于論文Real-Time Eye Blink Detection using Facial Landmarks[5]，我們可以得出一個反映這種關系的方程，稱為眼睛縱橫比（EAR）：

眼睛縱橫比（EAR）公式。

使用這個概念，我們計算了嘴長寬比：

用68-（x，y）坐標表示人臉

正如我們看到的，嘴由一組20-（x，y）坐標表示。因此，我們已使用坐標62、64、66和68來計算兩者之間的距離，方法與EAR計算相同。

結果：

在人員困倦或打哈欠時發出警報

另外，為了保留證據，我們保存了讓人昏昏欲睡的框架。

框架存儲在單獨的文件夾中作為證明：

該圖顯示了EAR和MAR隨時間的變化

源代碼的GitHub鏈接可在此處獲得：https://github.com/fear-the-lord/Drowsiness-Detection

參考文獻

[1]Drivers are falling asleep behind the wheels. Prevalence of drowsy driving crashes: https://www.nsc.org/road-safety/safety-topics/fatigued-driving
[2]Facial landmarks with dlib, OpenCV and Python: https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/
[3]Eye blink detection with OpenCV, Python, and dlib: https://www.pyimagesearch.com/2017/04/24/eye-blink-detection-opencv-python-dlib/
[4]Drowsiness Detection with OpenCV: https://www.pyimagesearch.com/2017/05/08/drowsiness-detection-opencv/
[5]Real-Time Eye Blink Detection using Facial Landmarks: http://vision.fe.uni-lj.si/cvww2016/proceedings/papers/05.pdf

責任編輯：趙寧寧來源：小白玩轉Python

OpenCV 開發 Python