這個項目還有很多可以擴展的地方，比如：我提供的視頻只有單張臉，實際監(jiān)控中肯定是多張臉。這時候可以用MOT算法進行行人跟蹤，然后再對每個人單獨做吸煙識別。
哈嘍，大家好。
今天給大家分享一個吸煙識別+人臉識別的項目。很多公共場所、生產場所和學校，都有禁煙的要求，做一個禁煙的監(jiān)控，讓AI自動識別吸煙行為，并識別是誰在吸煙，還是很有必要的。
用目標檢測算法判斷吸煙行為，提取吸煙者的人臉，用人臉識別算法判斷誰在吸煙。思路比較簡單，但細節(jié)處理起來還是稍微有些麻煩。
項目用到訓練數據和源碼，都已經打包好了。還是老樣子，評論區(qū)獲取。
1. 檢測香煙
我用了 5k 張抽煙的標記數據，作為訓練數據
放在dataset目錄下。
訓練YOLOv5目標檢測模型。
第一步，復制data/coco128.yaml為smoke.yaml，并修改數據集目錄和類別配置信息
path: ../dataset/smoke # dataset root dir
train: images/train # train images (relative to 'path') 128 images
val: images/test # val images (relative to 'path') 128 images
test: # test images (optional)
# Classes
names:
0: smoke
第二步，復制./models/yolov5s.yaml為smoke.yaml?，修改nc
nc: 1 # number of classes
第三步，下載yolov5s.pt?預訓練模型，放在{yolov5目錄}/weights目錄中
執(zhí)行下面命令，訓練即可
python ./train.py --data ./data/smoke.yaml --cfg ./models/smoke.yaml --weights ./weights/yolov5s.pt --batch-size 30 --epochs 120 --workers 8 --name smoke --project smoke_s
訓練完成后可以看到如下輸出：
準召還湊合。
訓練完成后，可以找到best.pt位置，后面用它來做香煙檢測。
model = torch.hub.load('../28_people_counting/yolov5', 'custom', './weights/ciga.pt', source='local')
results = self.model(img[:, :, ::-1])
pd = results.pandas().xyxy[0]
ciga_pd = pd[pd['class'] == 0]
能識別到煙后，我們還需要判斷，當前是否正在吸煙。
可以用香煙檢測框與嘴部檢測框計算IOU來判斷，說白了，就是判斷這兩框是否有交集，若有，則認為當前正在吸煙。
嘴部檢測框，使用人臉關鍵點來識別。
2. 人臉識別
人臉識別算法有很多成熟的模型，我們不需要自己訓練，直接調庫即可。
我這里用的是dlib庫，它可以識別人臉 68 個關鍵點，并根據這 68 個關鍵點，提取人臉特征。
face_detector = dlib.get_frontal_face_detector()
face_sp = dlib.shape_predictor('./weights/shape_predictor_68_face_landmarks.dat')
dets = face_detector(img, 1)
face_list = []
for face in dets:
l, t, r, b = face.left(), face.top(), face.right(), face.bottom()
face_shape = face_sp(img, face)
face_detector?可以檢測人臉，返回人臉檢測框，face_sp基于人臉檢測框，識別人臉 68 個關鍵點。
從這 68 個關鍵點中，我們便可以獲取到嘴部檢測框，用于判斷是否正在吸煙。
最后，我們還是希望利用人臉識別算法，識別到誰在吸煙。
第一步，提取人臉特征
face_feature_model = dlib.face_recognition_model_v1('./weights/dlib_face_recognition_resnet_model_v1.dat')
face_descriptor = face_feature_model.compute_face_descriptor(img, face_shape)face_descriptor?根據人臉 68 個關鍵點之間的位置、距離，維每張臉計算出一個特征向量。這個原理類似于我們之前分享的word2vec?或者將視頻映射到N維向量。
第二步，將現有人臉錄入人臉庫。我準備了 3 個影視劇中的吸煙行為
從視頻中裁剪出人臉，向量化后，寫入人臉數據庫（用文件代替）
第三步，發(fā)生吸煙行為后，我們可以裁剪出吸煙者的人臉，并計算人臉向量，與人臉數據庫的特征進行比對，找到最相似的人臉，返回對應的名字
def find_face_name(self, face_feat):
"""
人臉識別，計算吸煙者名稱
:param face_feat:
:return:
"""
cur_face_feature = np.asarray(face_feat, dtype=np.float64).reshape((1, -1))
# 計算兩個向量（兩張臉）余弦相似度
distances = np.linalg.norm((cur_face_feature - self.face_feats), axis=1)
min_dist_index = np.argmin(distances)
min_dist = distances[min_dist_index]
if min_dist < 0.3:
return self.face_name_list[min_dist_index]
else:
return '未知'
這個項目還有很多可以擴展的地方，比如：我提供的視頻只有單張臉，實際監(jiān)控中肯定是多張臉。這時候可以用MOT算法進行行人跟蹤，然后再對每個人單獨做吸煙識別
還有，可以單獨做一個統(tǒng)計區(qū)，把識別到的吸煙行為保存，用作警告、處罰的證據。
