【51CTO.com原創(chuàng)稿件】我們臉上每天會(huì)浮現(xiàn)出各種表情，快樂(lè)、悲傷、恐懼、平靜、憤怒、驚訝、蔑視、厭惡等等，這些表情充斥在我們的日常生活之中。可曾想過(guò)，這些表情可以通過(guò)情緒識(shí)別技術(shù)被提取出來(lái)，再應(yīng)用到我們的日常生活當(dāng)中，服務(wù)于我們的生活：當(dāng)你在商場(chǎng)里進(jìn)出不同的店面，看到滿意的商品時(shí)快樂(lè)、遇到態(tài)度不好的服務(wù)員時(shí)厭惡;亦或者，孩子在幼兒園時(shí)，遇到喜歡的老師時(shí)高興、遇到新奇的事物時(shí)驚訝等等，這些面部表情都會(huì)被攝像頭記錄下來(lái)，然后經(jīng)過(guò)情緒識(shí)別記錄下來(lái)，再應(yīng)用到商場(chǎng)和教學(xué)管理當(dāng)中。

基于情緒識(shí)別技術(shù)場(chǎng)景構(gòu)建應(yīng)用框架

蜜棗網(wǎng)與微軟亞研院合作，將情緒識(shí)別應(yīng)用到了上述的商場(chǎng)及教育教學(xué)場(chǎng)景中，蜜棗網(wǎng)自身聚焦于應(yīng)用研究，即如何把基礎(chǔ)研究投入實(shí)際應(yīng)用中，解決實(shí)際的問(wèn)題。蜜棗網(wǎng)著重于視頻數(shù)據(jù)處理、場(chǎng)景分析算法和行業(yè)深度應(yīng)用方面，也取得了相應(yīng)的研發(fā)專利，而情緒智能則由微軟亞研院提供技術(shù)支持。

情緒識(shí)別的理論算法分析

對(duì)于情緒識(shí)別技術(shù)主要有三個(gè)核心環(huán)節(jié):人臉檢測(cè)、人臉表情特征提取、人臉表情的情感分類。其中最主要的是人臉表情特征提取。

根據(jù)表情發(fā)生時(shí)的狀態(tài)和處理對(duì)象來(lái)區(qū)分，人臉表情特征提取算法大體分為基于靜態(tài)圖像的特征提取方法和基于動(dòng)態(tài)圖像的特征提取方法。其中基于靜態(tài)圖像的特征提取算法可分為整體法和局部法，基于動(dòng)態(tài)圖像的特征提取算法又分為光流法、模型法和幾何法。光照、年齡、圖像分辨率等因素都會(huì)影響人臉表情識(shí)別的性能，有效提取特征是核心問(wèn)題。

基于靜態(tài)圖像的特征提取方法

1、整體法

從整體上看，人臉肌肉的變化造成了面部器官的明顯形變，因此出現(xiàn)了從整體角度考慮表情特征的人臉表情識(shí)別算法。所運(yùn)用的算法主要包括主成分分析法(Principal Component Analysis,PCA)、獨(dú)立成分分析法(Indenpent Component Analysis，ICA)和線性判別分析法(Linear Discriminant Analysis，LDA)。

·主成分分析法是一種無(wú)監(jiān)督方法，其優(yōu)點(diǎn)是不需要待處理樣本的類別信息，同時(shí)可以有效地處理高維數(shù)據(jù)。缺點(diǎn)是該方法處理數(shù)據(jù)時(shí)產(chǎn)生的協(xié)方差矩陣維數(shù)過(guò)高，影響了算法的運(yùn)行。

·獨(dú)立成分分析法屬于無(wú)監(jiān)督方法，可以提取像素間隱藏的信息，并且適合非高斯分布的數(shù)據(jù)處理，但是算法的實(shí)時(shí)性有待提高。

·線性判別分析法屬于有監(jiān)督方法，其特點(diǎn)是充分地保留了樣本的類別結(jié)構(gòu)。

2、局部法

面部肌肉的紋理、皺褶等局部形變所蘊(yùn)含的信息，有助于精確地判斷表情的屬性。局部法的經(jīng)典方法是Gabor小波法和局部二值模式(Local Binary Pattern,LBP)。

·Gabor小波法在特征提取方面具有良好的視覺(jué)特性和生物學(xué)背景。但是該算法需要計(jì)算不同尺度和方向的小波核函數(shù)，由此產(chǎn)生的高維特征向量既不利于算法的實(shí)時(shí)處理，又在一定程度上造成了信息冗余。

·局部二值模式可以更有效地提取人臉表情特征,具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)，但高維直方圖影響了算法的實(shí)時(shí)性，而且該算法產(chǎn)生的二值數(shù)據(jù)容易受到噪聲的干擾。

基于動(dòng)態(tài)圖像的特征提取方法

動(dòng)態(tài)圖像的表情特征主要表現(xiàn)在人臉的持續(xù)形變和面部不同區(qū)域的肌肉運(yùn)動(dòng)上。目前基于動(dòng)態(tài)圖像的特征提取方法主要分為光流法、模型法和幾何法。

1、光流法

早期的人臉表情識(shí)別算法多采用光流法提取動(dòng)態(tài)圖像的表情特征，這主要在于光流法具有突出人臉形變、反映人臉運(yùn)動(dòng)趨勢(shì)的優(yōu)點(diǎn)。連續(xù)幀之間的光流場(chǎng)和梯度場(chǎng)，分別表示圖像的時(shí)空變化，實(shí)現(xiàn)每幀人臉圖像的表情區(qū)域跟蹤;然后通過(guò)特征區(qū)域運(yùn)動(dòng)方向的變化，表示人臉肌肉的運(yùn)動(dòng)，進(jìn)而對(duì)應(yīng)不同的表情。

2、模型法

人臉表情識(shí)別中的模型法是指對(duì)動(dòng)態(tài)圖像的表情信息進(jìn)行參數(shù)化描述的統(tǒng)計(jì)方法。常用算法主要包括主動(dòng)形狀模型法(ASM)和主動(dòng)外觀模型法(AAM)，ASM反映的是圖像的局部紋理信息，而AAM反映的是圖像的全局紋理信息。

3、幾何法

幾何法是在動(dòng)態(tài)圖像的特征提取中應(yīng)用最廣泛的方法。動(dòng)態(tài)圖像通過(guò)人臉特征點(diǎn)在每幀中的變化反映了表情的完整過(guò)程，為幾何計(jì)算提供了豐富的信息;而且從動(dòng)態(tài)圖像中提取的幾何特征對(duì)應(yīng)著人臉的不同表情區(qū)域，這些特征適合用于動(dòng)作單元的識(shí)別。

情緒識(shí)別的實(shí)際應(yīng)用場(chǎng)景

零售業(yè)中情緒識(shí)別

蜜棗網(wǎng)的情緒識(shí)別系統(tǒng)通過(guò)在商場(chǎng)的出入口、客流熱區(qū)等地安裝攝像頭，利用人臉識(shí)別技術(shù)進(jìn)行客流去重得到真實(shí)的客流量，從而分析男女比例和年齡比例，捕捉冷熱區(qū)和客流動(dòng)線。利用情緒識(shí)別技術(shù)捕捉消費(fèi)者的滿意度、興趣偏好和體驗(yàn)變化等個(gè)性化的數(shù)據(jù)，從而進(jìn)行消費(fèi)分層管理和精準(zhǔn)營(yíng)銷。

幼教中的情緒識(shí)別

蜜棗網(wǎng)研制的銳智眼幼兒安全成長(zhǎng)智慧分析系統(tǒng)，專注于解決幼教中的教學(xué)效果評(píng)估和幼兒成長(zhǎng)與安全分析。通過(guò)分析兒童的情緒反饋，對(duì)教學(xué)效果進(jìn)行全面、長(zhǎng)時(shí)間的分析，為課程和教師評(píng)估提供了客觀指標(biāo)，輔助幼兒園管理者更好地了解園內(nèi)情況，進(jìn)行更有效的管理。同時(shí)，為每個(gè)兒童記錄個(gè)性化檔案，陪伴幼兒安全健康地成長(zhǎng)。

采訪的***，蜜棗網(wǎng)技術(shù)團(tuán)隊(duì)負(fù)責(zé)人田楚杰表示，微軟加速器·北京第11期不僅為蜜棗網(wǎng)提供了技術(shù)上的支持，也在渠道拓展方面提供了幫助，并且通過(guò)微軟加速器認(rèn)識(shí)了很多致力于創(chuàng)新的校友企業(yè)。在品牌宣傳和市場(chǎng)活動(dòng)推廣方面，微軟加速器·北京第11期也提供了展臺(tái)對(duì)蜜棗網(wǎng)進(jìn)行了全方位的展示，并且在融資渠道的對(duì)接、優(yōu)質(zhì)客戶推薦方面也提供了幫助，使蜜棗網(wǎng)可以獲得這次難得的打磨自己的機(jī)會(huì)。