題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于駕駛員表情識(shí)別的車載伴侶
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡(jiǎn)介：
- 本設(shè)計(jì)利用英特爾雙核處理器，以行車安全為背景，應(yīng)用表情識(shí)別技術(shù)，開(kāi)發(fā)了駕駛員表情響應(yīng)系統(tǒng)。本文詳細(xì)給出了人臉表情識(shí)別算法，并且在統(tǒng)計(jì)與分析駕駛員表情識(shí)別結(jié)果的基礎(chǔ)上，開(kāi)發(fā)了駕駛員心理狀態(tài)安全提示，以及有助于駕駛員心理調(diào)節(jié)的背景音樂(lè)自動(dòng)切換功能；此外，當(dāng)駕駛員安全受到威脅且無(wú)法用語(yǔ)音和肢體語(yǔ)言向他人求救時(shí)，還可利用自定義的特殊表情識(shí)別，以飛信方式發(fā)送自定義短信進(jìn)行求救，從多方面保障駕駛員的行車安全。
- 詳細(xì)介紹：
- 1系統(tǒng)方案設(shè)計(jì)本系統(tǒng)主要由人臉表情識(shí)別、車載伴侶功能實(shí)現(xiàn)兩部分組成。 其中，音樂(lè)播放采用MFC中的Windows Media Player控件，將Windows Media Player插入到程序中。用戶可將各種不同風(fēng)格的曲目加入到其播放庫(kù)中，則Windows Media Player 可根據(jù)表情識(shí)別的結(jié)果自動(dòng)為用戶選擇相應(yīng)風(fēng)格的歌曲來(lái)調(diào)節(jié)用戶當(dāng)時(shí)的情緒。駕駛狀態(tài)提示采用語(yǔ)音和字幕、圖片相結(jié)合的方式，在屏幕上顯示對(duì)應(yīng)用戶心的圖片及文字，但因司機(jī)駕駛時(shí)眼睛需目視前方，不能過(guò)多注意屏幕，則對(duì)司機(jī)進(jìn)行駕駛狀態(tài)的語(yǔ)音提示，提醒司機(jī)要保持輕松愉悅的心情，注意交通安全。事故處理短信平臺(tái)采用移動(dòng)飛信方式，利用無(wú)線上網(wǎng)進(jìn)行短信的發(fā)送。用戶可以預(yù)先設(shè)定好當(dāng)事故發(fā)生時(shí)能夠第一時(shí)間通知到的人，在事故發(fā)生時(shí)，通過(guò)表情識(shí)別系統(tǒng)的作用發(fā)出求救信號(hào)，從而獲救。 2 系統(tǒng)原理與算法實(shí)現(xiàn) 2.1 系統(tǒng)軟件架構(gòu)整個(gè)軟件系統(tǒng)由用戶登陸、人臉表情識(shí)別、后臺(tái)數(shù)據(jù)庫(kù)、音樂(lè)播放器、飛信語(yǔ)音提示幾部分組成。。 1. 用戶登錄由于駕駛車輛的人員變動(dòng)，所以必須對(duì)于不同用戶進(jìn)行切換。首先可以對(duì)多個(gè)人進(jìn)行訓(xùn)練，存入多個(gè)人臉的人臉表情庫(kù)。當(dāng)用戶駕駛時(shí)，可以點(diǎn)擊本人的人臉表情庫(kù)使用。當(dāng)有未訓(xùn)練過(guò)的人使用該車時(shí)，可以新建用戶，進(jìn)行訓(xùn)練，即可應(yīng)用該系統(tǒng)。 2. 人臉表情識(shí)別算法人臉表情識(shí)別算法主要包括訓(xùn)練樣本采集、圖像預(yù)處理（圖像增強(qiáng)與平滑處理、二值去噪、人臉區(qū)域提取、瞳孔定位、姿勢(shì)矯正與歸一化）、特征提取、人臉表情判別等。 3. 數(shù)據(jù)庫(kù)中間件當(dāng)每個(gè)用戶進(jìn)行訓(xùn)練得到人臉表情庫(kù)后，系統(tǒng)立即對(duì)人臉表情庫(kù)進(jìn)行處理得到表情特征維數(shù)、特征子空間、人臉表情庫(kù)特征信息等，將這些信息存入到數(shù)據(jù)庫(kù)中。當(dāng)用戶再次啟用系統(tǒng)時(shí)，可直接利用數(shù)據(jù)庫(kù)中的這些信息進(jìn)行表情測(cè)試。若用戶想更換數(shù)據(jù)庫(kù)信息，則啟用系統(tǒng)時(shí)可點(diǎn)擊訓(xùn)練按鈕更新人臉表情庫(kù)，得到新的個(gè)人信息。用戶的用戶名及密碼信息也是通過(guò)數(shù)據(jù)庫(kù)來(lái)進(jìn)行管理，以及歌曲和各種功能信息等都是通過(guò)數(shù)據(jù)庫(kù)管理的。 2.2 系統(tǒng)整體工作流程系統(tǒng)首先對(duì)新建用戶進(jìn)行一次表情訓(xùn)練（中性，高興，沮喪，生氣，悲傷五種），然后對(duì)樣本進(jìn)行PCA特征提取，存儲(chǔ)表情?，F(xiàn)場(chǎng)抓取用戶表情并送入車載系統(tǒng)中處理，最后根據(jù)不同的情況系統(tǒng)做出不同的響應(yīng)，比如播放不同的音樂(lè)或通過(guò)飛信發(fā)出求救短信。系統(tǒng)整體工作流程分為訓(xùn)練、測(cè)試和功能實(shí)現(xiàn)三個(gè)部分。 2.3 表情識(shí)別算法 2.3.1 表情識(shí)別基本流程在進(jìn)行人臉表情識(shí)別的圖像中，含有人臉的有用信息，也含有大量的背景無(wú)用信息，而且圖像質(zhì)量不同，所以首先要對(duì)含有人臉的圖像進(jìn)行預(yù)處理，從圖片中檢測(cè)出人臉有用信息以及進(jìn)行必要的圖像質(zhì)量改善，為后續(xù)工作做好必要的準(zhǔn)備。然后通過(guò)PCA主元分析法對(duì)人臉特征進(jìn)行降維，提取特征臉，最后應(yīng)用最近鄰判別法對(duì)表情進(jìn)行分類，實(shí)現(xiàn)表情判別功能。 2.3.2 圖像預(yù)處理本文選取了以下算法對(duì)人臉表情圖片進(jìn)行處理。首先要對(duì)圖片通過(guò)光線歸一化進(jìn)行圖像增強(qiáng)，改善光線對(duì)圖片質(zhì)量的影響，使過(guò)暗或過(guò)亮的圖片能夠在灰度范圍內(nèi)均勻分布，增強(qiáng)圖像的對(duì)比度，然后對(duì)圖像進(jìn)行去噪處理以使圖像平滑，進(jìn)一步改善圖片質(zhì)量。再利用基于膚色的人臉識(shí)別算法分割人臉區(qū)域，通過(guò)對(duì)圖像進(jìn)行旋轉(zhuǎn)將人臉?lè)稣?，再?duì)圖像進(jìn)行去噪及灰度歸一化處理，使圖像的質(zhì)量的得到進(jìn)一步加強(qiáng)。1.圖像質(zhì)量改善圖像質(zhì)量改善分為以下兩步：（1）中值濾波經(jīng)過(guò)觀察，圖像在成像過(guò)程中因成像設(shè)備的問(wèn)題會(huì)出現(xiàn)噪音，使圖像變得模糊不清，所以需要對(duì)圖像進(jìn)行平滑濾波處理，本文采用非線性中值濾波的方法。平滑濾波[3]是一種對(duì)干擾脈沖和點(diǎn)狀噪聲有良好抑制作用，且對(duì)圖像邊緣能較好保護(hù)的低通濾波算法。采用中值濾波不能消除大噪聲的影響，但它能很好地保持原灰度圖像的分布特性。中值濾波的算法原理是，首先確定一個(gè)奇數(shù)像素的窗口W，窗口內(nèi)各像素按灰度大小排隊(duì)后，用其中間位置的灰度值代替原 灰度值成為窗口中心的灰度值 。（2）灰度線性變換本文采用灰度線性歸一化的方法對(duì)圖像進(jìn)行光線歸一化。 2.膚色區(qū)域提取本研究中采用的是彩色圖片的人臉檢測(cè)。膚色是人臉的重要信息，不依賴于面部的細(xì)節(jié)特征，對(duì)于旋轉(zhuǎn)、表情等變化情況都能適用，具有相對(duì)的穩(wěn)定性并且和大多數(shù)背景物體的顏色相區(qū)別。因此膚色特征在人臉檢測(cè)中是最常用的一種特征。首先介紹一下YCbCr色彩系統(tǒng)。YCbCr色彩系統(tǒng)的特征是將亮度信號(hào)與色度信號(hào)分開(kāi)表示，其中Y代表亮度，Cb、Cr是兩個(gè)彩色分量，表示色差，一般是藍(lán)色和紅色的相對(duì)值。 (1) YCbCr色彩空間的膚色模型由于統(tǒng)計(jì)表明不同人種的膚色區(qū)別主要受亮度信息影響，而受色度信息的影響較小，所以直接考慮YCbCr空間的CbCr分量，映射為CbCr空間，在CbCr空間下，受亮度變化的影響少，且是兩維獨(dú)立分布。通過(guò)實(shí)踐，選取大量膚色樣本進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)膚色在CbCr空間的分布呈現(xiàn)良好的聚類特性，由此可建立在CbCr空間下的膚色模型。在該空間下，膚色區(qū)間滿足77≤Cb≤127并且133≤Cr≤173。（2）YCbCr色彩空間的膚色分割根據(jù)CbCr空間的膚色模型，將人臉區(qū)域識(shí)別出來(lái)，并將識(shí)別出的人臉區(qū)域與背景分離，將原始圖像轉(zhuǎn)化為二值圖像，其中膚色區(qū)域灰度賦值255，為白色區(qū)域；非膚色區(qū)域灰度賦值0，為黑色區(qū)域。 3.閉運(yùn)算處理閉運(yùn)算是先對(duì)圖像進(jìn)行膨脹然后腐蝕其結(jié)果（這里使用同一個(gè)結(jié)構(gòu)元素），其最大的特點(diǎn)是能填充物體內(nèi)的細(xì)小空洞、連接鄰近物體、平滑邊界，同時(shí)不明顯改變其面積。由于膚色分割后所得二值圖像的目標(biāo)區(qū)域?yàn)榘咨?，使用閉運(yùn)算可以填平小孔，彌合小縫隙，而總的形狀位置不變。 2.確定人臉區(qū)域在具有復(fù)雜背景的人臉圖像中，背景中會(huì)有較多接近膚色的區(qū)域，在進(jìn)行[4]膚色分割時(shí)不僅將人臉區(qū)域提取出來(lái)，同時(shí)將接近膚色的區(qū)域也提取出來(lái)。則在經(jīng)過(guò)去噪的二值圖像中，會(huì)有幾塊不連通的白色區(qū)域，若不進(jìn)行處理，這些區(qū)域都會(huì)被認(rèn)定為膚色區(qū)域。所以需要將這些白色區(qū)域識(shí)別出來(lái)，從中識(shí)別出人臉區(qū)域。本文選用區(qū)域生長(zhǎng)發(fā)對(duì)白色區(qū)域進(jìn)行識(shí)別。（1）區(qū)域生長(zhǎng)法為了區(qū)分這些白色區(qū)域，本研究采用區(qū)域生長(zhǎng)法進(jìn)行圖像分割，識(shí)別并標(biāo)記各個(gè)白色區(qū)域。區(qū)域生長(zhǎng)的基本思想是將具有相似性質(zhì)的像素集合起來(lái)構(gòu)成一個(gè)區(qū)域。在實(shí)際應(yīng)用區(qū)域生長(zhǎng)發(fā)時(shí)需要由以下步驟來(lái)實(shí)現(xiàn)： 1）先將二值圖像的白像素點(diǎn)賦值為-1，黑像素點(diǎn)賦值為-2；逐行掃描圖像，將遇到的第一個(gè)白像素點(diǎn)作為第一個(gè)區(qū)域的初始種子點(diǎn)，將其賦值為區(qū)域的標(biāo)記號(hào)； 2）以種子點(diǎn)為中心，檢測(cè)它的8鄰域內(nèi)的白像素點(diǎn)，若是，則將其與種子點(diǎn)合并，賦值為該區(qū)域的標(biāo)記號(hào)，同時(shí)將這些點(diǎn)壓入堆棧； 3）從堆棧中取出一個(gè)像素，將它作為種子點(diǎn)，回到步驟3)； 4）當(dāng)堆棧為空時(shí)，回到步驟2)； 5）重復(fù)步驟2)-5)，直到圖像中每個(gè)白像素點(diǎn)都有歸屬時(shí)，生長(zhǎng)結(jié)束。（2）人臉區(qū)域判別通過(guò)區(qū)域生長(zhǎng)法，可識(shí)別出二值圖像中的所有白色區(qū)域，并將每個(gè)區(qū)域進(jìn)行標(biāo)號(hào)?？筛鶕?jù)這些標(biāo)號(hào)對(duì)每個(gè)區(qū)域的特征進(jìn)行檢測(cè)，判別此區(qū)域是否符合人臉特征。 1) 通過(guò)二值圖像的水平及垂直方向積分投影，可確定每個(gè)區(qū)域的上下及左右邊界，并且記錄每個(gè)區(qū)域的像素?cái)?shù)目。 2)判斷每個(gè)區(qū)域的特征是否符合人臉特征，具體有：區(qū)域面積大于圖像面積的1%；高寬比介于0.8到2.5之間；膚色像素?cái)?shù)目大于區(qū)域面積的55%；區(qū)域上部20%高度區(qū)域的灰度平均值與區(qū)域整體的平均灰度值的比值在0.1到0.85之間。如區(qū)域符合上述要求，則判定此區(qū)域?yàn)槿四槄^(qū)域。（3）利用投影分析定位人臉對(duì)判定為人臉的區(qū)域進(jìn)行水平方向積分投影，記錄每行的白像素個(gè)數(shù)[5]，標(biāo)記白像素個(gè)數(shù)最多的行，從此行開(kāi)始向上遍歷每行，若某行的白像素個(gè)數(shù)小于最大行的0.1倍，則停止遍歷，把此行作為人臉區(qū)域的上邊界。從最大行向下遍歷每行，若某行的白像素個(gè)數(shù)小于每行的0.1倍，則停止遍歷，把此行作為人臉區(qū)域的下邊界。對(duì)判定為人臉的區(qū)域進(jìn)行垂直方向積分投影，記錄每列的白像素個(gè)數(shù)， 白像素個(gè)數(shù)最多的列，從此列開(kāi)始向左遍歷每列，若某列的白像素個(gè)數(shù)小于最大列的0.1倍，則停止遍歷，把此列作為人臉區(qū)域的左邊界。從最大列向右遍歷每列，若某列的白像素個(gè)數(shù)小于最大列的0.1倍，則停止遍歷，把此列作為人臉區(qū)域的右邊界。 2.基于眼睛的人臉?lè)指钤诒疚牡墓ぷ髦校葘⒉噬珗D像轉(zhuǎn)化為灰度圖像，對(duì)灰度圖中的人臉確定兩眼瞳孔的位置。在此基礎(chǔ)上利用兩眼瞳孔作為基準(zhǔn)，進(jìn)行圖像水平角度旋轉(zhuǎn)和尺度縮放的歸一化，將圖像調(diào)整到標(biāo)準(zhǔn)的狀態(tài)，為進(jìn)一步的識(shí)別工作奠定很好的基礎(chǔ)。 (1) 眼睛定位眼睛定位是基于灰度圖像實(shí)現(xiàn)的，所以先要將彩色圖像轉(zhuǎn)化為灰度圖像。通過(guò)查閱資料及試驗(yàn)，彩色圖像是由RGB三通道組成。B、G、R三通道圖像如圖2.9所示。R通道圖像直方圖的組成成分大部分集中于灰度級(jí)較高（亮）的一側(cè)，B通道圖像直方圖大部分集中于灰度級(jí)較低（暗）的一側(cè)，而G通道圖像直方圖的成分覆蓋了灰度級(jí)較寬的范圍，具有比較高的對(duì)比度，包含的信息較多。而且G通道的灰度圖像中眼睛、嘴巴與面部其他區(qū)域的灰度對(duì)比度較大，所以將彩色圖像轉(zhuǎn)換為灰度圖像時(shí)，將彩色圖像的G通道取出作為灰度圖像進(jìn)行操作。現(xiàn)在需要在人臉灰度圖像中定位兩眼瞳孔的位置，本文采用方向投影及兩眼的對(duì)稱性質(zhì)相結(jié)合的方法。對(duì)臉部區(qū)域的左上和右上部分進(jìn)行水平梯度圖積分投影，并對(duì)積分投影的直方圖進(jìn)行歸一化。 分別取出兩梯度圖積分投影最大值所在的行，將此兩行分別作為左眼和右眼的y坐標(biāo)。以y坐標(biāo)為基準(zhǔn)，取出眼睛的上下邊界，設(shè)定眼部的高度為圖像高度的0.08倍。對(duì)兩眼部區(qū)域做垂直梯度圖積分投影。因?yàn)檠鄄繀^(qū)域的左邊可能存在鬢角或少量頭發(fā)，眼部區(qū)域的右邊因光線原因會(huì)出現(xiàn)鼻梁的陰影，這會(huì)使這兩部分的梯度值較大，所以不做這兩部分的垂直梯度圖積分投影。對(duì)積分投影的直方圖進(jìn)行歸一化，分別取出兩梯度圖積分投影最大值所在的列，將此兩列分別作為左眼和右眼的x坐標(biāo)，也即左右眼的瞳孔位置。以梯度圖積分投影的方法取人眼瞳孔位置時(shí)，y坐標(biāo)取的較為準(zhǔn)確，x坐標(biāo)只能實(shí)現(xiàn)粗定位。但經(jīng)試驗(yàn)，以粗定位的兩眼為基準(zhǔn)做人臉?lè)指钜材軡M足本試驗(yàn)的要求。 2.3.3 人臉?lè)较蛐Ｕ疚牡膱D像旋轉(zhuǎn)以眼睛瞳孔為基準(zhǔn)，使兩眼瞳孔的連線通過(guò)旋轉(zhuǎn)保持水平。下面介紹一下圖像旋轉(zhuǎn)問(wèn)題。先要確定旋轉(zhuǎn)角度，圖像旋轉(zhuǎn)的目的是要使兩眼瞳孔位置保持水平。所以取兩眼瞳孔的縱坐標(biāo)之差與橫坐標(biāo)之差的比值作為旋轉(zhuǎn)角度的正切值。 但旋轉(zhuǎn)后圖像的大小一般會(huì)改變，在圖像旋轉(zhuǎn)變換中，可以把轉(zhuǎn)出顯示區(qū)域的圖像截去，旋轉(zhuǎn)后也可以擴(kuò)大圖像范圍以顯示所有的圖像。本文中采用后一種做法，因若將轉(zhuǎn)出顯示區(qū)域的圖像區(qū)域截去，則會(huì)使人臉圖像缺失。 4中值濾波后圖像 2.3.4 基于眼睛的表情區(qū)域分割根據(jù)眼睛瞳孔位置和幾何模型確定矩形特征區(qū)域[12]，裁剪該矩形區(qū)域獲得純表情區(qū)域。該矩形高2.2d，寬1.8d，在裁剪區(qū)域內(nèi)O點(diǎn)固定于(0.6d，0.9d)處，即兩眼瞳孔的中心位置，這保證了人臉位置的一致性。然后將取出的表情區(qū)域進(jìn)行灰度歸一化及尺度變換，得到統(tǒng)一大小的校準(zhǔn)[13]圖像。本文設(shè)定校準(zhǔn)圖像的大小為60*73個(gè)像素點(diǎn)，即保證了人臉大小的一致性，實(shí)現(xiàn)了幾何歸一化。2.3.5 PCA降維 PCA是一種對(duì)數(shù)據(jù)進(jìn)行分析的技術(shù)[14]，最重要的應(yīng)用是對(duì)原有數(shù)據(jù)進(jìn)行簡(jiǎn)化。正如它的名字主元分析，這種方法可以有效的找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。 1PCA的數(shù)學(xué)模型設(shè)x = ( x1，x2， …， xn) T 為n 維隨機(jī)矢量，則PCA具體計(jì)算步驟如下： (1) 將原始觀察數(shù)據(jù)組成樣本矩陣X ，每一列為一個(gè)觀察樣本x ，每一行代表一維數(shù)據(jù)。 (2) 計(jì)算樣本的協(xié)方差矩陣： (3) 計(jì)算協(xié)方差矩陣Cx的特征值λi及相應(yīng)特征向量ui，其中i= 1 ，2 ， …， n。 (4) 將特征值按由大到小順序排列，并按照下式計(jì)算前m 個(gè)主元的累積貢獻(xiàn)率： 累積貢獻(xiàn)率用于衡量新生成分量對(duì)原始數(shù)據(jù)的信息保存程度，通常要求其[16]大于85%即可。 (5) 取前m 個(gè)較大特征值對(duì)應(yīng)的特征向量構(gòu)成變換矩陣TT。（6）通過(guò)Y= TX 計(jì)算前m 個(gè)主成分，達(dá)到降低維數(shù)的目的。 2. PCA在圖像處理中的應(yīng)用設(shè)人臉圖像的訓(xùn)練樣本數(shù)為N，每張圖像的像素個(gè)數(shù)為m，則PCA主元分析法應(yīng)用于圖像降維的步驟如下： (1) 將每張圖像的所有像素作為一個(gè)列向量，則訓(xùn)練樣本構(gòu)成m*N的矩陣x； (2) 計(jì)算矩陣x的列向量的平均向量avg； (3) 將矩陣x的每一列向量與平均向量相減，得到新的樣本矩陣X； (4) 計(jì)算樣本矩陣X的協(xié)方差矩陣Cx； (5) 計(jì)算協(xié)方差矩陣Cx的特征值和特征向量； (6) 計(jì)算特征值的累積貢獻(xiàn)率，取累積貢獻(xiàn)率達(dá)到0.85的前n個(gè)特征值所對(duì)應(yīng)的特征向量。將特征向量以行的形式存放，則特征向量矩陣的大小為n*m。這n個(gè)特征向量構(gòu)成了表情圖片的特征子空間。再將每一張表情圖片向這個(gè)特征子空間上投影，則每張圖片的特征數(shù)由m降為n，使進(jìn)行表情判別時(shí)的計(jì)算量有很大的降低。PCA雖然可以大幅降低原始特征維數(shù)，其不足之處在于PCA對(duì)不同類別不加區(qū)分，丟失了一些重要的判別信息。 2.3.6 表情分類本文采用的分類方法是最近鄰法。訓(xùn)練圖片經(jīng)PCA降維后取得特征子空[17]間，將訓(xùn)練圖片在這個(gè)特征子空間上投影，得到列向量的矩陣X={x1，x2，……，xn}。再將測(cè)試圖片向特征子空間投影，為了使待識(shí)別樣本和訓(xùn)練樣本進(jìn)行相同的規(guī)范化處理，在將測(cè)試圖片向特征子空間進(jìn)行投影之前，必須采用訓(xùn)練圖片的平均值對(duì)測(cè)試圖片進(jìn)行規(guī)范化處理。然后將經(jīng)過(guò)規(guī)范化處理的測(cè)試圖片向特征子空間投影，得到列向量y，計(jì)算列向量y與矩陣x中的量xi的歐式距離。 當(dāng)計(jì)算出i屬于哪一個(gè)類別，則可判定此測(cè)試圖片屬于哪種表情。 2.4 算法程序?qū)崿F(xiàn) 1. 表情識(shí)別的程序流程下面是圖像預(yù)處理的程序流程，其中膚色區(qū)域分割是基于YCbCr色彩空間的膚色模型，表情區(qū)域分割是基于眼睛瞳孔位置，將人臉眉毛、眼睛、鼻子、嘴巴所在區(qū)域分割出來(lái)。 3 設(shè)計(jì)總結(jié)本文主要介紹了表情識(shí)別的基本流程，分別探討了人臉圖像預(yù)處理的技術(shù)，人臉特征提取的方法，以及對(duì)表情進(jìn)行分類方法的選定。本研究基本完成了表情識(shí)別的功能，運(yùn)用灰度線性變換、中值濾波等方法實(shí)現(xiàn)了人臉圖像的光線歸一化及去噪處理，使人臉圖像的質(zhì)量得到提高；使用PCA主元分析的方法提取特征臉；并在此基礎(chǔ)上進(jìn)行表情分類。經(jīng)過(guò)試驗(yàn)，表情識(shí)別的正確率較高，證明了此種表情識(shí)別算法的有效性。但這種表情識(shí)別算法具有一定的局限性，具體表現(xiàn)在以下幾個(gè)方面。 1. 本文采用基于膚色信息的人臉檢測(cè)，將RGB色彩空間的圖像轉(zhuǎn)換為YCbCr色彩空間，利用膚色在彩色分量Cb和Cr上的良好聚類特性將膚色區(qū)域檢測(cè)出來(lái)。這種方法要求有較好的光照環(huán)境，一旦人臉光線過(guò)暗，就會(huì)使Cb、Cr的值超出預(yù)定的范圍，從而出現(xiàn)人臉漏檢情況。雖然圖像經(jīng)光線歸一化后質(zhì)量有所好轉(zhuǎn)，但效果還是不太理想。 2. 眼睛瞳孔只能實(shí)現(xiàn)粗定位，所以在進(jìn)行基于眼睛瞳孔的表情區(qū)域分割時(shí)會(huì)出現(xiàn)較大誤差，是臉部區(qū)域不能實(shí)現(xiàn)完全標(biāo)準(zhǔn)化。 3. 在圖像旋轉(zhuǎn)中，圖像的小角度旋轉(zhuǎn)能使圖像的質(zhì)量令人滿意，當(dāng)圖像出現(xiàn)大角度旋轉(zhuǎn)時(shí)，會(huì)出現(xiàn)圖像失真現(xiàn)象。 4. 本文的表情識(shí)別是基于人臉的正面，若臉部出現(xiàn)側(cè)轉(zhuǎn)情況，則表情識(shí)別率會(huì)降低，并且表情識(shí)別率會(huì)隨著臉部側(cè)轉(zhuǎn)程度的加大而不斷降低。 5. 本算法只能對(duì)夸張表情即動(dòng)作幅度變化較大的表情進(jìn)行識(shí)別?；谝陨系牟蛔悖谝院蟮难芯抗ぷ髦?，我們需要進(jìn)一步研究人臉檢測(cè)的方法，降低算法對(duì)光線情況的依賴性；并繼續(xù)研究眼睛定位方法，實(shí)現(xiàn)眼睛瞳孔或眼角的精確定位。因時(shí)間有限，本研究只對(duì)表情識(shí)別在車載系統(tǒng)中的應(yīng)用做了初步探討，實(shí)現(xiàn)了駕駛狀態(tài)提示、音樂(lè)播放、事故處理短信平臺(tái)三項(xiàng)功能。但表情識(shí)別在車載電腦中可以實(shí)現(xiàn)的功能遠(yuǎn)不止這些，在以后的工作中，增加及完善基于表情識(shí)別的功能是我們研究的方向。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 設(shè)計(jì)目的：通過(guò)分析駕駛員表情，給出情緒狀態(tài)語(yǔ)音提示，并自動(dòng)切換背景音樂(lè)，調(diào)節(jié)駕駛員心理狀態(tài)，達(dá)到保障安全行車的目的。通過(guò)自定義表情識(shí)別，自動(dòng)發(fā)送求救短信，緊急求救。基本思路：通過(guò)圖像處理技術(shù)處理人臉圖像，采用PCA主元分析法提取特征臉，與用戶表情信息數(shù)據(jù)庫(kù)特征數(shù)據(jù)匹配，識(shí)別駕駛員表情，并判斷駕駛員心理狀態(tài)，給出安全語(yǔ)音提示，并切換行車音樂(lè)，調(diào)節(jié)駕駛員情緒。緊急情況下，根據(jù)自定義表情特殊識(shí)別，短信求救。創(chuàng)新點(diǎn)：駕駛員心理狀態(tài)對(duì)行車安全有較大影響。本設(shè)計(jì)首次將人臉表情識(shí)別技術(shù)應(yīng)用于車載系統(tǒng)，保障駕駛員安全駕駛。技術(shù)關(guān)鍵點(diǎn)：人臉圖像處理技術(shù)，人臉識(shí)別算法。技術(shù)指標(biāo)：1表情識(shí)別的正確率；2系統(tǒng)功能響應(yīng)時(shí)間；3人機(jī)交互的友好性；4心理狀態(tài)提示準(zhǔn)確度；5特殊表情的短信求救。
科學(xué)性、先進(jìn)性
- 先進(jìn)性：作品選用VS2010中的MFC作為表情識(shí)別及功能界面搭建的實(shí)現(xiàn)平臺(tái)，首次將機(jī)器人表情識(shí)別技術(shù)應(yīng)用于車載系統(tǒng)，開(kāi)發(fā)駕駛員表情識(shí)別功能，保障駕駛員行車安全，拓展了表情識(shí)別的應(yīng)用領(lǐng)域，并提出車載系統(tǒng)輔助行車安全新功能。在現(xiàn)有圖像處理技術(shù)和OpenCV(計(jì)算機(jī)視覺(jué)開(kāi)源代碼庫(kù))工具支持下，作品根據(jù)車載系統(tǒng)應(yīng)用背景和特點(diǎn)，運(yùn)用灰度線性變換、中值濾波等方法，實(shí)現(xiàn)了人臉圖像的光線歸一化及去噪處理，提高人臉圖像的質(zhì)量，并且采用PCA主元分析法提取特征臉，并在此基礎(chǔ)上進(jìn)行表情分類與統(tǒng)計(jì)。 ↑ 復(fù)制至表單
獲獎(jiǎng)情況及鑒定結(jié)果
- 無(wú)
作品所處階段
- 實(shí)驗(yàn)室階段
技術(shù)轉(zhuǎn)讓方式
- 無(wú)
作品可展示的形式
- 模型、現(xiàn)場(chǎng)演示、錄像
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 使用說(shuō)明：1、創(chuàng)建/選擇用戶；2、新用戶表情訓(xùn)練(中性，高興，沮喪，生氣，悲傷，自定義六種表情訓(xùn)練)；3、開(kāi)始識(shí)別。使用操作方便，并且在行車中沒(méi)有額外操作，方便駕駛員專心駕車。適用范圍和推廣前景：隨著我國(guó)居民汽車保有量的激增，駕駛安全日益重要。電子行業(yè)的發(fā)展，行車電腦逐漸普及。該作品從駕駛員安全角度出發(fā)，融合認(rèn)知科學(xué)、計(jì)算機(jī)視覺(jué)、模式識(shí)別技術(shù)，調(diào)節(jié)駕駛員心情，適用于當(dāng)前各種車載設(shè)備，既可以單獨(dú)使用，也可以移植嵌入到其他車載導(dǎo)航設(shè)備中，具有廣闊的市場(chǎng)前景。 ↑ 復(fù)制至表單
同類課題研究水平概述
- 隨著汽車行業(yè)和電子技術(shù)的發(fā)展，汽車電子裝置成本在汽車整體成本中所占的比重越來(lái)越大。目前，汽車電子主要集中于動(dòng)力（ECU——發(fā)動(dòng)機(jī)電控單元）、底盤(剎車、助理轉(zhuǎn)向、安全氣囊等)、車身（后視鏡、空調(diào)、雨刮等）以及車載導(dǎo)航娛樂(lè)四大部分。隨著對(duì)交通事故成因的分析，駕駛員駕駛狀態(tài)判別也正漸漸成為研究熱點(diǎn)，出現(xiàn)了駕駛員疲勞監(jiān)控等相關(guān)電子設(shè)備。心理專家認(rèn)為，人的心理因素對(duì)交通事故的影響，主要表現(xiàn)在情緒上。心理學(xué)家Mehrabian指出，感情表露=7%語(yǔ)言+38%聲音+55%表情，因此表情識(shí)別，能很好地分析駕駛員情緒，以便及時(shí)調(diào)節(jié)，保障安全行車。但目前，在車載系統(tǒng)當(dāng)中，未出現(xiàn)相關(guān)研究文獻(xiàn)。面部表情識(shí)別一直以來(lái)是認(rèn)知科學(xué)、計(jì)算機(jī)視覺(jué)、模式識(shí)別等學(xué)科研究的熱點(diǎn)，國(guó)際上對(duì)于這方面的研究目前也僅僅是處于起步階段。美國(guó)耶魯大學(xué)關(guān)于yeleface的數(shù)據(jù)庫(kù)和日本ARF建立的日本女性表情數(shù)據(jù)庫(kù)：提出融合局部特征和整體特片的方法實(shí)現(xiàn)人臉面部表現(xiàn)特征的提取。在每一個(gè)人臉圖像上測(cè)量10個(gè)距離，把這些距離標(biāo)準(zhǔn)化后局部表情特征，用Fisher線性判別提取面部表情的整體特征；為了解決小樣本問(wèn)題，采取“PCA+FLD”的策略，先通過(guò)PCA把人臉圖像向量投影到一個(gè)較低維的空間，再通過(guò)標(biāo)準(zhǔn)的FLD提取表情特征。融合后的特征輸入到基于反向傳播的前向型神經(jīng)網(wǎng)絡(luò)進(jìn)行分析。表情識(shí)別是基于視覺(jué)信息對(duì)臉部的運(yùn)動(dòng)和臉部特征的形變進(jìn)行分類的。因此表情識(shí)別主要包括臉部的獲取、臉部特征提取和特征的分類。通常說(shuō)來(lái)，表情識(shí)別是很困難的，因?yàn)樗€依賴許多其它方面的因素，如：對(duì)人臉的熟悉程度；數(shù)據(jù)來(lái)源(在實(shí)驗(yàn)中所引起的情緒表情帶有很明顯的人為性質(zhì)，這難以作為精確的科學(xué)研究依據(jù))；計(jì)算機(jī)不像人一樣具有知識(shí)和經(jīng)驗(yàn)，不能舉一反三－如光照變化對(duì)圖象的影響很大等，而現(xiàn)有的圖象處理技術(shù)的局限性給特征提取造成了一定的困難，這些都是需要解決的問(wèn)題。情感的表現(xiàn)方式有面部表情、語(yǔ)音和身體姿態(tài)三個(gè)方面，因此情感識(shí)別是一種多模式信息組合的識(shí)別。對(duì)其的深入研究必將沿著這個(gè)方向進(jìn)行，即在以往的單模式研究的基礎(chǔ)上，發(fā)掘各模式之間的相互關(guān)系，利用信息之間的相互關(guān)聯(lián)來(lái)識(shí)別情感。已有的一些研究表明，組合多模式進(jìn)行情感識(shí)別能大大提高識(shí)別率。但如何進(jìn)行模式的組合，如何確定面部表情模式和其他模式之間的相互關(guān)系，也都是面部表情識(shí)別中需要繼續(xù)進(jìn)行研究的課題。
