題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于單攝像機(jī)視線跟蹤技術(shù)的眼控人機(jī)交互系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 視線跟蹤技術(shù)是未來智能人機(jī)接口的關(guān)鍵技術(shù)之一，在工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的應(yīng)用前景。本項(xiàng)目基于角膜反射原理，提出了一種單攝像機(jī)視線跟蹤方法，實(shí)現(xiàn)了對人眼視線方向的識別與跟蹤；提出了一種眨眼檢測算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)；搭建了基于單攝像機(jī)視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)，開發(fā)了幾款人機(jī)交互眼控游戲。
- 詳細(xì)介紹：
- 人機(jī)交互技術(shù)已成為計(jì)算機(jī)科學(xué)研究的一個越來越重要的領(lǐng)域，與之相關(guān)的技術(shù)中視線跟蹤技術(shù)倍受該研究領(lǐng)域的重視，是未來智能人機(jī)接口的關(guān)鍵技術(shù)之一。 本項(xiàng)目采用的是角膜反射原理：近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點(diǎn)（普爾欽斑點(diǎn)）作為參考點(diǎn)；當(dāng)眼球轉(zhuǎn)動注視屏幕上不同位置時，由于眼球近似為球體，光斑不動，瞳孔相對光斑發(fā)生偏移；利用瞳孔中心和光斑的位置關(guān)系確定視線方向。對視線跟蹤技術(shù)的光學(xué)采集系統(tǒng)進(jìn)行了研究，設(shè)計(jì)了一種實(shí)時跟蹤眼睛與調(diào)光、變焦、聚焦相結(jié)合的 CCD 攝像機(jī)自動調(diào)節(jié)系統(tǒng)。在不同外部環(huán)境光強(qiáng)及用戶不同使用位置情況下，攝像機(jī)可由大視場下的頭肩圖像通過自動調(diào)節(jié)，實(shí)時跟蹤眼睛并捕獲到小視場下的眼睛清晰圖像，避免了人工調(diào)節(jié)的繁瑣并提高了調(diào)節(jié)的準(zhǔn)確性。提出了一種單攝像機(jī)視線跟蹤方法，利用三個光斑和瞳孔中心的位置關(guān)系計(jì)算視線方向，校準(zhǔn)參數(shù)隨用戶頭部位置不同而自動選擇；對眼睛圖像中瞳孔定位算法進(jìn)行了研究，提出了一種眼睛紅外圖像中瞳孔橢圓邊緣及中心的亞像素定位算法，能夠精確地確定瞳孔中心位置，提出的方法減少了系統(tǒng)在使用過程中對用戶頭部的限制，提高了系統(tǒng)的精確度、可靠性及便利性。提出了一種眨眼檢測算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，提出的算法檢測正確率高，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)。 在上述技術(shù)的基礎(chǔ)上，搭建了基于單攝像機(jī)視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)，開發(fā)了幾款人機(jī)交互眼控游戲。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 眼睛是人類從周圍世界中獲取信息的重要器官，也是反映人的心理活動的窗口。將視線應(yīng)用于人機(jī)交互可帶來直接性、自然性和雙向性等優(yōu)點(diǎn)。眼注視是一種非常好的能使人機(jī)對話變得簡便、自然的候選輸入通道，將人的眼睛作為輸入媒介，通過眼睛盯視對外部設(shè)備進(jìn)行控制可以實(shí)現(xiàn)多任務(wù)操作，在一些工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的發(fā)展前景。 系統(tǒng)采用角膜反射原理。近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點(diǎn)（普爾欽斑點(diǎn)），作為參考點(diǎn)；當(dāng)眼球轉(zhuǎn)動注視屏幕上不同位置時，由于眼球近似為球體，光斑不動，瞳孔相對光斑發(fā)生偏移；利用瞳孔中心和光斑的位置關(guān)系確定視線方向。 創(chuàng)新點(diǎn)： 1.提出了一種單攝像機(jī)視線跟蹤方法，利用三個光斑和瞳孔中心的位置關(guān)系計(jì)算視線方向，校準(zhǔn)參數(shù)隨用戶頭部位置不同而自動選擇，減少了對用戶頭部的限制。 2.設(shè)計(jì)了一種實(shí)時跟蹤眼睛的CCD攝像機(jī)自動調(diào)節(jié)系統(tǒng)，可實(shí)時跟蹤眼睛并捕獲到清晰圖像，避免了人工調(diào)節(jié)的繁瑣，提高了調(diào)節(jié)的準(zhǔn)確性。 3.設(shè)計(jì)了視線跟蹤及眼睛狀態(tài)檢測的相關(guān)算法，提高了系統(tǒng)的精確度及可靠性。 4.開發(fā)了適于視線跟蹤技術(shù)的眼控人機(jī)交互平臺。 技術(shù)關(guān)鍵：用戶頭部運(yùn)動情況下，視線方向的檢測方法。 主要技術(shù)指標(biāo)：系統(tǒng)中，用戶坐在計(jì)算機(jī)前，頭部（面向計(jì)算機(jī)屏幕）正常情況下距離屏幕50-100 cm；水平移動處于40cm 區(qū)域內(nèi)。眼睛轉(zhuǎn)動范圍基本上水平、垂直方向在30度視角內(nèi)。
科學(xué)性、先進(jìn)性
- 項(xiàng)目設(shè)計(jì)了實(shí)時跟蹤眼睛的CCD攝像機(jī)自動調(diào)節(jié)系統(tǒng)，可實(shí)時跟蹤眼睛并捕獲到清晰圖像，避免了人工調(diào)節(jié)的繁瑣，提高了調(diào)節(jié)的準(zhǔn)確性。項(xiàng)目設(shè)計(jì)了一種眼睛紅外圖像中瞳孔橢圓邊緣及中心的亞像素定位算法，提高了系統(tǒng)定位的精確度。提出了一種眨眼檢測算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)。項(xiàng)目提出了一種單攝像機(jī)視線跟蹤方法，配合攝像機(jī)自動調(diào)節(jié)系統(tǒng)，建立了一種能對環(huán)境光強(qiáng)變化、用戶頭部位置變化自動適應(yīng)的視線跟蹤方法，實(shí)現(xiàn)了頭動情況下的視線跟蹤，減少了對用戶頭部的限制。
獲獎情況及鑒定結(jié)果
- 無
作品所處階段
- 處于實(shí)驗(yàn)室階段。正在進(jìn)行基于DSP(DM642)的程序移植工作，實(shí)現(xiàn)作品小型化，滿足多種應(yīng)用。
技術(shù)轉(zhuǎn)讓方式
- 待專利獲批后，獨(dú)家轉(zhuǎn)讓。
作品可展示的形式
- 實(shí)物展示（現(xiàn)場演示人機(jī)交互的眼控游戲等程序）。
使用說明,技術(shù)特點(diǎn)和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟(jì)效益預(yù)測
- 視線跟蹤技術(shù)早期主要應(yīng)用于心理學(xué)研究、助殘等領(lǐng)域，后來才被應(yīng)用于圖像壓縮及人機(jī)交互和可用性工程。視線在人機(jī)交互中應(yīng)用的精髓不在于用來獨(dú)立地利用其指點(diǎn)功能，而是與其它通道相結(jié)合提供空間的或其它的約束信息，消除在單通道輸入時存在的歧義。視線跟蹤在人機(jī)交互領(lǐng)域有著廣闊的應(yīng)用前景。 視線跟蹤技術(shù)還可以在醫(yī)學(xué)或駕駛等其他領(lǐng)域廣泛應(yīng)用。另外視線跟蹤技術(shù)的一個誘人的應(yīng)用領(lǐng)域就是虛擬現(xiàn)實(shí)和游戲，一方面使人與計(jì)算機(jī)間的交互與現(xiàn)實(shí)世界中的交互方式趨于一致，更為簡單、自然、高效；另一方面又提高計(jì)算機(jī)圖形、圖像、動畫的繪制、渲染速度。近來，國際上一些公司與科研機(jī)構(gòu)正致力于眼控鼠標(biāo)、眼控游戲的開發(fā)與研究，眼控游戲是在基于視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)上實(shí)現(xiàn)的。在游戲過程中，人的四肢被解放出來，通過眼控實(shí)現(xiàn)人機(jī)交流可以讓游戲過程更具有享受性，并且可以滿足癱瘓病人或四肢麻痹、殘疾病人的游戲需求。
同類課題研究水平概述
- 視線跟蹤技術(shù)是未來智能人機(jī)接口的關(guān)鍵技術(shù)之一，在工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的應(yīng)用前景?；诮悄し瓷湓砗蛨D像處理的視線跟蹤技術(shù)，具有非侵入的優(yōu)點(diǎn)，近年來取得了較快進(jìn)展。但該技術(shù)在用戶頭部不動情況下可獲得較高精度，但對頭動敏感。為減少對用戶的限制，Sugioka使用超聲技術(shù)測得CCD和人眼之間的距離，Ebisawa增加兩個攝像機(jī)來獲得眼睛的三維空間坐標(biāo)。這不僅增加了系統(tǒng)復(fù)雜性，且系統(tǒng)精度受位置測量精度的局限。日本靜岡大學(xué)工學(xué)系海老澤嘉伸教授發(fā)明了“瞳孔鼠標(biāo)”。布拉格捷克技術(shù)大學(xué)的研究人員推出一款可用眼睛控制電腦的廉價操作系統(tǒng)MEMREC。2008年3月日本的研究人員稱已經(jīng)開發(fā)出了名為“Kome Kami Switch”或“Temple Switch” 的裝置，它可通過眨眼實(shí)現(xiàn)對iPod播放器的控制。近來來自的報(bào)道稱，英國蒙特福德大學(xué)的一項(xiàng)研究計(jì)劃正開發(fā)軟件幫助運(yùn)動障礙患者使用視覺追蹤系統(tǒng)體驗(yàn)3D電腦游戲，例如魔獸世界。國內(nèi)在視線跟蹤技術(shù)方面起步比較晚，但是我國的有關(guān)專家也進(jìn)行了這方面的探索。近幾年，南京航空航天大學(xué)基于角膜反射-瞳孔中心的視線跟蹤技術(shù),構(gòu)建了頭部靜止臺架式和頭部自由運(yùn)動頭盔式兩套視線跟蹤硬件框架,并開發(fā)了與之配套的軟件系統(tǒng)。上海大學(xué)實(shí)現(xiàn)了一種具有多種信息感知與反饋功能的多通道自然人機(jī)交互系統(tǒng)。 為提高算法速度和精度，目前視線跟蹤算法普遍采用了閾值技術(shù)和橢圓擬合算法，但由于眼睛圖像固有的噪聲干擾，特征閾值確定困難，橢圓擬合算法不穩(wěn)定。本作品主要針對上述問題，提出了一種能對環(huán)境光強(qiáng)變化、用戶頭部位置變化自動適應(yīng)的視線跟蹤方法，改進(jìn)了閾值提取、特征檢測、橢圓擬合等算法，實(shí)現(xiàn)了高精度視線跟蹤。
