題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于手勢識(shí)別的多媒體交互系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 本作品為了改變計(jì)算機(jī)傳統(tǒng)的交互方式，獲得用戶更豐富的交互意圖，而使用攝像頭捕捉手勢，然后控制計(jì)算機(jī)。讓人可以用一種新的交互方式與計(jì)算機(jī)溝通，使得計(jì)算機(jī)更人性化，從而更貼近于人的生活習(xí)慣。 本系統(tǒng)可用于多媒體技術(shù)的演示、娛樂和教學(xué)。還可移植于iphone、ipad等產(chǎn)品。使掌上數(shù)碼生活更加豐富多彩。
- 詳細(xì)介紹：
- 基于手勢識(shí)別的多媒體交互系統(tǒng)分為兩大模塊：手勢識(shí)別模塊和多媒體控制模塊。首先將使用者的手勢從視頻流中通過幀分離的方式截取出來，然后對(duì)手勢特征參數(shù)進(jìn)行分析，最后根據(jù)特征參數(shù)對(duì)手勢進(jìn)行分類并產(chǎn)生描述信息以驅(qū)動(dòng)多媒體模塊。多媒體控制模塊則根據(jù)手勢識(shí)別后傳送的描述信息，調(diào)用多媒體美觀大方地展示相應(yīng)功能。 本作品主要優(yōu)點(diǎn)包括： （1）取代傳統(tǒng)的輸入設(shè)備（鍵盤、鼠標(biāo)）來完成對(duì)多媒體的相關(guān)操作，從而實(shí)現(xiàn)人機(jī)交互的功能。 （2）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，本系統(tǒng)選用攝像頭可捕捉多個(gè)手勢，能滿足更多不同的需求。 （3）結(jié)合基于多媒體的演示模塊,能更加靈活自由地加載所需信息，自主性更強(qiáng)，可展示產(chǎn)品眾多，形象生動(dòng),系統(tǒng)應(yīng)用領(lǐng)域廣泛。 （4）識(shí)別率高，普遍性高。識(shí)別率平均在95%以上，普遍適用于多數(shù)人群。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- ?作品設(shè)計(jì)、發(fā)明的目的： 本作品用攝像頭捕捉手勢，然后控制計(jì)算機(jī)。讓人可以用一種新的交互方式與計(jì)算機(jī)溝通，使得計(jì)算機(jī)更人性化，從而更貼近于人的生活習(xí)慣。 ?作品設(shè)計(jì)基本思路： 系統(tǒng)由兩大模塊構(gòu)成：手勢識(shí)別模塊和多媒體控制模塊。首先將使用者的手勢從視頻流中截取出來，然后對(duì)手勢特征參數(shù)進(jìn)行分析，最后根據(jù)特征參數(shù)對(duì)手勢進(jìn)行分類并產(chǎn)生描述信息以驅(qū)動(dòng)多媒體模塊。多媒體控制模塊則根據(jù)手勢識(shí)別后傳送的描述信息，調(diào)用多媒體美觀大方地展示相應(yīng)功能。 ?本作品的創(chuàng)新點(diǎn)和特色主要包括： （1）取代傳統(tǒng)的輸入設(shè)備來完成對(duì)多媒體的相關(guān)操作。 （2）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，本系統(tǒng)選用攝像頭可捕捉多個(gè)手勢，能滿足更多需求。 （3）結(jié)合基于多媒體的演示模塊,能更加靈活加載所需信息，自主性強(qiáng)，可展示產(chǎn)品眾多,系統(tǒng)應(yīng)用領(lǐng)域廣泛。 ?技術(shù)關(guān)鍵： 其中關(guān)鍵部分是手勢信息的檢測和識(shí)別，手勢信息的檢測采用圖像處理方法并對(duì)背景進(jìn)行自適應(yīng)學(xué)習(xí)，手勢識(shí)別采用決策樹的方法，通過分析手勢幾何特征和統(tǒng)計(jì)膚色值范圍來判定手勢類型。 ?主要技術(shù)指標(biāo)： （1）系統(tǒng)準(zhǔn)確性： 準(zhǔn)確性在光照充足條件下達(dá)到95%以上。本系統(tǒng)定義的5種手勢，其識(shí)別率分別為：左選擇手勢94.1%，右選擇手勢96.3%，確定手勢98.1%，退出手勢95.5%，鎖定手勢96.9%。 （2）系統(tǒng)反饋時(shí)間： 系統(tǒng)反饋時(shí)間小于0.03秒。 （3）系統(tǒng)普遍性： 對(duì)于正常人，系統(tǒng)普遍適用，不存在個(gè)體差異。
科學(xué)性、先進(jìn)性
- ?科學(xué)性： （1）使用設(shè)備普通、簡便：使用具有500萬像素的普通攝像頭作為采集單元，在合適的視野和景深范圍內(nèi)對(duì)手勢檢測和識(shí)別，檢測過程采用非接觸方式，手勢識(shí)別檢測率高。 （2）算法實(shí)時(shí)性和穩(wěn)定性較強(qiáng)：基于圖像處理算法實(shí)現(xiàn)手勢的檢測識(shí)別。在對(duì)手勢圖像進(jìn)行處理后，采用分割技術(shù)從圖像幀中取得手勢區(qū)域，從而實(shí)現(xiàn)手勢特征參數(shù)的提取，然后對(duì)膚色特征和手的表觀特征進(jìn)行判斷識(shí)別，最后依據(jù)不同的提取結(jié)果分類驅(qū)動(dòng)目標(biāo)功能。 （3）不同于傳統(tǒng)的交互方式并融合多媒體界面：本作品通過攝像頭理解用戶的手勢并做出操作，使人們擺脫了傳統(tǒng)的鍵盤鼠標(biāo)。本作品采用基于視覺的手勢識(shí)別技術(shù)，并與多媒體應(yīng)用相結(jié)合，界面美觀大方，給用戶以視覺沖擊。 ?先進(jìn)性： （1）用手勢取代鼠標(biāo)和鍵盤實(shí)現(xiàn)人機(jī)交互。 （2）能自由的往前臺(tái)加載信息，自主性更強(qiáng)。 （3）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，該作品選用攝像頭可捕捉多個(gè)手勢能滿足更多需求。 （4）可展示產(chǎn)品眾多，應(yīng)用領(lǐng)域廣泛。
獲獎(jiǎng)情況及鑒定結(jié)果
- 西南科技大學(xué)挑戰(zhàn)杯學(xué)校比賽一等獎(jiǎng)
作品所處階段
- 實(shí)驗(yàn)室階段
技術(shù)轉(zhuǎn)讓方式
- 非專利技術(shù)轉(zhuǎn)讓
作品可展示的形式
- 現(xiàn)場演示 圖片 錄像 樣品
使用說明,技術(shù)特點(diǎn)和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟(jì)效益預(yù)測
- ?作品技術(shù)特點(diǎn)： (1)作品基于手勢識(shí)別自主開發(fā)了人機(jī)交互多媒體系統(tǒng)。利用普通攝像頭采集用戶手勢，將其傳輸給計(jì)算機(jī)處理后，本系統(tǒng)根據(jù)所捕捉的畫面進(jìn)行相應(yīng)處理，最后驅(qū)動(dòng)多媒體。 (2)作品的設(shè)計(jì)和開發(fā)全部由學(xué)生自主完成，并結(jié)合實(shí)際需求，進(jìn)行了多媒體融合的創(chuàng)新，經(jīng)過歸納總結(jié)，找出了當(dāng)下對(duì)于裸手識(shí)別相對(duì)穩(wěn)定的識(shí)別方案和算法。 ?作品優(yōu)勢： (1)完全不同于傳統(tǒng)的鼠標(biāo)和鍵盤的交互方式，使用計(jì)算機(jī)通過攝像頭理解人們的手勢并做出相應(yīng)的反應(yīng)，使人們擺脫了傳統(tǒng)的鍵盤鼠標(biāo)。 (2)生產(chǎn)成本低。 ?作品使用范圍： (1)可用于多媒體技術(shù)的演示、娛樂和教學(xué)。 (2)可移植于iphone、ipad等產(chǎn)品。 ?市場分析及經(jīng)濟(jì)效益預(yù)測： (1)可應(yīng)用于手機(jī)和平板電腦方面。不僅適用于國內(nèi)的多媒體研究開發(fā)企業(yè)，還適用于很多其他領(lǐng)域、行業(yè)和公司，如手語識(shí)別、基于動(dòng)作識(shí)別的游戲開發(fā)等。 (2)作品硬件設(shè)備成本低，生產(chǎn)所需投資較少，一旦軟件技術(shù)成熟，可立即生產(chǎn)投入市場，適用于多數(shù)消費(fèi)者。
同類課題研究水平概述
- ?國外手勢識(shí)別領(lǐng)域研究現(xiàn)狀： （1）2003年12月，美國密歇根州的Cybernet系統(tǒng)公司開發(fā)出一套名為手勢風(fēng)暴的系統(tǒng)，是公司針對(duì)天氣預(yù)報(bào)節(jié)目開發(fā)的，主持人可以通過簡單的手勢來控制預(yù)報(bào)的進(jìn)程； （2）美國加州圣何塞的Canesta公司在2004年末推出一種新的設(shè)備，它可以使個(gè)人數(shù)字助理(PDA)具備手勢識(shí)別功能。該設(shè)備會(huì)通過PDA內(nèi)部透鏡在桌面等平面上投射出鍵盤的影像。與此同時(shí)，它還會(huì)向該“鍵盤”的上方區(qū)域射出一束紅外光。通過檢測紅外光脈沖從離開發(fā)射器、經(jīng)用戶手指反彈后最終回到PDA內(nèi)傳感器的時(shí)間，該設(shè)備可以精確感知用戶手指在任意時(shí)刻的位置。光脈沖的來回程時(shí)間對(duì)應(yīng)于特定的距離，根據(jù)這些不同的距離可以得出手指在鍵盤上位置的三維圖像，這樣PDA就可以準(zhǔn)確地采集用戶在虛擬鍵盤上的操作信息。 ?國內(nèi)手勢識(shí)別領(lǐng)域研究現(xiàn)狀： （1）在我國，哈爾濱工業(yè)大學(xué)的高文、吳江琴等人給出了ANN與HMM的混合方法作為手勢的訓(xùn)練識(shí)別方法，將ANN—HMM混合方法應(yīng)用于有18個(gè)傳感器的CyberGlove型號(hào)數(shù)據(jù)手套的中國手勢識(shí)別系統(tǒng)中，孤立詞識(shí)別率為90%，簡單語句級(jí)識(shí)別率為92%。接下來高文等又選取CyberGlove型號(hào)數(shù)據(jù)手套做輸入設(shè)備，采用DGMM(Dynamic Gaussian Mixture Model)作為系統(tǒng)的識(shí)別技術(shù)，可識(shí)別中國手勢字典中的274個(gè)詞條，識(shí)別率為98.2%。 （2）清華大學(xué)祝遠(yuǎn)新、徐光祐等給出了一種基于視覺的動(dòng)態(tài)孤立手勢識(shí)別技術(shù)，借助于圖像運(yùn)動(dòng)的變階參數(shù)模型和魯棒回歸分析，提出一種基于運(yùn)動(dòng)分割的圖像運(yùn)動(dòng)估計(jì)方法，基于圖像運(yùn)動(dòng)參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢參考模板，并利用基于模板的分類技術(shù)進(jìn)行識(shí)別，對(duì)12種手勢的識(shí)別率超過90%；在進(jìn)一步研究中，他們又給出了有關(guān)連續(xù)動(dòng)態(tài)手勢的識(shí)別，融合手勢運(yùn)動(dòng)信息和皮膚顏色信息，進(jìn)行復(fù)雜背景下的手勢分割，通過結(jié)合手勢的時(shí)序信息、運(yùn)動(dòng)表現(xiàn)及形狀表現(xiàn)，提出動(dòng)態(tài)手勢的時(shí)空表現(xiàn)模型，并提出基于顏色、運(yùn)動(dòng)以及形狀等多模式信息的分層融合策略抽取時(shí)空表觀模型的參數(shù)。最后，提出動(dòng)態(tài)時(shí)空規(guī)整算法用于手勢識(shí)別，對(duì)12種手勢，平均識(shí)別率高達(dá)97%。
