基本信息
- 項目名稱：
- 基于手勢識別的多媒體交互系統(tǒng)
- 小類：
- 信息技術
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 本作品為了改變計算機傳統(tǒng)的交互方式，獲得用戶更豐富的交互意圖，而使用攝像頭捕捉手勢，然后控制計算機。讓人可以用一種新的交互方式與計算機溝通，使得計算機更人性化，從而更貼近于人的生活習慣。 本系統(tǒng)可用于多媒體技術的演示、娛樂和教學。還可移植于iphone、ipad等產(chǎn)品。使掌上數(shù)碼生活更加豐富多彩。
- 詳細介紹：
- 基于手勢識別的多媒體交互系統(tǒng)分為兩大模塊：手勢識別模塊和多媒體控制模塊。首先將使用者的手勢從視頻流中通過幀分離的方式截取出來，然后對手勢特征參數(shù)進行分析，最后根據(jù)特征參數(shù)對手勢進行分類并產(chǎn)生描述信息以驅(qū)動多媒體模塊。多媒體控制模塊則根據(jù)手勢識別后傳送的描述信息，調(diào)用多媒體美觀大方地展示相應功能。 本作品主要優(yōu)點包括： （1）取代傳統(tǒng)的輸入設備（鍵盤、鼠標）來完成對多媒體的相關操作，從而實現(xiàn)人機交互的功能。 （2）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，本系統(tǒng)選用攝像頭可捕捉多個手勢，能滿足更多不同的需求。 （3）結合基于多媒體的演示模塊,能更加靈活自由地加載所需信息，自主性更強，可展示產(chǎn)品眾多，形象生動,系統(tǒng)應用領域廣泛。 （4）識別率高，普遍性高。識別率平均在95%以上，普遍適用于多數(shù)人群。
作品圖片
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術關鍵和主要技術指標
- ?作品設計、發(fā)明的目的： 本作品用攝像頭捕捉手勢，然后控制計算機。讓人可以用一種新的交互方式與計算機溝通，使得計算機更人性化，從而更貼近于人的生活習慣。 ?作品設計基本思路： 系統(tǒng)由兩大模塊構成：手勢識別模塊和多媒體控制模塊。首先將使用者的手勢從視頻流中截取出來，然后對手勢特征參數(shù)進行分析，最后根據(jù)特征參數(shù)對手勢進行分類并產(chǎn)生描述信息以驅(qū)動多媒體模塊。多媒體控制模塊則根據(jù)手勢識別后傳送的描述信息，調(diào)用多媒體美觀大方地展示相應功能。 ?本作品的創(chuàng)新點和特色主要包括： （1）取代傳統(tǒng)的輸入設備來完成對多媒體的相關操作。 （2）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，本系統(tǒng)選用攝像頭可捕捉多個手勢，能滿足更多需求。 （3）結合基于多媒體的演示模塊,能更加靈活加載所需信息，自主性強，可展示產(chǎn)品眾多,系統(tǒng)應用領域廣泛。 ?技術關鍵： 其中關鍵部分是手勢信息的檢測和識別，手勢信息的檢測采用圖像處理方法并對背景進行自適應學習，手勢識別采用決策樹的方法，通過分析手勢幾何特征和統(tǒng)計膚色值范圍來判定手勢類型。 ?主要技術指標： （1）系統(tǒng)準確性： 準確性在光照充足條件下達到95%以上。本系統(tǒng)定義的5種手勢，其識別率分別為：左選擇手勢94.1%，右選擇手勢96.3%，確定手勢98.1%，退出手勢95.5%，鎖定手勢96.9%。 （2）系統(tǒng)反饋時間： 系統(tǒng)反饋時間小于0.03秒。 （3）系統(tǒng)普遍性： 對于正常人，系統(tǒng)普遍適用，不存在個體差異。
科學性、先進性
- ?科學性： （1）使用設備普通、簡便：使用具有500萬像素的普通攝像頭作為采集單元，在合適的視野和景深范圍內(nèi)對手勢檢測和識別，檢測過程采用非接觸方式，手勢識別檢測率高。 （2）算法實時性和穩(wěn)定性較強：基于圖像處理算法實現(xiàn)手勢的檢測識別。在對手勢圖像進行處理后，采用分割技術從圖像幀中取得手勢區(qū)域，從而實現(xiàn)手勢特征參數(shù)的提取，然后對膚色特征和手的表觀特征進行判斷識別，最后依據(jù)不同的提取結果分類驅(qū)動目標功能。 （3）不同于傳統(tǒng)的交互方式并融合多媒體界面：本作品通過攝像頭理解用戶的手勢并做出操作，使人們擺脫了傳統(tǒng)的鍵盤鼠標。本作品采用基于視覺的手勢識別技術，并與多媒體應用相結合，界面美觀大方，給用戶以視覺沖擊。 ?先進性： （1）用手勢取代鼠標和鍵盤實現(xiàn)人機交互。 （2）能自由的往前臺加載信息，自主性更強。 （3）不同于傳統(tǒng)紅外傳感器只能獲取單一信息，該作品選用攝像頭可捕捉多個手勢能滿足更多需求。 （4）可展示產(chǎn)品眾多，應用領域廣泛。
獲獎情況及鑒定結果
- 西南科技大學挑戰(zhàn)杯學校比賽一等獎
作品所處階段
- 實驗室階段
技術轉讓方式
- 非專利技術轉讓
作品可展示的形式
- 現(xiàn)場演示 圖片 錄像 樣品
使用說明,技術特點和優(yōu)勢,適應范圍,推廣前景的技術性說明,市場分析,經(jīng)濟效益預測
- ?作品技術特點： (1)作品基于手勢識別自主開發(fā)了人機交互多媒體系統(tǒng)。利用普通攝像頭采集用戶手勢，將其傳輸給計算機處理后，本系統(tǒng)根據(jù)所捕捉的畫面進行相應處理，最后驅(qū)動多媒體。 (2)作品的設計和開發(fā)全部由學生自主完成，并結合實際需求，進行了多媒體融合的創(chuàng)新，經(jīng)過歸納總結，找出了當下對于裸手識別相對穩(wěn)定的識別方案和算法。 ?作品優(yōu)勢： (1)完全不同于傳統(tǒng)的鼠標和鍵盤的交互方式，使用計算機通過攝像頭理解人們的手勢并做出相應的反應，使人們擺脫了傳統(tǒng)的鍵盤鼠標。 (2)生產(chǎn)成本低。 ?作品使用范圍： (1)可用于多媒體技術的演示、娛樂和教學。 (2)可移植于iphone、ipad等產(chǎn)品。 ?市場分析及經(jīng)濟效益預測： (1)可應用于手機和平板電腦方面。不僅適用于國內(nèi)的多媒體研究開發(fā)企業(yè)，還適用于很多其他領域、行業(yè)和公司，如手語識別、基于動作識別的游戲開發(fā)等。 (2)作品硬件設備成本低，生產(chǎn)所需投資較少，一旦軟件技術成熟，可立即生產(chǎn)投入市場，適用于多數(shù)消費者。
同類課題研究水平概述
- ?國外手勢識別領域研究現(xiàn)狀： （1）2003年12月，美國密歇根州的Cybernet系統(tǒng)公司開發(fā)出一套名為手勢風暴的系統(tǒng)，是公司針對天氣預報節(jié)目開發(fā)的，主持人可以通過簡單的手勢來控制預報的進程； （2）美國加州圣何塞的Canesta公司在2004年末推出一種新的設備，它可以使個人數(shù)字助理(PDA)具備手勢識別功能。該設備會通過PDA內(nèi)部透鏡在桌面等平面上投射出鍵盤的影像。與此同時，它還會向該“鍵盤”的上方區(qū)域射出一束紅外光。通過檢測紅外光脈沖從離開發(fā)射器、經(jīng)用戶手指反彈后最終回到PDA內(nèi)傳感器的時間，該設備可以精確感知用戶手指在任意時刻的位置。光脈沖的來回程時間對應于特定的距離，根據(jù)這些不同的距離可以得出手指在鍵盤上位置的三維圖像，這樣PDA就可以準確地采集用戶在虛擬鍵盤上的操作信息。 ?國內(nèi)手勢識別領域研究現(xiàn)狀： （1）在我國，哈爾濱工業(yè)大學的高文、吳江琴等人給出了ANN與HMM的混合方法作為手勢的訓練識別方法，將ANN—HMM混合方法應用于有18個傳感器的CyberGlove型號數(shù)據(jù)手套的中國手勢識別系統(tǒng)中，孤立詞識別率為90%，簡單語句級識別率為92%。接下來高文等又選取CyberGlove型號數(shù)據(jù)手套做輸入設備，采用DGMM(Dynamic Gaussian Mixture Model)作為系統(tǒng)的識別技術，可識別中國手勢字典中的274個詞條，識別率為98.2%。 （2）清華大學祝遠新、徐光祐等給出了一種基于視覺的動態(tài)孤立手勢識別技術，借助于圖像運動的變階參數(shù)模型和魯棒回歸分析，提出一種基于運動分割的圖像運動估計方法，基于圖像運動參數(shù)，構造了兩種表現(xiàn)變化模型分別作為手勢的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢參考模板，并利用基于模板的分類技術進行識別，對12種手勢的識別率超過90%；在進一步研究中，他們又給出了有關連續(xù)動態(tài)手勢的識別，融合手勢運動信息和皮膚顏色信息，進行復雜背景下的手勢分割，通過結合手勢的時序信息、運動表現(xiàn)及形狀表現(xiàn)，提出動態(tài)手勢的時空表現(xiàn)模型，并提出基于顏色、運動以及形狀等多模式信息的分層融合策略抽取時空表觀模型的參數(shù)。最后，提出動態(tài)時空規(guī)整算法用于手勢識別，對12種手勢，平均識別率高達97%。
