題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于視覺的多目標(biāo)人機(jī)交互的研究與應(yīng)用
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”省賽作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作A類
- 簡(jiǎn)介：
- 本項(xiàng)目使用市面上常見的 usb 攝像頭設(shè)備設(shè)計(jì)了 一套手部跟蹤和手勢(shì)分析的方法 ， 并實(shí)現(xiàn)了初步的識(shí)別交互系統(tǒng) 。 通過兩個(gè) usb 攝像頭設(shè)備 ，該系統(tǒng)實(shí)時(shí)采集圖像數(shù)據(jù) ， 并從中分離出手部圖像進(jìn)行分析，且使用過程無(wú)需佩戴手套或其他標(biāo)記增強(qiáng)局部特征。
- 詳細(xì)介紹：
- 本項(xiàng)目旨在設(shè)計(jì)搭建一套軟件系統(tǒng)，通過使用市面上常見的攝像頭設(shè)備作為載體，使用非觸摸式的方法，采集分析用戶手勢(shì)從而進(jìn)行相關(guān)軟件操作，同時(shí)該系統(tǒng)將支持雙手操作，甚至多用戶的同時(shí)操作，以提供更加貼近自然的人機(jī)交互體驗(yàn)。本系統(tǒng)將利用視覺分析的方法進(jìn)行手勢(shì)的識(shí)別，從而實(shí)現(xiàn)用戶通過手勢(shì)對(duì)計(jì)算機(jī)和電子設(shè)備的操作；同時(shí)本系統(tǒng)還將實(shí)現(xiàn)多用戶的同時(shí)操作，這大大方便了人和機(jī)器的交互。其中基于視覺的手勢(shì)采集分析算法包括圖像采集后的處理和分割、以及在多攝像頭條件下三維位置數(shù)據(jù)的計(jì)算和手勢(shì)識(shí)別的算法等各方面的改進(jìn)與創(chuàng)新；同時(shí)利用多個(gè)攝像頭進(jìn)行圖像采集分析，使用多攝像頭的冗余數(shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)，提高識(shí)別精度和分析效果，以克服一般視覺處理方面失誤率較高的問題。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 本項(xiàng)目旨在設(shè)計(jì)搭建一套軟件系統(tǒng)，通過使用市面上常見的攝像頭設(shè)備作為載體， 使用非觸摸式的方法，采集分析用戶手勢(shì)從而進(jìn)行相關(guān)軟件操作，同時(shí)該系統(tǒng)將支 持雙手操作，甚至多用戶的同時(shí)操作，以提供更加貼近自然的人機(jī)交互體驗(yàn)。本系統(tǒng)將利用視覺分析的方法進(jìn)行手勢(shì)的識(shí)別，從而實(shí)現(xiàn)用戶通過手勢(shì)對(duì)計(jì)算機(jī)和電子設(shè)備的操作；同時(shí)本系統(tǒng)還將實(shí)現(xiàn)多用戶的同時(shí)操作，這大大方便了人和機(jī)器的交互。其中基于視覺的手勢(shì)采集分析算法包括圖像采集后的處理和分割、以及在多攝像頭條件下三維位置數(shù)據(jù)的計(jì)算和手勢(shì)識(shí)別的算法等各方面的改進(jìn)與創(chuàng)新；同時(shí)利用多個(gè)攝像頭進(jìn)行圖像采集分析，使用多攝像頭的冗余數(shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)，提高識(shí) 別精度和分析效果，以克服一般視覺處理方面失誤率較高的問題。
科學(xué)性、先進(jìn)性
- 1. 項(xiàng)目提出了利用視覺處理技術(shù)的一種新的人機(jī)交互的方法。在這種方法中我們可以直接使用雙手對(duì)計(jì)算機(jī)進(jìn)行交互操作，在使用者角度上，該方法更符合人類的工具使用習(xí)慣，并能提供更為豐富的交互體驗(yàn)。 2. 在采集分析方法上，本項(xiàng)目利用多個(gè)攝像頭進(jìn)行圖像采集分析，使用多攝像頭的冗余數(shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)，提高識(shí)別精度和分析效果，以克服一般視覺處理方面失誤率較高的問題。 3. 同時(shí)，項(xiàng)目系統(tǒng)支持多用戶多手勢(shì)的同時(shí)操作。在使用過程中，系統(tǒng)將支持雙手操作，甚至是多用戶多目標(biāo)的同時(shí)操作。為用戶提供一種多人實(shí)時(shí)互動(dòng)的更為豐富的人機(jī)交互體驗(yàn)。 4. 本項(xiàng)目計(jì)劃設(shè)計(jì)一套新的軟件交互接口，以支持多目標(biāo)操作應(yīng)用軟件的開發(fā)。在目前，大多數(shù)操作系統(tǒng)的操作都是基于傳統(tǒng)鼠標(biāo)鍵盤事件驅(qū)動(dòng)的，這給多用戶同時(shí)操作造成一定的障礙。項(xiàng)目創(chuàng)新性地設(shè)計(jì)一套支持多用戶多目標(biāo)同時(shí)操作的中間接口，從而降低多目標(biāo)操作應(yīng)軟件開發(fā)的難度。 5. 本項(xiàng)目也在尋求改善攝像頭手勢(shì)采集設(shè)備的新方法，使之在更為復(fù)雜的環(huán)境條件下能支持系統(tǒng)的使用。
獲獎(jiǎng)情況及鑒定結(jié)果
- 1. 華南理工大學(xué)軟件文化節(jié)之軟件設(shè)計(jì)大賽(第二名) 2. 廣東省學(xué)生創(chuàng)新計(jì)劃(立項(xiàng)成功) 3. 國(guó)家大學(xué)生創(chuàng)新計(jì)劃(立項(xiàng)成功)
作品所處階段
- 實(shí)驗(yàn)階段
技術(shù)轉(zhuǎn)讓方式
- 無(wú)
作品可展示的形式
- 軟件系統(tǒng)，演示視頻。
使用說明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 本系統(tǒng)將利用視覺分析的方法進(jìn)行手勢(shì)的識(shí)別，從而實(shí)現(xiàn)用戶通過手勢(shì)對(duì)計(jì)算機(jī)和電子設(shè)備的操作；同時(shí)本系統(tǒng)還將實(shí)現(xiàn)多用戶的同時(shí)操作，這大大方便了人和機(jī)器的交互。 本項(xiàng)目的成果還可直接用在交互式電子白板和各類交互式電子展臺(tái)上。目前電子白板和電子展臺(tái)主要是利用觸摸式或紅外線感應(yīng)式等，因而在搭建平臺(tái)及使用過程中，有成本較高，且不易安裝，設(shè)備易于損壞的問題。利用本項(xiàng)目的成果只需要在投影儀處安裝幾個(gè)普通攝像頭即可使用，如在教室中的投影儀加裝攝像頭就可以實(shí)現(xiàn)交互式電子白板的功能。
同類課題研究水平概述
- 在人機(jī)交互的研究方面： 目前，市場(chǎng)上已經(jīng)出現(xiàn)了許多使用觸摸屏的多點(diǎn)觸摸操作技術(shù)，即Multi-Touch。Multi-Touch，顧名思義是多點(diǎn)觸摸技術(shù)，可以允許用戶在屏幕的多個(gè)位置同時(shí)輸入，與傳統(tǒng)的鼠標(biāo)鍵盤的輸入方式相比，這種技術(shù)是一種完全不同的人機(jī)交互方式。這種技術(shù)最突出的特點(diǎn)是多個(gè)用戶可以同時(shí)與機(jī)器交互，每個(gè)用戶可以用多個(gè)手指操作屏幕，更重要的是系統(tǒng)還可以識(shí)別手指的姿態(tài)。而多點(diǎn)觸摸技術(shù)在移動(dòng)設(shè)備上較為成功的應(yīng)用有iphone手機(jī)。 而微軟在近年推出的平面電腦surface，則是采用了多點(diǎn)觸摸操作的另一實(shí)現(xiàn)形式，基于紅外攝像頭的背面散射光多點(diǎn)觸摸（Near-DI）。設(shè)備使用了一塊毛玻璃，Piexlglas Glass接受投影畫面，同時(shí)通過手指觸摸玻璃時(shí)產(chǎn)生紅外光散射來(lái)采集手指操作，原理圖見圖一。同時(shí)，國(guó)外開源組織NUI Group（）在使用毛玻璃作為前端載體的多點(diǎn)觸摸技術(shù)已做了很多研究，包括微軟設(shè)備使用的背面散射光多點(diǎn)觸摸（Near-DI）技術(shù)，該小組提供了5種不同的多點(diǎn)觸摸軟硬件平臺(tái)搭建方案。 但就目前而言，微軟的surface平臺(tái)售價(jià)高達(dá)數(shù)萬(wàn)美元，而NUI Group所提供的解決方案同樣成本高昂，且搭建調(diào)試過程復(fù)雜。所以，如何提供一種更造價(jià)低廉的，且易于在現(xiàn)有設(shè)備上安裝使用多手勢(shì)交互系統(tǒng)成為一個(gè)值得探索的課題。
