題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 智能家居中的手勢(shì)人機(jī)交互系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 人們一直在追求一種自然的人機(jī)交互方式。微軟推出的基于深度攝像頭的Kinect和海爾推出的手勢(shì)控制電視，實(shí)現(xiàn)了機(jī)遇肢體動(dòng)作的手勢(shì)控制人機(jī)交互方式，但這類方式成本較高，操作不準(zhǔn)確。本項(xiàng)目提出了基于普通攝像頭的手指控制的人機(jī)交互方式，實(shí)現(xiàn)了更便捷、更自然、更精確的控制，并且將其使用在未來的只能家居中，實(shí)現(xiàn)了新型的信息管理。
- 詳細(xì)介紹：
- 人們一直在追求一種自然的人機(jī)交互方式。微軟推出的基于深度攝像頭的Kinect和海爾推出的手勢(shì)控制電視，實(shí)現(xiàn)了機(jī)遇肢體動(dòng)作的手勢(shì)控制人機(jī)交互方式，但這類方式成本較高，操作不準(zhǔn)確。本項(xiàng)目提出了基于普通攝像頭的手指控制的人機(jī)交互方式，實(shí)現(xiàn)了更便捷、更自然、更精確的控制，并且將其使用在未來的只能家居中，實(shí)現(xiàn)了新型的信息管理。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 目的： 實(shí)現(xiàn)智能家居環(huán)境中基于手勢(shì)的人機(jī)交互完整方案，突破傳統(tǒng)家居的空間限制，使用戶能夠隨心所欲的控制居住環(huán)境，為用戶的家庭生活提供更為寬廣的交互空間和舒適的操作體驗(yàn)。 基本思路： 使用基于特征提取與AdaBoost算法的特定手勢(shì)檢測(cè)； 基于變形模板的人手參數(shù)化跟蹤與人手姿態(tài)識(shí)別； 建立通用的手勢(shì)控制通信協(xié)議和編程接口； 建立基于局域網(wǎng)的分布式系統(tǒng)構(gòu)架； 創(chuàng)新點(diǎn)： 針對(duì)復(fù)雜背景的高魯棒性人手檢測(cè)與跟蹤算法，適用于不同環(huán)境不同背景，可滿足各種場(chǎng)景應(yīng)用需求。 針對(duì)精確控制的需求，實(shí)現(xiàn)手指控制的，使操作更加精確高效，并實(shí)現(xiàn)手指控制與虛擬鍵盤的結(jié)合，解決了手勢(shì)控制無法進(jìn)行文本輸入的不足。 先進(jìn)的自然人機(jī)交互方案，使用戶擺脫鼠標(biāo)鍵盤等設(shè)備的限制，并實(shí)現(xiàn)了可擴(kuò)展的網(wǎng)絡(luò)化手勢(shì)信息通信協(xié)議； 關(guān)鍵技術(shù)： 基于LBP特征和改進(jìn)的HOG特征的結(jié)合AdaBoost算法的手勢(shì)檢測(cè)； 結(jié)合手勢(shì)檢測(cè)和CONDENSATION算法的手勢(shì)跟蹤算法； 基于變形模板和CONDENSATION算法的手指跟蹤算法； 分布式系統(tǒng)構(gòu)架； 基于網(wǎng)絡(luò)的手勢(shì)交互信息傳輸協(xié)議； 結(jié)合用戶心理學(xué)的人機(jī)交互界面實(shí)現(xiàn)。 技術(shù)指標(biāo)： 手勢(shì)檢測(cè)準(zhǔn)確率> 90% 系統(tǒng)操作準(zhǔn)確率> 85% 系統(tǒng)最佳操作距離：2～3M 操作響應(yīng)時(shí)間<0.5s
科學(xué)性、先進(jìn)性
- 1）設(shè)計(jì)思路上的先進(jìn)性 2）高性能的檢測(cè)算法 3）精確的指尖定位算法 4）分布式計(jì)算確保響應(yīng)的實(shí)時(shí)性 5）自定義手勢(shì)信息傳輸協(xié)議 6）人性化的交互界面設(shè)計(jì) 7）功能設(shè)計(jì)具有先進(jìn)性
獲獎(jiǎng)情況及鑒定結(jié)果
- 華南理工大學(xué)“賽萊拉”第十二屆“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競賽一等獎(jiǎng)； 廣東省第十一屆“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競賽三等獎(jiǎng)；
作品所處階段
- 算法向芯片轉(zhuǎn)換階段
技術(shù)轉(zhuǎn)讓方式
- 專利實(shí)施轉(zhuǎn)讓
作品可展示的形式
- 現(xiàn)場(chǎng)展示
使用說明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 使用說明： 本系統(tǒng)可完成未來智能家居中的各種手勢(shì)控制。手勢(shì)操作流程大致包括以下幾個(gè)方面：手的初始化，手勢(shì)識(shí)別與跟蹤，操作響應(yīng)，操作結(jié)束。 適用范圍： 本作品的使用范圍包括： 1）主要應(yīng)用于各種智能家居的控制，提供自然便捷的操控方式； 2）還可獨(dú)立應(yīng)用于社交性互動(dòng)電視、游戲等家庭娛樂方面，豐富數(shù)字家庭體驗(yàn)； 3）可應(yīng)用于個(gè)人電腦的操控，提高用戶工作效率、增強(qiáng)娛樂體驗(yàn)； 4）應(yīng)用于多媒體展廳、科技展館等，帶給消費(fèi)者更加直觀的信息傳遞方式和虛擬世界漫游體驗(yàn)。 推廣前景: 本作品提出的新型人機(jī)交互技術(shù)，提供了更便捷、自然的人機(jī)交互接口，潛在的推廣應(yīng)用領(lǐng)域包括以下幾個(gè)方面： 1）智能家居系統(tǒng)的控制 2）社交性互動(dòng)電視的操作 3）個(gè)人電腦的操控。 4）多媒體展廳、科技展館等應(yīng)用領(lǐng)域 市場(chǎng)經(jīng)濟(jì)預(yù)測(cè)： 本作品提出的新型人機(jī)交互技術(shù)可轉(zhuǎn)化為帶有通用通信接口的小型集成設(shè)備，適合推廣應(yīng)用，在后期產(chǎn)業(yè)化研究基礎(chǔ)上，有望獲得可觀的經(jīng)濟(jì)效益。
同類課題研究水平概述
- 如何實(shí)現(xiàn)自然、和諧的人機(jī)交互方式是信息科學(xué)面臨的重要問題，涉及計(jì)算機(jī)科學(xué)、認(rèn)知心理學(xué)和人工智能等多個(gè)學(xué)科領(lǐng)域。目前各國都將人機(jī)交互作為研究重點(diǎn)。國內(nèi)外許多知名大學(xué)和研究機(jī)構(gòu)都在自然人機(jī)交互領(lǐng)域開展相關(guān)研究，如UC Berkeley、MIT、Stanford等大學(xué)和微軟、IBM、英特爾、索尼等公司以及國內(nèi)的中科院研究所等都在自然人機(jī)交互研究上做了大量工作。 現(xiàn)在手勢(shì)及手指人機(jī)交互主要解決的問題包括一下三個(gè)方面：（1）復(fù)雜環(huán)境下的手勢(shì)檢測(cè)；（2）復(fù)雜環(huán)境下高魯棒性的人手跟蹤；（3）復(fù)雜環(huán)境下的手勢(shì)輪廓跟蹤。 現(xiàn)在手勢(shì)檢測(cè)算法方面，主要分為兩大類：1）基于膚色特征的人手檢測(cè)；2）基于特征的人手檢測(cè)?；谀w色的人手檢測(cè)方法在一定環(huán)境下可以取得不錯(cuò)的效果，但膚色在光照變化時(shí)，效果較差。為了提高膚色檢測(cè)對(duì)光照變化的魯棒性，研究者提出了一種自適應(yīng)的膚色檢測(cè)算法，與傳統(tǒng)的膚色檢測(cè)算法相比，對(duì)光照變化具有較高的魯棒性。在基于特征的人手檢測(cè)算法研究方面，有研究者提出了一種基于Haar特征的人手檢測(cè)方法，取得不錯(cuò)的效果。 人手具有27個(gè)自由度，這給手勢(shì)跟蹤帶來了巨大的困難，一類手勢(shì)跟蹤算法是需要輔助設(shè)備幫助定位手勢(shì)位置的，如數(shù)據(jù)手套，此類方法并不適用自然人機(jī)交互，另一類手勢(shì)跟蹤算法是基于顏色和形狀特征的，此類方法與基于膚色特征進(jìn)行人手檢測(cè)一樣面臨著對(duì)光線變化時(shí)，效果較差的難題。第三類方法是基于Viola提出的級(jí)聯(lián)分類器的物體檢測(cè)框架下，這類方法可實(shí)現(xiàn)魯棒性高，快速的人手檢測(cè)。 在輪廓跟蹤方面，主要分為兩大類：1）基于active contour model(snake)的輪廓跟蹤；2）基于active shape model的輪廓跟蹤。Active contour model 首先由Michael等提出，之后便有了大量的運(yùn)用此模型對(duì)物體輪廓進(jìn)行跟蹤的方法研究。Mingyou Hu等人中提出了利用運(yùn)用運(yùn)動(dòng)信息和紋理特征來預(yù)測(cè)出被跟蹤物體的初步位置，然后用snake模型來尋找物體輪廓，從而進(jìn)行實(shí)時(shí)跟蹤的方法，這種方法對(duì)于被跟蹤物體位置的預(yù)測(cè)效率很低，效果較差，容易受到環(huán)境變化的干擾；Michael Isard 和 Andrew Blake等人提出了運(yùn)用active shape model和粒子濾波算法進(jìn)行結(jié)合的輪廓跟蹤框架，奠定了這一跟蹤算法的基礎(chǔ)。
