基本信息
- 項目名稱：
- “指”標
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- “指”標涉及圖像處理，人機交互，以及模式識別等熱門領(lǐng)域；通過攝像頭讀入用戶的操作信息，提取圖像信息，將該信息與系統(tǒng)中模式進行匹配，識別用戶操作，完成操作。將操作模式由從固定物理外設獲得改為識別用戶的不同手勢動作，將動作賦予操作命令。需要解決的關(guān)鍵問題有手勢的識別，由環(huán)境帶來的外部光線物體引起的識別誤差，對特定識別對象的跟蹤與定位，與不同手勢對應的不同功能的實現(xiàn)，性能上良好的用戶使用體驗。
- 詳細介紹：
- 隨著人與計算機的交互方式也在不斷向著人們使用習慣改變，鼠標的使用局限了用戶的操作方式，限制了人機交互。未來的交互方式將不拘泥于各種硬件，而實現(xiàn)人與外界的信息交流，將數(shù)字世界帶入人們的生活中。通過“指”標，用戶可以不借助鼠標，通過在電腦前作出相應的手勢，由攝像頭捕捉、分析并識別，完成手勢定義的操作，實現(xiàn)控制電腦完成相應相應動作的操作，如只需動一下手指便可打開軟件，瀏覽網(wǎng)頁圖片，播放PPT等功能。在項目的實現(xiàn)階段，通過將項目細分為各個高內(nèi)聚低耦合的子模塊，并行開發(fā)。 通過不同的手勢實現(xiàn)控制電腦的作用。對運行平臺處理能力及攝像頭的硬件要求較低，只需普通上網(wǎng)本及自帶的前置攝像頭配合軟件使用。通過兩次重疊函數(shù)映射實現(xiàn)鼠標位置的重定位，在良好光線下達到2毫米內(nèi)精度。根據(jù)本項目的特點獨立設計跟蹤算法，實現(xiàn)高效準確的定位跟蹤。 同時可以應用到智能移動平臺如手機、平板電腦上，拓寬了使用方式，豐富了交互體驗。擺脫諸如鼠標，鍵盤等外設在做用戶交互的操作局限、硬件局限、空間局限。該項目已經(jīng)成功移植到Meego系統(tǒng)，該系統(tǒng)為智能手機平板電腦的操作系統(tǒng)。
作品圖片
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標
- 隨著人與計算機的交互方式也在不斷向著人們使用習慣改變，鼠標的使用局限了用戶的操作方式，限制了人機交互。未來的交互方式將不拘泥于各種硬件，而實現(xiàn)人與外界的信息交流，將數(shù)字世界帶入人們的生活中。通過“指”標，用戶可以不借助鼠標，通過在電腦前作出相應的手勢，由攝像頭捕捉、分析并識別，完成手勢定義的操作，實現(xiàn)控制電腦完成相應相應動作的操作，如只需動一下手指便可打開軟件，瀏覽網(wǎng)頁圖片，播放PPT等功能。在項目的實現(xiàn)階段，通過將項目細分為各個高內(nèi)聚低耦合的子模塊，并行開發(fā)。 創(chuàng)新點： 通過不同的手勢實現(xiàn)控制電腦的作用。對運行平臺處理能力及攝像頭的硬件要求較低，只需普通上網(wǎng)本及自帶的前置攝像頭配合軟件使用。通過兩次重疊函數(shù)映射實現(xiàn)鼠標位置的重定位，在良好光線下達到2毫米內(nèi)精度。根據(jù)本項目的特點獨立設計跟蹤算法，實現(xiàn)高效準確的定位跟蹤。 同時可以應用到智能移動平臺如手機、平板電腦上，拓寬了使用方式，豐富了交互體驗。擺脫諸如鼠標，鍵盤等外設在做用戶交互的操作局限、硬件局限、空間局限。該項目已經(jīng)成功移植到Meego系統(tǒng)，該系統(tǒng)為智能手機平板電腦的操作系統(tǒng)。 技術(shù)關(guān)鍵及指標： A． 通過設計針對本項目的跟蹤算法，實現(xiàn)對目標的精確定位。 B． 在鼠標映射位置上，采取二次重疊函數(shù)映射，排除動作抖動，并提高了移動定位的精確度，在良好光線條件下達到2mm以內(nèi)。 C． 通過對函數(shù)圖像上的處理，在一定程度上排除光線影響。 D． 各種手勢的設計，及相應操作的實現(xiàn)。
科學性、先進性
- 現(xiàn)有基于視覺的虛擬鼠標主要分兩大類，一類是激光筆虛擬鼠標，通過提取光點圖像坐標建立與計算機屏幕坐標的對應，此類虛擬鼠標采用了求解二維平面間單應性映射矩陣的方法進行標定。另一類是基于手勢、眼睛視線或人臉特征等身體特征的虛擬鼠標，D．0．Gorodnichy等研發(fā)的Nouse基于雙目立體視覺技術(shù)和極線幾何關(guān)系，完成鼻尖三維空間定位，實現(xiàn)對計算機的簡單控制。該類虛擬鼠標系統(tǒng)的成本較高、視場范圍小、標定過程復雜、立體匹配難、計算量大、實時性較差。2009年，麻省理工學院(MIT)媒體實驗室(Media Lab)的博士候選人及研究助理的Pranav Mistry是發(fā)明的“第六感”裝置，引起世界轟動。 在技術(shù)實現(xiàn)上，根據(jù)使用條件，采用定制開發(fā)的算法，有別于常用的跟蹤算法，將顏色與位置等信息向結(jié)合，加以廣度優(yōu)先及最優(yōu)匹配，并在運行時采用機器學習原理，不斷調(diào)整跟蹤特征值，達到良好的跟蹤效果。同時在函數(shù)設計上，采用雙層函數(shù)上的匹配擬合，達到良好的使用體驗。
獲獎情況及鑒定結(jié)果
- 該作品于2010年11月12日，于山東大學，獲得山東大學軟件學院“創(chuàng)新杯”一等獎。
作品所處階段
- 中試階段
技術(shù)轉(zhuǎn)讓方式
- 一次性結(jié)算
作品可展示的形式
- 現(xiàn)場演示，圖片，錄像，樣品
使用說明,技術(shù)特點和優(yōu)勢,適應范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預測
- 技術(shù)特點： 高可用性及高移植性。指標有別于其他機器視覺項目、手勢識別項目依賴較高的攝像頭分辨率及較高的CPU運算資源的限制，實現(xiàn)在上網(wǎng)本等較低運算能力平臺的應用，同時良好的跨平臺性質(zhì)使之能良好的運行在MeeGo平臺，即可適用于智能移動平臺上如智能手機平板電腦上。 推廣前景說明： 虛擬鼠標可以使用計算機和手機自帶的攝像機以及攝像功能，使用者可通過計算機或手機進行單擊、雙擊、右擊、拖拽等鼠標操作，讓沉悶單調(diào)的鼠標增添不少生動的氣氛，為商業(yè)、游戲、教育和影音娛樂市場提供了活潑互動的選擇。該系統(tǒng)通過增添模塊可以進一步實現(xiàn)手語的學習功能，空間繪畫功能以及游戲操控中。 虛擬鼠標顯示了技術(shù)的創(chuàng)新，是新概念的人機交互模式，賦予市場全新的定位，改變了舊有的刻板操作，帶來了科技的創(chuàng)新，創(chuàng)造了雙向互動的新潮流。同時脫離了硬件的設置，實現(xiàn)了低碳環(huán)保，避免了細菌的接觸式傳染。
同類課題研究水平概述
- 現(xiàn)有同類課題主要分兩大類，一類是激光筆虛擬鼠標，通過提取光點圖像坐標建立與計算機屏幕坐標的對應，此類虛擬鼠標采用了求解二維平面間單應性映射矩陣的方法進行標定，在市場上的激光筆虛擬鼠標并不具備對鼠標位置進行光線跟蹤定位的功能，只能實現(xiàn)類似鼠標單擊雙擊，播放PPT時上下頁面的切換等功能，并不能廣泛應用到對電腦的操控，不具新穎獨特的用戶交互體驗，在使用上也受應用的局限。另一類是基于手勢、眼睛視線或人臉特征等身體特征的虛擬鼠標，Nouse基于雙目立體視覺技術(shù)和極線幾何關(guān)系，完成鼻尖三維空間定位，實現(xiàn)對計算機的簡單控制。該類虛擬鼠標系統(tǒng)的成本較高、視場范圍小、標定過程復雜、立體匹配難、計算量大、實時性較差對平臺的要求較高也使其不具良好的移植性，同時，在控制時，需要不斷移動頭部，與用戶使用習慣相差很大很難普及推廣。2009年，麻省理工學院(MIT)媒體實驗室(Media Lab)的博士候選人及研究助理的Pranav Mistry是發(fā)明的“第六感”裝置，引起世界轟動。該設施將攝像頭與投影儀集合，通過攝像頭捕捉操作者的動作，用投影儀進行呈現(xiàn)的方式，將數(shù)字世界帶入人們的生活中。 在跟蹤算法上，沒有基于機器學習，結(jié)合目標特征值及相對位置信息的跟蹤算法，對對象進行實時跟蹤。在跟蹤上，首先是基于已經(jīng)定義的特征值，以及多對象間存在的相對位置信息，確定目標值，再分析每次檢測出對象的特征值受環(huán)境光線影響變化，計算受影響系數(shù)，將系數(shù)加權(quán)到下次搜索過程中，得到精確度更高的結(jié)果。該跟蹤方法針對本項目在使用過程中的條件設計實現(xiàn)，能較好的實現(xiàn)在光線變化情況下的識別，同時在本領(lǐng)域內(nèi)沒有搜索到相關(guān)文獻。具有獨立的知識產(chǎn)權(quán)。同時，在本項目中采用的二次重疊函數(shù)映射法，也并未在之前論文期刊等中出現(xiàn)，采用二次重疊函數(shù)映射法，提高了移動精度。本項目在位置映射時并沒有采用普遍的一次函數(shù)直接映射，而是采用兩次函數(shù)映射實現(xiàn)鼠標位置移動定位。以移動食指完成鼠標位置定位為例，在移動較近距離時，用戶往往慢慢移動，而想要實現(xiàn)跨度較大的移動時，移動速度較快。而用戶覺察到是否定位到指定位置是通過人眼的觀察?；谝陨戏治?，二次重疊函數(shù)映射法得以實現(xiàn)，即在短距離移動時，使用較多的像素點信息，當移動距離較大時，使用較少像素點，通過一次映射后將調(diào)整后的位置坐標映射到屏幕上。該方法在本項目中首次出現(xiàn)，沒有文獻記錄。
