題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于雙目立體視覺(jué)的人機(jī)界面裝置
- 來(lái)源：
- 第十一屆“挑戰(zhàn)杯”國(guó)賽作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡(jiǎn)介：
- 本裝置基于雙目立體視覺(jué)技術(shù)，通過(guò)在成本較低的市售視頻采集裝置上加裝自制紅外濾光片，對(duì)紅外光源進(jìn)行捕捉，實(shí)時(shí)計(jì)算目標(biāo)物體在三維空間中的位置坐標(biāo)，實(shí)現(xiàn)了實(shí)時(shí)高效的三維重建。本作品可作為底層接口對(duì)不同的應(yīng)用進(jìn)行擴(kuò)展，可應(yīng)用于涉及動(dòng)作捕捉、空間定位、機(jī)器立體視覺(jué)等各類領(lǐng)域。
- 詳細(xì)介紹：
- 本作品采用雙目立體視覺(jué)中的兩攝像機(jī)平行的方案作為理論基礎(chǔ)。紅外捕捉裝置由價(jià)格低廉的市售攝像頭組裝而成，再加上自制的濾光片構(gòu)成了硬件部分。紅外發(fā)射裝置是由IRL-715和簡(jiǎn)易電路組裝而成。軟件部分按幀對(duì)視頻流進(jìn)行處理并提取圖像坐標(biāo)信息，從而計(jì)算出三維坐標(biāo)，由于算法經(jīng)過(guò)簡(jiǎn)化，所以滿足了實(shí)時(shí)性。本作品界面簡(jiǎn)易，操作簡(jiǎn)單，并且價(jià)格低廉，擴(kuò)展性極強(qiáng)，可以出現(xiàn)在任何需要進(jìn)行動(dòng)作捕捉和空間定位的場(chǎng)合，具有極高的應(yīng)用價(jià)值。 工作流程： 1、攝像機(jī)標(biāo)定: 由于我們采用兩攝像機(jī)平行的方案，所以攝像機(jī)的內(nèi)外參數(shù)都在硬件組裝的時(shí)候就可以計(jì)算出來(lái)，所以省略了攝像機(jī)標(biāo)定這個(gè)步驟。在應(yīng)用中，攝像機(jī)參數(shù)被寫在程序里，直接參與三維重建的運(yùn)算。這樣的方案解決了每次使用系統(tǒng)前都需要對(duì)攝像機(jī)相關(guān)參數(shù)進(jìn)行標(biāo)定的問(wèn)題，是用戶的使用更加的方便。 2、圖像獲取: 我們調(diào)用相關(guān)的函數(shù)將視頻流調(diào)如內(nèi)存，由于我們只需要YUY2格式中的亮度信息，所以我們只提取亮度信息。使用紅外濾鏡和紅外線光源后，獲取的圖片色彩單一，只有黑白兩色，所以不用考慮噪音的干擾，也節(jié)省了一些圖像預(yù)處理的時(shí)間。 3、特征點(diǎn)提取和立體匹配: 根據(jù)獲取的亮度信息（0-255），我們就可以判斷哪里是亮點(diǎn)，哪里是暗點(diǎn)。經(jīng)過(guò)大量數(shù)據(jù)的分析后發(fā)現(xiàn)，在考慮光暈的情況下，光源的亮度值基本都大于180。所以我們將亮度值180設(shè)為分界點(diǎn)后，對(duì)圖像進(jìn)行處理，從而獲取光源的圖像坐標(biāo)信息。由于我們只有一個(gè)光源，所以不需要進(jìn)行立體匹配，以后根據(jù)不同的應(yīng)用可以加入多點(diǎn)識(shí)別的立體匹配算法。 4、三維重建 根據(jù)特征點(diǎn)提取出來(lái)的圖片信息和攝像頭的相關(guān)參數(shù)信息，我們就可以用三維重建算法計(jì)算三維坐標(biāo)。 應(yīng)用領(lǐng)域： 我們將DCE的實(shí)際應(yīng)用大體分為三大方面。動(dòng)作捕捉、空間定位和機(jī)器立體視覺(jué)。 動(dòng)作捕捉 通過(guò)處理目標(biāo)物體的空間運(yùn)動(dòng)軌跡便可以實(shí)現(xiàn)一系列人機(jī)交互的功能，令計(jì)算機(jī)系統(tǒng)更加“人性化”。只提取兩維信息可以實(shí)現(xiàn)常規(guī)無(wú)線鼠標(biāo)的功能。將其三維信息提取，便可應(yīng)用于時(shí)下較為流行的3D游戲，通過(guò)實(shí)現(xiàn)游戲控制的三維鼠標(biāo)，來(lái)模擬空間立體效果，更真實(shí)的讓玩家體驗(yàn)到身臨其境的感覺(jué)。不僅如此，當(dāng)前我們的掌上電腦——手機(jī),卻始終沒(méi)有出現(xiàn)鼠標(biāo)這個(gè)概念。將DCE置于手機(jī)的一側(cè)，用戶只需配帶一個(gè)紅外發(fā)射裝置，在其周圍寫寫畫畫就可以實(shí)現(xiàn)手機(jī)鼠標(biāo)。這將加速推動(dòng)智能化手機(jī)的發(fā)展。另外，如果我們將程序中識(shí)別的算法寫的更精細(xì)一些，即可以將DCE引入工業(yè)化生產(chǎn)的領(lǐng)域，它將會(huì)在3D場(chǎng)景的三維動(dòng)作采集，實(shí)時(shí)的機(jī)械手控制裝置中發(fā)揮其顯著的作用。 空間定位 將DCE自身的空間坐標(biāo)系與目標(biāo)物體的坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，就可以得到它們?cè)诳臻g上的相對(duì)位置關(guān)系，令計(jì)算機(jī)系統(tǒng)更加“智能化”?；谶@個(gè)原理，我們將紅外發(fā)射裝置安置于DCE可視范圍內(nèi)規(guī)定出的一個(gè)鍵盤區(qū)域中，并對(duì)這個(gè)區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控，根據(jù)發(fā)射紅外線的光源位置不同，即可接收不同的鍵盤消息，從而實(shí)現(xiàn)無(wú)線虛擬鍵盤。隨著智能化筆記本不斷的飛速發(fā)展，筆記本的輕便性已漸漸為人們所重視。將DCE實(shí)現(xiàn)的無(wú)線虛擬鍵盤應(yīng)用于其中，不但能令筆記本的厚度大大減小，更能在一定程度上解決它的散熱問(wèn)題。這將為便攜式電腦的發(fā)展做出具大的貢獻(xiàn)。 機(jī)器立體視覺(jué) 由于我們可以不斷的接收外界發(fā)來(lái)的信號(hào)，并實(shí)時(shí)的進(jìn)行三維坐標(biāo)的還原。這樣使DCE和機(jī)器結(jié)合，將會(huì)令機(jī)器持續(xù)的感知物體在三維空間的變化，產(chǎn)生立體視覺(jué)，令計(jì)算機(jī)系統(tǒng)的感知范圍“立體化”。根據(jù)這個(gè)特點(diǎn)，佩帶上DCE的機(jī)器人將會(huì)像人類一樣不斷的“做出判斷”，實(shí)時(shí)的感覺(jué)不同物源的空間位置，做出跟隨的動(dòng)作。通過(guò)不斷的改進(jìn)，必將滿足人類對(duì)它的渴望與需求。正如當(dāng)今車載GPS系統(tǒng)的盛行，將DCE安置于汽車將更加的方便道路交通管理。每輛車的四個(gè)車燈處都添加紅外發(fā)射裝置，在車輛行駛的過(guò)程中，DCE會(huì)實(shí)時(shí)的觀測(cè)周圍車輛的距離，并作出判斷，一定范圍內(nèi)發(fā)出報(bào)警訊號(hào)，以提示駕駛員做出相應(yīng)的減速、剎車動(dòng)作。在道路交通事故日益嚴(yán)重的今天，擁有這樣的車輛警報(bào)系統(tǒng)將更有效保證道路的安全駕駛，避免了很多災(zāi)難的發(fā)生。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 發(fā)明目的： 為了實(shí)現(xiàn)實(shí)時(shí)三維重建，讓計(jì)算機(jī)可以用數(shù)碼攝像裝置直接捕獲和分析用戶的動(dòng)作，從而獲取信息，使人機(jī)交互方式更為多樣化，操作更方便，我們發(fā)明了基于雙目立體視覺(jué)的人機(jī)界面裝置。 基本思路、技術(shù)關(guān)鍵： 要實(shí)現(xiàn)實(shí)時(shí)的三維信息還原，技術(shù)關(guān)鍵在于如何能讓計(jì)算機(jī)在極短的時(shí)間內(nèi)識(shí)別出目標(biāo)物體并且立體匹配，也就是簡(jiǎn)化立體視覺(jué)的實(shí)現(xiàn)流程。經(jīng)過(guò)分析，只要將色彩信息進(jìn)行過(guò)濾，只保留我們想要的目標(biāo)物體的信息就可以解決這個(gè)問(wèn)題。所以我們自制了可以濾去可見光的濾光片，安裝在攝像頭的內(nèi)部。這樣只保留紅外線圖像信息，就可以不用考慮可見光的干擾。 創(chuàng)新點(diǎn)： 1、使用紅外光源作為捕捉對(duì)象，并且使用自制的濾光片濾光，可以忽略可見光的干擾，不用考慮紅外線以外的信息，也不再受目標(biāo)物體外形的限制，從而簡(jiǎn)化雙目立體視覺(jué)的特征點(diǎn)提取和立體匹配的部分，提高了程序的運(yùn)行效率，在保證實(shí)時(shí)性的同時(shí)不給CPU帶來(lái)太大的負(fù)擔(dān)，目前沒(méi)有同概念的產(chǎn)品。 2、本作品摒棄了以往立體視覺(jué)中使用高檔高精度攝像機(jī)作為接收裝置，而是采用市售視頻裝置，大大降低了系統(tǒng)的成本，使本作品更容易被大眾接受，實(shí)屬創(chuàng)新。 技術(shù)指標(biāo): CPU占用率：6%以下（英特爾 賽揚(yáng) 雙核處理器T1400） 測(cè)量范圍：根據(jù)兩攝像頭間距不同，量程可變 誤差：當(dāng)兩攝像頭間距為5cm時(shí) 10cm-50cm 誤差為5%
科學(xué)性、先進(jìn)性
- 概念創(chuàng)新： 由于設(shè)備的局限性導(dǎo)致現(xiàn)在計(jì)算機(jī)很難短時(shí)間內(nèi)從色彩豐富的圖像信息中捕捉目標(biāo)物體。但是彩色CCD可以看到人眼看不到的紅外線，所以我們自制了紅外濾鏡，濾去可見光后再對(duì)紅外光源進(jìn)行捕捉，從而極大的簡(jiǎn)化了模式識(shí)別的算法，提高了程序的運(yùn)行效率，基本保證了實(shí)時(shí)性，這時(shí)本作品的特色。 簡(jiǎn)易便攜，擴(kuò)展性強(qiáng)： 系統(tǒng)設(shè)備相較數(shù)碼相機(jī)更為輕便，體積小，易安裝使用，可以出現(xiàn)在任何需要進(jìn)行動(dòng)作捕捉或者三維非精確測(cè)量的場(chǎng)合，能夠轉(zhuǎn)型到很多領(lǐng)域，如模擬鼠標(biāo)鍵盤、游戲控制信號(hào)、教學(xué)輔助激光筆等用品的功能，十分容易普及。本裝置作為三維還原接口可以擴(kuò)展到很多領(lǐng)域，擴(kuò)展性極強(qiáng)。 價(jià)格低廉： 目前數(shù)字近景測(cè)量系統(tǒng)比較流行的是選取高檔數(shù)碼相機(jī)，但這樣的設(shè)備價(jià)格也比較昂貴，數(shù)碼相機(jī)的單價(jià)就在1000元左右，而本項(xiàng)目的設(shè)備價(jià)格十分低廉，使用市售視頻裝置連帶自制的紅外濾鏡和紅外光源，整套系統(tǒng)價(jià)格低于200元，適用于民用用途。
獲獎(jiǎng)情況及鑒定結(jié)果
- 2009年“挑戰(zhàn)杯”吉林省大學(xué)生課外學(xué)術(shù)科技作品競(jìng)賽 科技發(fā)明制作類 一等獎(jiǎng)
作品所處階段
- 實(shí)驗(yàn)室階段
技術(shù)轉(zhuǎn)讓方式
- 無(wú)
作品可展示的形式
- 實(shí)物 磁盤 現(xiàn)場(chǎng)演示 圖片 錄像 樣品
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 本作品的特點(diǎn)是操作簡(jiǎn)單，易上手使用。裝置便攜易安裝，可以出現(xiàn)在任何場(chǎng)合。擴(kuò)展性強(qiáng)，應(yīng)用范圍極廣。價(jià)格十分低廉，可以被大眾接受。 本作品作為底層三維還原接口，可以通過(guò)調(diào)整兩攝像頭間距來(lái)調(diào)整有效范圍，并且配合不同功能的軟件，應(yīng)用于各種需要進(jìn)行實(shí)時(shí)三維還原的領(lǐng)域。 通過(guò)處理目標(biāo)物體的空間運(yùn)動(dòng)軌跡便可以實(shí)現(xiàn)一系列人機(jī)交互的功能，如模擬鼠標(biāo)的功能，更是可以處理三維信息，實(shí)現(xiàn)控制3D游戲的三維鼠標(biāo)，甚至可以將鼠標(biāo)這個(gè)概念引入手機(jī)。 將本裝置自身的空間坐標(biāo)系與目標(biāo)物體的坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，就可以得到它們?cè)诳臻g上的相對(duì)位置關(guān)系?；谶@個(gè)原理，我們可以根據(jù)紅外光源位置不同，發(fā)送不同的鍵盤消息，從而實(shí)現(xiàn)無(wú)線虛擬鍵盤的功能。 將本裝置和機(jī)器結(jié)合，根據(jù)還原出的三維坐標(biāo)，做出不同的判斷，便可以讓機(jī)器擁有實(shí)時(shí)的立體視覺(jué)，可見本裝置可以用于機(jī)器人導(dǎo)航等領(lǐng)域，可以使機(jī)器更加智能化。
同類課題研究水平概述
- 從20世紀(jì)80年代至今，立體視覺(jué)的研究者們對(duì)立體視覺(jué)的各個(gè)層次進(jìn)行了大量的研究，取得了一大批科研成果?，F(xiàn)在國(guó)際上以計(jì)算機(jī)視覺(jué)為主題或主要以計(jì)算機(jī)視覺(jué)為主題的國(guó)際會(huì)議有國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議（ICCV），國(guó)際模式識(shí)別會(huì)議(ICPR)，國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議(CVPR)，歐洲計(jì)算機(jī)視覺(jué)會(huì)議(ECCV)與亞洲計(jì)算機(jī)視覺(jué)會(huì)議(ACCV)。以計(jì)算機(jī)視覺(jué)為主要內(nèi)容之一的國(guó)際刊物也很多，有IEEE Trans. On PAM1,Visual Image Computing, IJPRAI,Pattern Recognition等。 但是，隨著計(jì)算機(jī)視覺(jué)研究的不斷深入，人們發(fā)現(xiàn)了馬爾視覺(jué)理論的局限性，這些理論、方法、算法在實(shí)際應(yīng)用中并沒(méi)有產(chǎn)生能完全取代人的視覺(jué)系統(tǒng)。無(wú)論是從視覺(jué)生理的角度，還是從實(shí)際應(yīng)用方面來(lái)看，現(xiàn)有的立體視覺(jué)技術(shù)還處在十分不成熟的階段，計(jì)算機(jī)立體視覺(jué)系統(tǒng)的研究面臨著一系列技術(shù)難點(diǎn): 1. 立體匹配作為立體視覺(jué)的核心，在理論上和技術(shù)上都還不完善。例如，如何選擇合理的匹配特征，以克服匹配準(zhǔn)確性與恢復(fù)視差全面性間的矛盾;如何選擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu)，以解決存在嚴(yán)重灰度失真、幾何畸變、噪聲干擾、特殊結(jié)構(gòu)及遮擋景物的匹配問(wèn)題;如何建立更有效的圖像表達(dá)形式和立體視覺(jué)模型，降低立體匹配的難度等。目前也還沒(méi)有一種可靠的通用的匹配方法。 2. 人類對(duì)自身視覺(jué)機(jī)理還不十分了解，人類是如何精選、獲取和分析理解視覺(jué)知識(shí)的，至今還未充分搞清楚。 3. 立體視覺(jué)系統(tǒng)所需的計(jì)算量是非常龐大的，然而實(shí)用的系統(tǒng)對(duì)時(shí)間的要求是有一定限制的。在現(xiàn)階段集成電路和特殊功能部件的發(fā)展還不能滿足實(shí)時(shí)性的要求，這為立體視覺(jué)系統(tǒng)完全變?yōu)閷?shí)用的通用系統(tǒng)設(shè)置了一大障礙。 由于國(guó)內(nèi)外基于立體視覺(jué)的三維還原裝置都是對(duì)可見光進(jìn)行識(shí)別，并且算法十分復(fù)雜，所以實(shí)時(shí)的三維信息還原的裝置并不多見。而用紅外線作為光源進(jìn)行動(dòng)作捕捉更是鳳毛麟角。在TED大賽上曾經(jīng)出現(xiàn)過(guò)一位工程師，用紅外線LED和WII遙控器制作了一個(gè)實(shí)時(shí)的三維動(dòng)作捕捉裝置，但并沒(méi)有將三維信息進(jìn)行還原，而國(guó)內(nèi)尚為出現(xiàn)以紅外線為捕捉對(duì)象的基于立體視覺(jué)的實(shí)時(shí)的三維還原裝置。所以使用紅外濾鏡濾去可見光，用紅外線光源作為捕捉對(duì)象的技術(shù)路線十分的新穎，在國(guó)內(nèi)外都很少見。
