題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 移動(dòng)機(jī)器人的視覺跟蹤系統(tǒng)
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”省賽作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡(jiǎn)介：
- 利用C++軟件平臺(tái)、Intel建立的開源計(jì)算機(jī)視覺開放庫(kù)（OpenCV）設(shè)計(jì)并實(shí)現(xiàn)了一種可以跟蹤場(chǎng)景中的紅色物體的跟蹤系統(tǒng)，該系統(tǒng)可以相對(duì)有效的避免場(chǎng)景中的光線干擾，通過(guò)計(jì)算物體輪廓重心在圖像中的位置來(lái)控制機(jī)器人的轉(zhuǎn)動(dòng)，并根據(jù)面積的變化控制機(jī)器人的前進(jìn)后退及停止。此系統(tǒng)可有效的在復(fù)雜的場(chǎng)景中跟蹤物體，系統(tǒng)采用簡(jiǎn)單指令控制，計(jì)算量小，具有很好的魯棒性和實(shí)時(shí)性。
- 詳細(xì)介紹：
- 為了實(shí)現(xiàn)移動(dòng)機(jī)器人系統(tǒng)跟蹤場(chǎng)景中紅色物體，首先上位機(jī)（聯(lián)想筆記本電腦Y460）利用C++軟件平臺(tái)、Intel建立的開源計(jì)算機(jī)視覺開放庫(kù)（OpenCV）和外加的攝像頭實(shí)現(xiàn)目標(biāo)物體（紅色物體）的圖像采集和識(shí)別，并處理數(shù)據(jù)形成下位機(jī)控制指令，最后通過(guò)串口傳送給下位機(jī)，而下位機(jī)按接收到的指令控制電機(jī)轉(zhuǎn)速和轉(zhuǎn)向，實(shí)現(xiàn)目標(biāo)物體的跟蹤。 在C++軟件平臺(tái)中用OpenCV函數(shù)實(shí)現(xiàn)視頻圖像獲取，并將圖像由RGB空間轉(zhuǎn)換成Lab空間，然后再提取其中的b空間視頻圖像，實(shí)現(xiàn)物體的初步剝離，再通過(guò)閾值化實(shí)現(xiàn)視頻圖像的二值化，并用中值濾波和形態(tài)學(xué)中的腐蝕、膨脹進(jìn)行多次處理，以去除噪聲信號(hào)，經(jīng)過(guò)這一系列的操作后可實(shí)現(xiàn)目標(biāo)物體輪廓的提取,最后利用圖像的矩來(lái)確定目標(biāo)物體輪廓的重心，利用OpenCV函數(shù)實(shí)現(xiàn)目標(biāo)物體面積的計(jì)算，最后利用輪廓重心和面積兩個(gè)參數(shù)來(lái)確定當(dāng)前移動(dòng)機(jī)器人的行動(dòng)方式及相應(yīng)的下位機(jī)控制指令，并通過(guò)串口傳給下位機(jī),進(jìn)而實(shí)現(xiàn)目標(biāo)物體的跟蹤。 上位機(jī)實(shí)現(xiàn)：上位機(jī)軟件程序設(shè)計(jì)是利用基于VC++平臺(tái)的Intel建立的開源計(jì)算機(jī)視覺開放庫(kù)（OpenCV）設(shè)計(jì)并實(shí)現(xiàn)這個(gè)系統(tǒng)。同時(shí)為了將處理過(guò)的數(shù)據(jù)通過(guò)串口傳送給下位機(jī)，此上位機(jī)的軟件設(shè)計(jì)中還是用了一個(gè)CSerialport類。 過(guò)程：在場(chǎng)景中有目標(biāo)物體后，打開計(jì)算機(jī)電腦的串口和筆記本電腦自帶的攝像頭開始圖像的采集，取得當(dāng)前幀后，將此幀圖像的RGB顏色空間轉(zhuǎn)換成Lab空間，然后再提取其中的b空間視頻圖像，實(shí)現(xiàn)物體的初步剝離，再通過(guò)閾值化實(shí)現(xiàn)視頻圖像的二值化，并用中值濾波和形態(tài)學(xué)中的腐蝕、膨脹進(jìn)行多次處理，以去除噪聲信號(hào)，經(jīng)過(guò)這一系列的操作后可實(shí)現(xiàn)目標(biāo)物體輪廓的提取,最后利用圖像的矩來(lái)確定目標(biāo)物體輪廓的重心，利用OpenCV函數(shù)實(shí)現(xiàn)目標(biāo)物體面積的計(jì)算，最后利用輪廓重心和面積兩個(gè)參數(shù)來(lái)確定當(dāng)前移動(dòng)機(jī)器人的行動(dòng)方式及相應(yīng)的下位機(jī)控制指令，驅(qū)動(dòng)下位機(jī)實(shí)現(xiàn)目標(biāo)物體的跟蹤。 下位機(jī)：下位機(jī)主要是利用單片機(jī)控制和L298N芯片驅(qū)動(dòng)兩路電機(jī)，實(shí)現(xiàn)機(jī)器人的行走。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 作品設(shè)計(jì)目的：隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，計(jì)算能力得到了極大的提高，使得利用計(jì)算機(jī)實(shí)現(xiàn)人類的視覺功能成為目前計(jì)算機(jī)領(lǐng)域中最熱門的課題之一視覺跟蹤(Visual tracking)問(wèn)題是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問(wèn)題。視覺跟蹤問(wèn)題引起廣泛關(guān)注是由于它能夠應(yīng)用于民用和軍事的許多領(lǐng)域。視覺跟蹤問(wèn)題主要包括三個(gè)方面:視頻監(jiān)視，圖像壓縮和三維重構(gòu)?；谶@些問(wèn)題而設(shè)計(jì)了此機(jī)器人視覺跟蹤系統(tǒng)。 基本思路：為了實(shí)現(xiàn)移動(dòng)機(jī)器人系統(tǒng)跟蹤場(chǎng)景中紅色物體，首先上位機(jī)（聯(lián)想筆記本電腦Y460）利用C++軟件平臺(tái)、Intel建立的開源計(jì)算機(jī)視覺開放庫(kù)（OpenCV）和外加攝像頭實(shí)現(xiàn)目標(biāo)物體（紅色物體）的圖像采集和識(shí)別，并處理數(shù)據(jù)形成下位機(jī)控制指令，最后通過(guò)串口傳送給下位機(jī)，而下位機(jī)按接收到的指令控制電機(jī)轉(zhuǎn)速和轉(zhuǎn)向，實(shí)現(xiàn)目標(biāo)物體的跟蹤。 技術(shù)關(guān)鍵： 1）采用Lab空間b通道圖像實(shí)現(xiàn)目標(biāo)與背景的剝離。 2）上位機(jī)通過(guò)對(duì)輪廓重心和面積的提取形成簡(jiǎn)單指令控制，計(jì)算量小，實(shí)時(shí)性好。 3）利用單片機(jī)控制的L298N芯片來(lái)驅(qū)動(dòng)兩路電機(jī)。 參考資料： 1）侯志強(qiáng)，韓崇昭.視覺跟蹤技術(shù)綜述.自動(dòng)化學(xué)報(bào)，2006,07. 2）周天娟.基于機(jī)器視覺的草莓采摘機(jī)器人技術(shù)研究.中國(guó)農(nóng)業(yè)大學(xué)博士學(xué)位論文，2007,06,01. 3）彭娟春,顧立忠,蘇劍波.基于Camshift 和Kalman 濾波的仿人機(jī)器人手勢(shì)跟蹤.上海交通大學(xué)學(xué)報(bào),2006,07.
科學(xué)性、先進(jìn)性
- 此機(jī)器人視覺跟蹤系統(tǒng)是車載單攝像機(jī)跟蹤單運(yùn)動(dòng)剛體目標(biāo)系統(tǒng)，且是基于物體特征的跟蹤系統(tǒng)，它是跟蹤場(chǎng)景中的紅色物體。而現(xiàn)在主要的分割目標(biāo)物體的方法有: 1）利用Lab色彩模型中的a通道來(lái)分割目標(biāo)。 2）利用Lab色彩模型中的b通道來(lái)分割目標(biāo)。 3）LRCD處理方法 4）RGB模型下的色彩圖像分割。 經(jīng)過(guò)試驗(yàn)Lab空間的b通道分割方法最好，通過(guò)在b通道圖像中分割紅色物體，能夠得到完整的物體輪廓，效果非常好，且受光照影響較小，此方法方便簡(jiǎn)單。 對(duì)于Lab空間的a通道處理方法，雖然a通道是Lab空間中綠色到紅色的光譜變化，可以直接將紅色物體的分割，但是受很多的相近顏色的干擾，導(dǎo)致分割效果差，適應(yīng)性差。 對(duì)于LRCD的處理方法因?yàn)槭芄庹沼绊戄^大，不能很到的適應(yīng)環(huán)境，效果較差。對(duì)于RGB模型下的色彩圖像分割對(duì)圖像的處理速度快，非常簡(jiǎn)單方便，但同樣受光照影響較大，不能很好的適應(yīng)環(huán)境。 綜合考慮Lab空間下的b通道分割場(chǎng)景中的紅色物體的效果是最好的，實(shí)際驗(yàn)證也是如此。
獲獎(jiǎng)情況及鑒定結(jié)果
- 暫無(wú)
作品所處階段
- 實(shí)驗(yàn)室階段
技術(shù)轉(zhuǎn)讓方式
- 無(wú)
作品可展示的形式
- 1、現(xiàn)場(chǎng)演示 2、錄像 3、圖片
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 該機(jī)器人視覺跟蹤系統(tǒng)是基于物體特征的跟蹤系統(tǒng)，用于跟蹤場(chǎng)景中的紅色物體，當(dāng)場(chǎng)景中有紅色物體時(shí)，該系統(tǒng)便會(huì)進(jìn)行跟蹤。此系統(tǒng)特點(diǎn)是使用Lab空間的b通道圖像的分割算法，控制指令簡(jiǎn)單，計(jì)算量小，下位機(jī)采用L298N驅(qū)動(dòng)兩路電機(jī)，系統(tǒng)實(shí)時(shí)性較好。 同時(shí)由于此系統(tǒng)是基于特征的跟蹤系統(tǒng)，所以對(duì)場(chǎng)景本身有一定的要求。在該場(chǎng)景中不能有與紅色太過(guò)相近的物體，否則可能會(huì)導(dǎo)致跟蹤失敗。雖然此系統(tǒng)是基于Lab空間的b通道圖像的分割，能夠有效的避免光線的干擾，但是場(chǎng)景中的光線不能夠太強(qiáng)，否則同樣會(huì)跟蹤失敗。
同類課題研究水平概述
- 視覺跟蹤，就是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，提取、識(shí)別和跟蹤，獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度等，以及運(yùn)動(dòng)軌跡，從而進(jìn)行進(jìn)一步處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的任務(wù)。視覺跟蹤問(wèn)題引起廣泛關(guān)注是由于它能夠應(yīng)用于民用和軍事的許多領(lǐng)域，主要包括三個(gè)方面:視頻監(jiān)視，圖像壓縮和三維重構(gòu)。 現(xiàn)在的主要的視覺跟蹤算法分為基于區(qū)域的跟蹤算法( region2based tracking algorithm) 、基于模型的跟蹤算法(model2based tracking algorithm) 、基于特征的跟蹤算法( feature2based tracking algorithm) 、基于主動(dòng)輪廓的跟蹤算法( active contour2based tracking al2gorithm)。 對(duì)于這些算法常用的數(shù)學(xué)方法有: 卡爾曼濾波器( Kal2man filter) 、Mean shift、粒子濾波器(particle filter) 、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等。Mean shift方法是一種快速的、沿著梯度方向進(jìn)行迭代的方法，因此能夠較快地找到核密度估計(jì)的峰值(模式)。它傾向于忽略離感興趣區(qū)域較遠(yuǎn)的數(shù)據(jù)。粒子濾波器是一種基于貝葉斯遞歸推理和蒙特卡洛方法的非線性系統(tǒng)分析工具. 粒子濾波器主要包含重要性取樣和選擇(再取樣)。它有2個(gè)重要的成組成：動(dòng)態(tài)模型和似然模型,動(dòng)態(tài)模型決定粒子如何在狀態(tài)空間中傳播,似然模型賦予粒子權(quán)值,隨后和噪聲測(cè)量相關(guān)聯(lián)。 雖然出現(xiàn)這些算法和數(shù)學(xué)方法，但是依舊有很多的問(wèn)題沒(méi)有解決。從控制的觀點(diǎn)來(lái)看，視覺跟蹤問(wèn)題所面臨的主要難點(diǎn)可以歸結(jié)為對(duì)視覺跟蹤算法在三個(gè)方面的要求，即對(duì)算法的魯棒性、準(zhǔn)確性和快速性要求。1)魯棒性(Robustness)。所謂魯棒性是指視覺跟蹤算法能夠在各種環(huán)境條件下實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)持續(xù)穩(wěn)定的跟蹤。2)準(zhǔn)確性(Accuracy)。在視覺跟蹤研究中，準(zhǔn)確性包括兩個(gè)方面，一是指對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性，另一個(gè)是指對(duì)運(yùn)動(dòng)目標(biāo)分割的準(zhǔn)確性。3)快速性(Speed)。一個(gè)實(shí)用的視覺跟蹤系統(tǒng)必須能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤，這就要求視覺跟蹤算法必須具有快速性。 現(xiàn)在在視覺跟蹤領(lǐng)域還有很多的問(wèn)題有待解決，針對(duì)這些問(wèn)題該車載攝像機(jī)跟蹤單運(yùn)動(dòng)剛體目標(biāo)系統(tǒng)實(shí)現(xiàn)了跟蹤場(chǎng)景中的紅色物體，且實(shí)時(shí)性較好。
