基本信息
- 項目名稱：
- 移動機器人的視覺跟蹤系統(tǒng)
- 小類：
- 信息技術
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 利用C++軟件平臺、Intel建立的開源計算機視覺開放庫（OpenCV）設計并實現(xiàn)了一種可以跟蹤場景中的紅色物體的跟蹤系統(tǒng)，該系統(tǒng)可以相對有效的避免場景中的光線干擾，通過計算物體輪廓重心在圖像中的位置來控制機器人的轉動，并根據面積的變化控制機器人的前進后退及停止。此系統(tǒng)可有效的在復雜的場景中跟蹤物體，系統(tǒng)采用簡單指令控制，計算量小，具有很好的魯棒性和實時性。
- 詳細介紹：
- 為了實現(xiàn)移動機器人系統(tǒng)跟蹤場景中紅色物體，首先上位機（聯(lián)想筆記本電腦Y460）利用C++軟件平臺、Intel建立的開源計算機視覺開放庫（OpenCV）和外加的攝像頭實現(xiàn)目標物體（紅色物體）的圖像采集和識別，并處理數據形成下位機控制指令，最后通過串口傳送給下位機，而下位機按接收到的指令控制電機轉速和轉向，實現(xiàn)目標物體的跟蹤。 在C++軟件平臺中用OpenCV函數實現(xiàn)視頻圖像獲取，并將圖像由RGB空間轉換成Lab空間，然后再提取其中的b空間視頻圖像，實現(xiàn)物體的初步剝離，再通過閾值化實現(xiàn)視頻圖像的二值化，并用中值濾波和形態(tài)學中的腐蝕、膨脹進行多次處理，以去除噪聲信號，經過這一系列的操作后可實現(xiàn)目標物體輪廓的提取,最后利用圖像的矩來確定目標物體輪廓的重心，利用OpenCV函數實現(xiàn)目標物體面積的計算，最后利用輪廓重心和面積兩個參數來確定當前移動機器人的行動方式及相應的下位機控制指令，并通過串口傳給下位機,進而實現(xiàn)目標物體的跟蹤。 上位機實現(xiàn)：上位機軟件程序設計是利用基于VC++平臺的Intel建立的開源計算機視覺開放庫（OpenCV）設計并實現(xiàn)這個系統(tǒng)。同時為了將處理過的數據通過串口傳送給下位機，此上位機的軟件設計中還是用了一個CSerialport類。 過程：在場景中有目標物體后，打開計算機電腦的串口和筆記本電腦自帶的攝像頭開始圖像的采集，取得當前幀后，將此幀圖像的RGB顏色空間轉換成Lab空間，然后再提取其中的b空間視頻圖像，實現(xiàn)物體的初步剝離，再通過閾值化實現(xiàn)視頻圖像的二值化，并用中值濾波和形態(tài)學中的腐蝕、膨脹進行多次處理，以去除噪聲信號，經過這一系列的操作后可實現(xiàn)目標物體輪廓的提取,最后利用圖像的矩來確定目標物體輪廓的重心，利用OpenCV函數實現(xiàn)目標物體面積的計算，最后利用輪廓重心和面積兩個參數來確定當前移動機器人的行動方式及相應的下位機控制指令，驅動下位機實現(xiàn)目標物體的跟蹤。 下位機：下位機主要是利用單片機控制和L298N芯片驅動兩路電機，實現(xiàn)機器人的行走。
作品圖片
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術關鍵和主要技術指標
- 作品設計目的：隨著計算機技術的不斷發(fā)展，計算能力得到了極大的提高，使得利用計算機實現(xiàn)人類的視覺功能成為目前計算機領域中最熱門的課題之一視覺跟蹤(Visual tracking)問題是計算機視覺領域中的一個重要問題。視覺跟蹤問題引起廣泛關注是由于它能夠應用于民用和軍事的許多領域。視覺跟蹤問題主要包括三個方面:視頻監(jiān)視，圖像壓縮和三維重構。基于這些問題而設計了此機器人視覺跟蹤系統(tǒng)。 基本思路：為了實現(xiàn)移動機器人系統(tǒng)跟蹤場景中紅色物體，首先上位機（聯(lián)想筆記本電腦Y460）利用C++軟件平臺、Intel建立的開源計算機視覺開放庫（OpenCV）和外加攝像頭實現(xiàn)目標物體（紅色物體）的圖像采集和識別，并處理數據形成下位機控制指令，最后通過串口傳送給下位機，而下位機按接收到的指令控制電機轉速和轉向，實現(xiàn)目標物體的跟蹤。 技術關鍵： 1）采用Lab空間b通道圖像實現(xiàn)目標與背景的剝離。 2）上位機通過對輪廓重心和面積的提取形成簡單指令控制，計算量小，實時性好。 3）利用單片機控制的L298N芯片來驅動兩路電機。 參考資料： 1）侯志強，韓崇昭.視覺跟蹤技術綜述.自動化學報，2006,07. 2）周天娟.基于機器視覺的草莓采摘機器人技術研究.中國農業(yè)大學博士學位論文，2007,06,01. 3）彭娟春,顧立忠,蘇劍波.基于Camshift 和Kalman 濾波的仿人機器人手勢跟蹤.上海交通大學學報,2006,07.
科學性、先進性
- 此機器人視覺跟蹤系統(tǒng)是車載單攝像機跟蹤單運動剛體目標系統(tǒng)，且是基于物體特征的跟蹤系統(tǒng)，它是跟蹤場景中的紅色物體。而現(xiàn)在主要的分割目標物體的方法有: 1）利用Lab色彩模型中的a通道來分割目標。 2）利用Lab色彩模型中的b通道來分割目標。 3）LRCD處理方法 4）RGB模型下的色彩圖像分割。 經過試驗Lab空間的b通道分割方法最好，通過在b通道圖像中分割紅色物體，能夠得到完整的物體輪廓，效果非常好，且受光照影響較小，此方法方便簡單。 對于Lab空間的a通道處理方法，雖然a通道是Lab空間中綠色到紅色的光譜變化，可以直接將紅色物體的分割，但是受很多的相近顏色的干擾，導致分割效果差，適應性差。 對于LRCD的處理方法因為受光照影響較大，不能很到的適應環(huán)境，效果較差。對于RGB模型下的色彩圖像分割對圖像的處理速度快，非常簡單方便，但同樣受光照影響較大，不能很好的適應環(huán)境。 綜合考慮Lab空間下的b通道分割場景中的紅色物體的效果是最好的，實際驗證也是如此。
獲獎情況及鑒定結果
- 暫無
作品所處階段
- 實驗室階段
技術轉讓方式
- 無
作品可展示的形式
- 1、現(xiàn)場演示 2、錄像 3、圖片
使用說明,技術特點和優(yōu)勢,適應范圍,推廣前景的技術性說明,市場分析,經濟效益預測
- 該機器人視覺跟蹤系統(tǒng)是基于物體特征的跟蹤系統(tǒng)，用于跟蹤場景中的紅色物體，當場景中有紅色物體時，該系統(tǒng)便會進行跟蹤。此系統(tǒng)特點是使用Lab空間的b通道圖像的分割算法，控制指令簡單，計算量小，下位機采用L298N驅動兩路電機，系統(tǒng)實時性較好。 同時由于此系統(tǒng)是基于特征的跟蹤系統(tǒng)，所以對場景本身有一定的要求。在該場景中不能有與紅色太過相近的物體，否則可能會導致跟蹤失敗。雖然此系統(tǒng)是基于Lab空間的b通道圖像的分割，能夠有效的避免光線的干擾，但是場景中的光線不能夠太強，否則同樣會跟蹤失敗。
同類課題研究水平概述
- 視覺跟蹤，就是指對圖像序列中的運動目標進行檢測，提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度等，以及運動軌跡，從而進行進一步處理與分析，實現(xiàn)對運動目標的行為理解，以完成更高一級的任務。視覺跟蹤問題引起廣泛關注是由于它能夠應用于民用和軍事的許多領域，主要包括三個方面:視頻監(jiān)視，圖像壓縮和三維重構。 現(xiàn)在的主要的視覺跟蹤算法分為基于區(qū)域的跟蹤算法( region2based tracking algorithm) 、基于模型的跟蹤算法(model2based tracking algorithm) 、基于特征的跟蹤算法( feature2based tracking algorithm) 、基于主動輪廓的跟蹤算法( active contour2based tracking al2gorithm)。 對于這些算法常用的數學方法有: 卡爾曼濾波器( Kal2man filter) 、Mean shift、粒子濾波器(particle filter) 、動態(tài)貝葉斯網絡等。Mean shift方法是一種快速的、沿著梯度方向進行迭代的方法，因此能夠較快地找到核密度估計的峰值(模式)。它傾向于忽略離感興趣區(qū)域較遠的數據。粒子濾波器是一種基于貝葉斯遞歸推理和蒙特卡洛方法的非線性系統(tǒng)分析工具. 粒子濾波器主要包含重要性取樣和選擇(再取樣)。它有2個重要的成組成：動態(tài)模型和似然模型,動態(tài)模型決定粒子如何在狀態(tài)空間中傳播,似然模型賦予粒子權值,隨后和噪聲測量相關聯(lián)。 雖然出現(xiàn)這些算法和數學方法，但是依舊有很多的問題沒有解決。從控制的觀點來看，視覺跟蹤問題所面臨的主要難點可以歸結為對視覺跟蹤算法在三個方面的要求，即對算法的魯棒性、準確性和快速性要求。1)魯棒性(Robustness)。所謂魯棒性是指視覺跟蹤算法能夠在各種環(huán)境條件下實現(xiàn)對運動目標持續(xù)穩(wěn)定的跟蹤。2)準確性(Accuracy)。在視覺跟蹤研究中，準確性包括兩個方面，一是指對運動目標檢測的準確性，另一個是指對運動目標分割的準確性。3)快速性(Speed)。一個實用的視覺跟蹤系統(tǒng)必須能夠實現(xiàn)對運動目標的實時跟蹤，這就要求視覺跟蹤算法必須具有快速性。 現(xiàn)在在視覺跟蹤領域還有很多的問題有待解決，針對這些問題該車載攝像機跟蹤單運動剛體目標系統(tǒng)實現(xiàn)了跟蹤場景中的紅色物體，且實時性較好。
