基本信息
- 項目名稱：
- 基于人機交互技術的四旋翼飛行器控制系統(tǒng)
- 小類：
- 信息技術
- 大類：
- 科技發(fā)明制作A類
- 簡介：
- 本作品實現的是一種通過手勢控制四旋翼飛行機器人的方法，相比傳統(tǒng)飛行器控制方式更為簡單直觀，可進行較復雜的控制。系統(tǒng)通過深度攝像機捕獲操縱者的手的深度圖像，經計算機分析處理后得到手勢信息并生成與之對應的控制信號通過無線通信裝置發(fā)送給飛行器執(zhí)行，以此實現從操縱者手的運動狀態(tài)到四旋翼飛行機器人的運動狀態(tài)的映射，完成移動和抓取的任務。
- 詳細介紹：
- 為了實現一種相對簡單和人性化的飛行器控制，我們確定了以人機交互技術為基礎的控制模式。在本系統(tǒng)中表現為根據操縱者的手在深度攝像機視場中的位置和動作來控制四旋翼飛行器在環(huán)境紅外攝像頭視場內完成諸如移位和抓取的任務。 整個控制系統(tǒng)由兩部分構成，即由環(huán)境紅外攝像頭、四旋翼飛行器、計算機組成的室內飛行控制部分和以深度攝像機、計算機組成的手勢識別部分。室內飛行控制系統(tǒng)用于對四旋翼飛行器進行空間定位，手勢識別系統(tǒng)用于捕獲手勢控制信息，最終計算機通過一些算法使手和四旋翼飛行器在兩個空間中的動作對應起來，從而將兩個部分聯系在一起，共同實現通過手勢控制飛行器的構想。 其中環(huán)境紅外攝頭安裝在飛行器工作平面的正上方，用以拍攝飛行器表面上用紅外發(fā)射二極管制作的紅外標記點。攝像頭前加置紅外濾光片，使得它可以將無關的背景可見光過濾掉，并使發(fā)射器發(fā)出的紅外光通過，這使得后面的圖像處理大為簡化。 關于四旋翼飛行器的飛行姿態(tài)控制以及機體機械機構目前國內外有很多模型公司有了非常好的解決方案。上文國外研究機構對于四旋翼飛行器的研究大多為直接使用模型公司現成的四旋翼飛行器。故考慮到時間問題和研究內容的重復性，我們選擇了PARROT公司的AR.DRONE飛行器。我們在AR.DRONE飛行器上裝有兩個紅外發(fā)射器，用于紅外攝像頭對四旋翼飛行器的位置捕捉和自旋角捕捉。AR.DRONE飛行器本體底端帶有一個超聲波高度計和一個直立式60幀每秒的CMOS攝像頭；超聲波高度計的收發(fā)頻率為40KHz，用于進行高度數據捕捉；攝像頭的解析度為176*144，用于進行對地面特征點的捕捉。AR.DRONE飛行器的機載ARM9 RISC 32位處理器會對記載慣性陀螺儀、加速計、高度數據和地面特征點數據進行處理，并控制四路無刷電機進行飛行位置和自旋角的微校準。 計算機主要對來自環(huán)境紅外攝像頭傳來的視頻流、深度攝像機的深度圖像進行處理并發(fā)送控制指令給四旋翼飛行器。四旋翼飛行器上紅外標記點由高分辨率USB攝像機捕捉到60fps/s的視頻流后，經過OpenCV圖像處理得到視野中飛行器的坐標以及偏航角度。 我們使用的深度攝像機是微軟在2010年6月14日為XBOX360游戲機開發(fā)的體感周邊外設-Kinect。通過Kinect，可以得到視野內物體的深度圖像，在Kinect捕獲到具有深度的視頻流后并不能得到人體姿態(tài)的幾何信息。需要應用本田技術研究所Youding Zhu, Kikuo Fujimura研究員提出的應用貝葉斯框架對深度圖像中人體姿態(tài)的追蹤方法從Kinect的深度視頻流中提取人體的姿態(tài)，進而得到人體手部的坐標。 將人體手部的坐標作為期望坐標，四旋翼飛行器坐標作為初始值，兩者坐標差為誤差，利用PID控制方法，使四旋翼飛行器抵達期望坐標，這樣就完成了本系統(tǒng)的功能。
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術關鍵和主要技術指標
- 作品設計、發(fā)明的目的： 簡化相對復雜的傳統(tǒng)飛行器控制方式，建立一種簡單直觀可操作性強的控制模式。 基本思路： 系統(tǒng)通過深度攝像頭捕獲操縱者的手的深度圖像，經計算機分析處理后得到手勢信息并生成與之對應的控制信號通過無線通信裝置發(fā)送給飛行器執(zhí)行，以此實現從操縱者手的運動狀態(tài)到四旋翼飛行機器人的運動狀態(tài)的映射，完成移動和抓取的任務。 創(chuàng)新點： 1、相比傳統(tǒng)飛行器控制方式本控制方法更為簡單直觀易操作-操縱者的手所在的空間位置和手勢分別直接對應了四旋翼飛行器所在空間位置和機載機械手的捏合動作。 2、本作品的控制對象是當下國際上十分流行的四旋翼飛行器，人機交互的渠道則是微軟公司推出僅僅半年的Kinect。這兩者皆為各自領域的前沿成果，而將兩者結合起來構成基于人機交互的智能飛行器控制系統(tǒng)則是本項目最大的創(chuàng)新點。 關鍵技術： 1. 手勢識別 2. 飛行器的空間位置控制 主要技術指標： 整機重量 <620g 空間位置控制穩(wěn)態(tài)誤差 <1cm 空間位置控制響應時間 <1000ms 空間位置控制超 <7cm 手勢識別精度 >1mm 手勢控制延時 <1500ms 飛行時間 <15min
科學性、先進性
- 本項目的主要研究的四旋翼飛行器由于結構的對稱性，在操縱性和機械機構方面具有很多潛在的優(yōu)勢。對角線旋翼的旋轉方向相同，相鄰旋翼旋轉方向相反，旋翼的扭矩會自動平衡，減少了傳統(tǒng)飛行器使用尾翼用來平衡旋翼扭矩浪費的能量。另外，由于四旋翼機的旋翼更小，轉速更高，因而其效率更高;小旋翼也可以減少旋翼碰撞周圍建筑物的概率，飛行更加安全。 我們利用微軟推出僅僅半年的Kinect深度攝像機來進行圖像捕捉以完成人機交互，其相比于其他的機器視覺途徑具有我們的優(yōu)勢在于：第一，Kinect使用的結構光技術可以僅用單一外部設備即可獲取三維空間的深度圖像，由此我們便可較為方便的獲取人體各部分肢體的圖像，進一步便可計算得到人體骨架的各個坐標。相比于其他的三維空間機器視覺，我們使用方法的外部設備更加簡單廉價，并且能夠極大程度的減少運算復雜程度，減輕上位機的負擔。第二，Kinect采用的是1280×960的數字CMOS攝像頭，其圖像質量能夠滿足我們高精度坐標控制的要求，為四旋翼飛行器的高難度定位操作提供了硬件條件。
獲獎情況及鑒定結果
- 無
作品所處階段
- 中試階段
技術轉讓方式
- 洽談
作品可展示的形式
- 本項目能夠以實物的形式進行現場演示，并且可以通過圖片和錄像的形式進行簡要闡述。
使用說明,技術特點和優(yōu)勢,適應范圍,推廣前景的技術性說明,市場分析,經濟效益預測
- 本項目的使用方法：操作者在深度攝像頭覆蓋空間內改變手掌位置可操作四旋翼飛行器在環(huán)境紅外攝像頭覆蓋空間內的對應位置進行位移；四旋翼飛行器在抓取目標上方懸停，操縱者用帶有全向反光布的手指做出抓取動作以操控機載機械手抓取物體，然后移動手至目標位置做出撒手動作完成運輸任務。 本項目的技術特點及優(yōu)勢在于四旋翼飛行器硬件平臺自由度多，飛行狀態(tài)靈活，載重能力強，穩(wěn)定性高，故更適合在狹小空間內進行特殊作業(yè)。此外，相比常規(guī)通過專業(yè)遙控器的飛行器操縱方式，本作品采用的視覺人機交互技術提供了是一種更人性化的操作模式。操縱者只需面對深度攝像頭做一些特定手勢即可操作四旋翼飛行器進行相應的操作，這就簡化了需要大量經驗的飛行器操控。 本四旋翼飛行控制系統(tǒng)可廣泛用于實驗室的輔助操作，例如高危任務的完成或者簡單重復性動作，因此在工程實驗領域內將廣受歡迎。將本四旋翼飛行控制系統(tǒng)產品化可降低簡單重復性操作的勞動成本，減小高危操作的危險性，給工程實驗領域帶來直接經濟效益。
同類課題研究水平概述
- 目前國外四旋翼無人直升機的研究工作主要集中在以下三個方面:基于慣導的自主飛行、基于視覺系統(tǒng)的自主飛行和自主飛行器系統(tǒng)。典型代表有瑞士蘇黎世聯邦工業(yè)大學的OS4、澳大利亞國立大學的X4、賓夕法尼亞大學的HMX4、美國麻省理工大學的RANGE、斯坦福的Mesicopter等等[1]。國內的研究現狀主要集中在幾所高校之中。例如國防科技大學、南京航空航天大學、西北工業(yè)大學、中國空空導彈研究院、電子科技集團、第二十七研究所、吉林大學、北京科技大學和哈爾濱工業(yè)大學等等。大多數的研究方向是理論分析和計算機仿真，以及控制算法。 目前商業(yè)化比較成功的四旋翼無人飛行器有加拿大 RC Toys公司的遙控航模Draganflyer，有很多研究單位的四旋翼機都是在它或者它的改進系統(tǒng)上進行開發(fā)的。 [1] A.Tayebi，S.MeGilvray. Attitude stabilization of a four-rotor aerial robot[J].43rd Conference on Decision and Control.2005:1216-1221
