基本信息
- 項目名稱：
- 惡劣環(huán)境視頻增強算法研究及硬件實現(xiàn)
- 小類：
- 信息技術
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 視頻監(jiān)控受環(huán)境影響較大，在煙、霧、水氣、雨、雪、黑暗等環(huán)境會大大降低成像質量，導致使用者很難辨認關鍵物體而惡劣環(huán)境更易誘發(fā)事故。因此，視頻優(yōu)化產(chǎn)品的需求非常巨大。對此，我們提出了國際領先的視頻圖像增強算法，在保證處理效果的前提下，將處理速度提高為傳統(tǒng)圖片處理速度的100倍以上，并以此為基礎研發(fā)視頻圖像增強產(chǎn)品，能夠解決惡劣環(huán)境下視頻成像的質量問題，具有效果好、速度快、成本低、易部署的特點
- 詳細介紹：
- 原有的圖像增強方法都是面向靜態(tài)圖像增強而設計的，應用到動態(tài)的視頻圖像時會出現(xiàn)處理速度慢、處理效果不佳等問題，難以實際應用。本項目提出的方法能夠有效解決原有方法的不足，主要創(chuàng)新點有兩點： （1）利用視頻的時間冗余性和空間冗余性改進算法，將運動估計的原理和增強原理結合得非常緊密，使得處理速度最快可以達到50幀/秒（普通處理器），達到實時處理的能力。而傳統(tǒng)算法最快的處理時間也要一幀幾十秒，無法使用在視頻處理上。 （2）重點研究了面向視頻特性的圖像加速算法，將其整合到視頻編解碼器中，成為具有視頻增強功能的新一代視頻播放器。通過將算法整合到視頻編解碼器中，可以有效降低部署成本和器件的體積功耗，擴大了適用范圍，尤其是能夠適用對體積和功耗有苛刻要求的環(huán)境。 目前本算法已經(jīng)分別在PC、FPGA以及iPhone上實現(xiàn)，效果明顯。以下為體現(xiàn)我們處理效果的一些圖片：（其中FPGA及配套PCB板設計系統(tǒng)已達到批量生產(chǎn)的要求，可以在零下40度到零上70攝氏度的工業(yè)級環(huán)境下正常工作。iPhone上的實現(xiàn)已上傳導蘋果的應用程序商店供用戶下載。） 技術通過對視頻信號進行均衡，邊緣勾勒，增強，壓縮等多種處理來增強視頻圖像；通過對去霧算法和黑暗增強算法互相移植，產(chǎn)生更好的增強效果并大大拓寬了算法的適用范圍；將運動估計的原理和增強原理緊密結合，利用視頻的時間冗余性和空間冗余性改進算法，減少計算復雜度，可以到達實時處理的需求。 市場上現(xiàn)有視頻增強器，基于傳統(tǒng)的圖像增強算法，采用多DSP實現(xiàn)。其體積和功耗龐大，成本高昂（接近1萬元，基于本項目的類似硬件產(chǎn)品成本在100元左右）。本技術的圖像增強效果好，除了黑夜增強、去霧的功能之外，還能處理高動態(tài)范圍的低光圖像（如開遠光燈的車輛）。并且針對不同天氣情況條件，自適應運用不同算法和參數(shù)提升視頻圖像質量，使清晰度大大提升。技術降低增強算法的復雜性，可以實現(xiàn)視頻圖像在PC、移動設備、嵌入式系統(tǒng)上的實時處理。 將圖像增強算法整合到視頻編解碼器中，合二為一，降低時間空間開銷，在普通硬件平臺上就可實現(xiàn)，降低成本，方便部署。
作品圖片
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術關鍵和主要技術指標
- 隨著平安城市、智能交通等工程的全面建設，視頻監(jiān)控市場正處于高速增長期， 2010年產(chǎn)值已過千億，廣泛應用在公共安全、交通、電信、金融等行業(yè)。但是，視頻監(jiān)控受環(huán)境影響較大，在煙、霧、水氣、雨、雪、黑暗等環(huán)境會大大降低成像質量，導致使用者很難辨認關鍵物體（如車牌、行人等）。而惡劣環(huán)境更易誘發(fā)事故。因此，用戶迫切需要一種能夠在惡劣環(huán)境下保證圖像質量的視頻優(yōu)化產(chǎn)品。針對此需求，我們提出了國際領先的視頻圖像增強算法，在保證處理效果的前提下，將處理速度提高為傳統(tǒng)圖片處理速度的100倍以上，并以此為基礎研發(fā)視頻圖 像增強產(chǎn)品，能夠解決惡劣環(huán)境下視頻成像的質量問題，具有效果好、速度快、成本低、易部署的特點，受到了工業(yè)界和學術界的關注和一致認可。 原有的圖像增強方法都是面向靜態(tài)圖像增強而設計的，應用到動態(tài)的視頻圖像時會出現(xiàn)處理速度慢、處理效果不佳等問題，難以實際應用。本項目提出的方法能夠有效解決原有方法的不足，主要創(chuàng)新點有兩點： 利用視頻的時間冗余性和空間冗余性改進算法，將運動估計的原理和增強原理結合得非常緊密，使得處理速度最快可以達到50幀/秒達到實時處理的能力。傳統(tǒng)算法最快的處理時間也要一幀幾十秒，無法使用在視頻處理上； 重點研究了面向視頻特性的圖像加速算法，將其整合到視頻編解碼器中，成為具有視頻增強功能的新一代視頻播放器。通過將算法整合到視頻編解碼器中，可以有效降低部署成本和器件的體積功耗，擴大了適用范圍。 目前本算法已經(jīng)分別在PC、FPGA以及iPhone上實現(xiàn)，效果明顯。
科學性、先進性
- 科學性： 通過對視頻信號進行均衡，邊緣勾勒，增強，壓縮等多種處理來增強視頻圖像；通過對去霧算法和黑暗增強算法互相移植，產(chǎn)生更好的增強效果并大大拓寬了算法的適用范圍；將運動估計的原理和增強原理緊密結合，利用視頻的時間冗余性和空間冗余性改進算法，減少計算復雜度，可以到達實時處理的需求。 先進性： 市場上現(xiàn)有視頻增強器，基于傳統(tǒng)的圖像增強算法，采用多DSP實現(xiàn)。其體積和功耗龐大，成本高昂（接近1萬元，基于本項目的類似硬件產(chǎn)品成本在100元左右）；圖像增強效果好，除了黑夜增強、去霧的功能之外，還能處理高動態(tài)范圍的低光圖像（如開遠光燈的車輛）；針對不同天氣情況條件，自適應運用不同算法和參數(shù)提升視頻圖像質量，使清晰度大大提升；降低增強算法的復雜性，可以實現(xiàn)視頻圖像在PC、移動設備、嵌入式系統(tǒng)上的實時處理。 將圖像增強算法整合到視頻編解碼器中，合二為一，降低時間空間開銷，在普通硬件平臺上就可實現(xiàn)，降低成本，方便部署。
獲獎情況及鑒定結果
- 1、獲得2010年“贏在常熟－全國大學生創(chuàng)業(yè)大賽”一等獎。本次大賽由中共江蘇省委組織部、科技廳、教育廳、人資社保廳、團省委、中國網(wǎng)絡電視臺（CNTV）共同主辦。清華大學、浙江大學、中國科技大學，以及美國耶魯大學、德國慕尼黑工業(yè)大學等100多所海內(nèi)外知名高校共提交1128個創(chuàng)業(yè)項目，我們的項目脫穎而出，榮獲一等獎。 2、本項目在校內(nèi)“挑戰(zhàn)杯”中獲得了特等獎。 3、本項目的創(chuàng)新成果得到國際學術界認可，相關論文發(fā)表在圖像處理國際頂級會議SIGGRAPH 2010（poster）以及ICME 2011，并投稿IEEE相關期刊。 4、本項目中的相關技術和已申請的專利受到了產(chǎn)業(yè)界的高度關注，眾多國內(nèi)安防公司（如中國安防技術有限公司CSST“明景電子”、江蘇億通高科技股份有限公司、深圳市天和榮視頻技術有限公司等）正在積極推動將該技術應用到自身的產(chǎn)品當中。我們的樣機效果已獲得這些廠家的認可。 5、本項目于2011年4月通過中國科學院國家科學圖書館文獻服務部查新，在國內(nèi)查新過程中發(fā)現(xiàn)技術上沒有與本項目相關性非常高的項目，只有用類似想法做去霧的項目。
作品所處階段
- 生產(chǎn)階段
技術轉讓方式
- 將算法以專利權轉讓方式給相關公司，或者由公司開發(fā)軟件硬件產(chǎn)品或模塊。
作品可展示的形式
- 實物產(chǎn)品、現(xiàn)場演示、圖片、錄像、樣品
使用說明,技術特點和優(yōu)勢,適應范圍,推廣前景的技術性說明,市場分析,經(jīng)濟效益預測
- 技術具有很強的適應性，可以方便集成在現(xiàn)有監(jiān)控系統(tǒng)中。產(chǎn)品形式可以是軟件模塊也可以硬件固化在FPGA及專用芯片上。一般部署在攝像頭視頻采集的前端，也可以部署在顯示器端。 本項目的視頻圖像增強技術，能夠自適應地實時處理不同環(huán)境的視頻圖像，包括黑夜增強、去霧，高動態(tài)范圍的低光圖像增強。在成像效果、處理速度等方面大大優(yōu)于傳統(tǒng)技術，還具有成本低，部署容易的優(yōu)勢。 技術主要針對安防領域視頻監(jiān)控系統(tǒng)，這也是對圖像增強需求最為迫切的領域。視頻監(jiān)控廠商產(chǎn)品同質化嚴重，行業(yè)集中度低。我們的技術能夠促進產(chǎn)品差異化，提高利潤率，因此具有廣闊的市場前景和議價能力。已引起行業(yè)內(nèi)多家廠商關注，表達合作意向。 經(jīng)濟效益預測，目前國內(nèi)每年視頻監(jiān)控相關的市場規(guī)模超過1000億，每年僅攝像頭生產(chǎn)就超過1000萬臺，假使其中100萬的高端攝像頭采用我們的技術，每個模塊（或芯片）售價500元，就可以產(chǎn)生5億元的收入。 此外，我們的技術還可以應用于帶有攝像頭的移動終端（手機、平板電腦、DV）以及汽車輔助駕駛系統(tǒng)中。
同類課題研究水平概述
- 對于惡劣天氣下視頻不清晰的問題，研究者們提出了不同的解決方法。一方面，人們提出利用紅外攝像機拍攝視頻。但是，紅外攝像頭成本高、能耗高、壽命短，對于實際應用中的成本要求很高,而且在眾多移動平臺上很難采用,比如手機,平板電腦。另一方面，人們試圖用視頻圖像增強算法解決這個問題。但是，現(xiàn)有算法尚存在如下幾個問題。 現(xiàn)存的增強算法的處理速度很慢，即使應用高性能計算設備專門優(yōu)化，比如[H. Malm, M. Oskarsson, E. Warrant, P. Clarberg, J. Hasselgren, and C. Lejdfors, “Adaptive Enhancement and Noise Reduction in Very Low Light-Level Video,” Proceedings IEEE International Conference on Computer Vision, Rio de Janeiro, Brazil, Oct. 2007, pp. 1-8.]中的GPU加速方法，也很難達到實時處理。近年發(fā)表在代表視覺信號處理領域最高水平的國際會議SIGGRAPH上較為成熟的算法[E.P. Bennett, and L. McMillan, “Video Enhancement Using Per-Pixel Virtual Exposures,” ACM Trans. Graphics (Proceedings ACM SIGGRAPH), Los Angeles, CA, Jul. 2005 vol.24, no.3, pp.861-868.]，處理一張圖像的時間就需要超過1分鐘，而實時視頻增強需要一秒鐘處理30幀圖像。 現(xiàn)有的針對不同復雜應用場景的視頻增強算法都是相對獨立的，如有些算法針對于霧氣去除，有些算法針對于低亮度增強等。各算法各自為戰(zhàn)，如都在視頻傳感器中實現(xiàn)，則大大提高視頻傳感器的體積和成本。如針對不同的具體應用環(huán)境定制具有單個增強模塊的視頻傳感器，則不能充分利用硬件特別是芯片生產(chǎn)的規(guī)模效應，不利于視頻傳感器成本的迅速降低。部署之后也必須對不同傳感器的部署情況進行跟蹤，提高維護成本。 現(xiàn)有算法的處理效果尚不能滿足用戶需求。比如低亮度增強算法中，大部分現(xiàn)有算法還是基于傳統(tǒng)的直方圖算法進行擴展，增強結果差強人意。
