題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 重要內(nèi)容無(wú)畸變的視頻圖像幅型比非等比例變換系統(tǒng)
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡(jiǎn)介：
- 為了適應(yīng)目前各種顯示媒介尺寸的多樣化，需要對(duì)視頻圖像進(jìn)行高質(zhì)量的非等比例縮放處理。為了使視頻圖像在進(jìn)行非等比例縮放時(shí)，不產(chǎn)生明顯的視覺(jué)感知畸變，本作品提出了一種基于內(nèi)容感知技術(shù)的視頻圖像幅型比非等比例變換的技術(shù)，在圖像中定義與視覺(jué)敏感性相關(guān)的能量線，通過(guò)刪插能量線的方法完成圖像的非等比例縮放，保證經(jīng)縮放后的視頻圖像中的重要目標(biāo)不發(fā)生人眼感知的視覺(jué)畸變，并達(dá)到視頻處理的實(shí)時(shí)性、連貫性的要求。
- 詳細(xì)介紹：
- 隨著數(shù)字媒體信息對(duì)數(shù)字媒體提出了更高的要求。同時(shí)，大屏幕液晶電視的普及，使得在將4:3格式的視頻素材應(yīng)用到16:9的電視系統(tǒng)中，需要對(duì)原始視頻素材進(jìn)行非等比例縮放。同樣，寬屏攝像機(jī)/相機(jī)拍攝下的視頻、圖像素材應(yīng)用到窄屏的顯示媒介中也需要對(duì)視頻圖像素材進(jìn)行非等比例縮放。 傳統(tǒng)的顯示媒介主要采用兩種方法解決非等比例幅型比轉(zhuǎn)化問(wèn)題。貼黑邊的原理雖然不損失視頻圖像的內(nèi)容，沒(méi)有變形失真，但屏幕沒(méi)有充分利用；線性插值的方法雖然充分利用了屏幕，但會(huì)導(dǎo)致視頻圖像的變形失真。 據(jù)此，本作品提出了一種基于內(nèi)容感知技術(shù)的視頻圖像幅型比非等比例變換的技術(shù)，將視頻畫(huà)面上物體的視覺(jué)敏感性在時(shí)空域上以能量形式定義描述后，通過(guò)反復(fù)刪插低能量線的方式，改變顯示畫(huà)面的顯示比例，實(shí)現(xiàn)對(duì)視頻幀圖像的非等比例縮放，保證縮放過(guò)程中視頻圖像中的重要目標(biāo)不發(fā)生人眼感知的視覺(jué)畸變，并達(dá)到視頻算法要求的實(shí)時(shí)性、連貫性的要求。本作品在一款以TI公司TMS320DM642處理器為核心的開(kāi)發(fā)板上實(shí)現(xiàn)，實(shí)驗(yàn)結(jié)果表明本算法的處理效果明顯優(yōu)于常規(guī)縮放算法，并達(dá)到了實(shí)時(shí)處理的要求。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 設(shè)計(jì)目的及基本思路：由于目前各種顯示媒介尺寸的多樣化，人們經(jīng)常需要對(duì)視頻圖像進(jìn)行高質(zhì)量的非等比例縮放處理。例如，4:3格式的數(shù)字電視視頻素材應(yīng)用到16:9的電視系統(tǒng)中，需要對(duì)原始視頻素材進(jìn)行非等比例縮放等。傳統(tǒng)的顯示媒介主要使用三種視頻縮放方法，貼黑邊的方法使屏幕沒(méi)有充分利用；線性插值的方法會(huì)導(dǎo)致視頻圖像的變形失真；裁剪法則會(huì)丟失部分圖像信息。 故本作品提出了一種新的重要內(nèi)容無(wú)畸變的縮放算法，在空域與時(shí)域上描述了視頻圖像中的視覺(jué)敏感性作為視頻能量，通過(guò)刪插最優(yōu)低能量線的方式，實(shí)現(xiàn)在視頻的非等比例縮放中重要內(nèi)容無(wú)畸變。在視頻縮放算法的連貫性上，采用了專有的連貫性保證機(jī)制；在算法的時(shí)效性上，采用了計(jì)分板算法加速及DSP硬件加速，達(dá)到了中等幅型比非等比例縮放的實(shí)時(shí)處理的要求。 創(chuàng)新點(diǎn)：1） 使用基于內(nèi)容感知技術(shù)的視頻圖像縮放技術(shù)，描述了視頻圖像中的視覺(jué)敏感區(qū)為重要內(nèi)容，保證視頻中的重要內(nèi)容在縮放中不發(fā)生人眼感知的視覺(jué)畸變。2） 利用DSP搭建硬件系統(tǒng)，使算法能夠達(dá)到實(shí)時(shí)性的要求。3） 引入視頻時(shí)空能量函數(shù)及視頻連貫性保證技術(shù)降低了結(jié)果視頻的抖動(dòng)性。4）提出計(jì)分板算法，大大降低了視頻數(shù)據(jù)搬移的重復(fù)性。 技術(shù)關(guān)鍵：1) 視頻能量的定義。2）視頻低能量線的選取。3) 視頻連貫性的保障技術(shù)。4) 計(jì)分板加速算法的提出與實(shí)現(xiàn)。5) 為確保算法的實(shí)時(shí)性，在DSP端的系統(tǒng)設(shè)計(jì)。 主要技術(shù)指標(biāo)：系統(tǒng)最大處理視頻為600*800，畫(huà)面縮放比例小于35%；單幀處理時(shí)間<35ms。
科學(xué)性、先進(jìn)性
- 科學(xué)性：1）基于內(nèi)容感知的視頻圖像非等比例縮放。在視頻的非等比例縮放過(guò)程中，采用內(nèi)容感知技術(shù)，描述了視頻圖像中的視覺(jué)敏感區(qū)為重要內(nèi)容，保證視頻中的重要內(nèi)容在縮放中不發(fā)生人眼感知的視覺(jué)畸變。 2）縮放算法中空間、時(shí)間連貫性的保證。采用了獨(dú)有的時(shí)空連貫性保證機(jī)制，使得縮放后視頻盡量在畫(huà)面上不產(chǎn)生斷層，在時(shí)間軸上不產(chǎn)生抖動(dòng)。 3）縮放算法的實(shí)時(shí)性保證機(jī)制。采用了計(jì)分板算法加速及DSP硬件加速后，能保證中等幅型的視頻縮放的實(shí)時(shí)性。 先進(jìn)性：現(xiàn)行主流顯示媒介主要采用三種方法解決非等比例幅型比轉(zhuǎn)化問(wèn)題，即貼黑邊、線性插值、裁剪法。，這三種方法均會(huì)帶來(lái)視覺(jué)畸變，畫(huà)面信息丟失等問(wèn)題。本作品在不丟失視頻圖像重要信息的基礎(chǔ)上，保證了重要內(nèi)容不發(fā)生變形失真，提高了非等比例縮放算法的效果。 國(guó)內(nèi)外學(xué)術(shù)界對(duì)視頻的非等比例縮放的研究主要局限在實(shí)時(shí)性及視頻連貫性。本作品利用DSP系統(tǒng)達(dá)到中等幅型比視頻縮放的實(shí)時(shí)性，且利用獨(dú)有的連貫性保證機(jī)制降低了視頻縮放處理的抖動(dòng)。
獲獎(jiǎng)情況及鑒定結(jié)果
- 2009年12月，作品“基于內(nèi)容感知技術(shù)的視頻圖像縮放方法”獲得校星火杯特等獎(jiǎng)； 2010年6月，獲得申請(qǐng)公示中的國(guó)家發(fā)明專利一項(xiàng)； 2010年7月，在教育部科技查新工作站G10進(jìn)行查新(詳見(jiàn)查新報(bào)告)； 2011年6月，第八屆西安高新陜西省挑戰(zhàn)杯科技作品競(jìng)賽特等獎(jiǎng)。
作品所處階段
- 中試階段
技術(shù)轉(zhuǎn)讓方式
- 整體技術(shù)轉(zhuǎn)讓或部分核心技術(shù)轉(zhuǎn)讓
作品可展示的形式
- 實(shí)物及現(xiàn)場(chǎng)演示
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 由于目前各種顯示媒介尺寸的多樣化，人們經(jīng)常需要對(duì)視頻圖像進(jìn)行高非等比例縮放處理。例如， 4:3格式的數(shù)字電視視頻素材應(yīng)用到16:9的電視系統(tǒng)中，需要對(duì)原始視頻素材進(jìn)行非等比例縮放等。同樣，寬屏攝像機(jī)/相機(jī)拍攝下的視頻、圖像素材應(yīng)用到窄屏的顯示媒介中也需要對(duì)視頻圖像素材進(jìn)行非等比例縮放；再如，使用手機(jī)、PDA、平板電腦等觀看各種幅型比的視頻、圖像也需要對(duì)原始視頻圖像素材進(jìn)行非等比例縮放?，F(xiàn)在的顯示媒介市場(chǎng)并不能很好地解決非等比例幅型比轉(zhuǎn)化的問(wèn)題，而本系統(tǒng)就是在這種市場(chǎng)需求的基礎(chǔ)上提出了解決方法，可將本系統(tǒng)應(yīng)用于電視信號(hào)的縮放，也可用于各種對(duì)于視頻、圖像的幅型比有非等比例變換要求的場(chǎng)合，如液晶電視，手機(jī)，顯示器，以及各種視頻、圖像后期制作等。 同時(shí)，為考慮適用場(chǎng)合的廣泛性，本系統(tǒng)設(shè)計(jì)了（1）PC-BASED系統(tǒng)，即不需要DSP加速的軟件視頻縮放系統(tǒng)，面對(duì)不需要實(shí)時(shí)性要求的大多數(shù)場(chǎng)合；（2）DSP-BASED系統(tǒng)，使用DSP硬件加速的軟硬件系統(tǒng)，面對(duì)需要實(shí)時(shí)性要求的高速處理場(chǎng)合。
同類課題研究水平概述
- 隨著數(shù)字媒體信息應(yīng)用的廣泛性及數(shù)字視頻獲得的便利性的提高，各種顯示媒介的幅型比發(fā)生了多樣化發(fā)展。而原始視頻在各種幅型比不同的媒介上顯示就存在視頻的非等比例縮放問(wèn)題。 主流的顯示媒介主要采用三種方法解決非等比例幅型比轉(zhuǎn)化問(wèn)題，即貼黑邊、線性插值、裁剪法。以液晶電視為例，現(xiàn)行數(shù)字電視信號(hào)主要為4:3幅型比，但液晶電視的幅型比為16:9，對(duì)于這中間的非等比例縮放問(wèn)題，貼黑邊的方法雖然不損失視頻圖像的內(nèi)容，沒(méi)有變形失真，但屏幕沒(méi)有充分利用；線性插值的方法雖然充分利用了屏幕，但會(huì)導(dǎo)致視頻圖像的變形失真；裁剪法是線性液晶電視中使用最多的方法，首先對(duì)4:3的數(shù)字電視信號(hào)等比例放大到16:12的視頻結(jié)果，最終顯示屏幕中間16:9的范圍內(nèi)數(shù)據(jù)，但這種方法卻丟失了部分圖像信息。 國(guó)內(nèi)外學(xué)術(shù)界對(duì)視頻的非等比例縮放的研究主要局限在實(shí)時(shí)性及視頻連貫性。 經(jīng)過(guò)文獻(xiàn)檢索，2008年長(zhǎng)安大學(xué)的任衛(wèi)軍提出了圖像左右側(cè)各30%區(qū)域非線性插值，中間40%區(qū)域線性插值的方法，但會(huì)產(chǎn)生非線性與線性區(qū)交界處的斷面畸變，影響了視頻的連貫性，故只可適用于鏡頭不動(dòng)，重要目標(biāo)物居中的簡(jiǎn)單視頻。 Shai Avidan于2008年提出接縫焊接技術(shù)，在縮放中感知并保護(hù)重要內(nèi)容，但由于其采用后向能量計(jì)算方法，限制了其適用范圍，也只可運(yùn)用于簡(jiǎn)單視頻，且存在處理速度問(wèn)題。2009年，他們又提出利用圖割法刪除/復(fù)制時(shí)間軸方向連貫的最低能量面的方法保持視頻圖像的原貌，但由于三維全局最優(yōu)解的求解計(jì)算量過(guò)大，不適用實(shí)時(shí)視頻處理。 本作品提出了一種新的縮放算法，根據(jù)視頻內(nèi)容定義視頻能量，通過(guò)刪插可在空域和時(shí)域上描述視覺(jué)敏感性的低能量線的方式，在非等比例縮放時(shí)，能夠保證重要內(nèi)容無(wú)畸變。并采用了獨(dú)特的視頻處理的連貫性與實(shí)時(shí)性的保障機(jī)制，使本系統(tǒng)能對(duì)于中等幅型的視頻非等比例縮放能在DSP系統(tǒng)上達(dá)到實(shí)時(shí)性要求。
