基本信息
- 項(xiàng)目名稱:
- 基于自由立體成像技術(shù)的多視點(diǎn)立體手機(jī)
- 小類:
- 信息技術(shù)
- 大類:
- 科技發(fā)明制作B類
- 簡(jiǎn)介:
- 本作品提出了一種支持立體業(yè)務(wù)顯示、能用于新一代寬帶移動(dòng)通信網(wǎng)絡(luò)的新型移動(dòng)終端軟件體系結(jié)構(gòu)和系統(tǒng)解決方案。多視點(diǎn)立體視頻文件采用H.264編碼,經(jīng)網(wǎng)絡(luò)傳輸模塊由服務(wù)器傳送至移動(dòng)終端;移動(dòng)終端進(jìn)行H.264解碼,采用立體圖像合成算法得到立體圖像;顯示技術(shù)采用多視點(diǎn)自由立體成像技術(shù),播放8視點(diǎn)視頻。自行編寫PC端服務(wù)器軟件和手機(jī)客戶端軟件經(jīng)測(cè)試,傳輸穩(wěn)定可靠,手機(jī)終端顯示立體效果明顯,成像清晰。
- 詳細(xì)介紹:
- 1、多視點(diǎn)立體視頻編碼部分 在H.264 JMVC多視點(diǎn)立體視頻編碼中,本作品優(yōu)化搜索算法,在幀間預(yù)測(cè)時(shí)提高搜索速率;在模式選擇部分進(jìn)行快速模式選擇,提前判斷最優(yōu)模式,降低編碼復(fù)雜度,從而達(dá)到提高編碼速率的目的。 2、多視點(diǎn)立體視頻數(shù)據(jù)傳輸部分 本作品針對(duì)多視點(diǎn)立體視頻在IP網(wǎng)絡(luò)上的傳輸進(jìn)行研究。首先根據(jù)不同的H.264 NAL單元的重要性,設(shè)定不同的優(yōu)先級(jí),如在多視點(diǎn)立體視頻中被選作基本視點(diǎn)中的幀,采用可靠的TCP協(xié)議。而對(duì)一般優(yōu)先級(jí)的NAL的數(shù)據(jù)單元采用UDP傳輸協(xié)議。其次本作品通過對(duì)數(shù)據(jù)源的標(biāo)識(shí)和NAL片數(shù)據(jù)類型的控制實(shí)現(xiàn)多路復(fù)用與同步,同時(shí)實(shí)現(xiàn)對(duì)丟失數(shù)據(jù)的錯(cuò)誤恢復(fù)與錯(cuò)誤隱藏。 3、手機(jī)立體視頻顯示部分 基于光柵手機(jī)屏幕實(shí)現(xiàn)多視點(diǎn)自由立體的顯示,采用多視點(diǎn)自由立體圖像合成技術(shù)?;诠鈻诺亩嘁朁c(diǎn)圖像合成方法,就是將各視點(diǎn)的子像素按照光柵的光學(xué)結(jié)構(gòu),以一定規(guī)律性分別填充到LCD中子像素排列的對(duì)應(yīng)位置上。
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 一 發(fā)明的目的 將自由立體成像技術(shù)用于移動(dòng)終端,為用戶提供全新的視覺體驗(yàn),大大拓展新一代寬帶移動(dòng)通信網(wǎng)絡(luò)上的應(yīng)用,不但能實(shí)現(xiàn)客觀世界逼真的再現(xiàn),還能衍生出眾多與之相關(guān)的增值業(yè)務(wù)。 二 基本思路 1 對(duì)大尺寸終端的多視點(diǎn)立體圖像合成算法進(jìn)行優(yōu)化,使之適應(yīng)資源有限的手機(jī)終端 2 研究手機(jī)終端上立體視點(diǎn)數(shù)與屏幕尺寸關(guān)系,選擇最適合的顯示視點(diǎn)數(shù) 3 參考平面圖像壓縮標(biāo)準(zhǔn),提出適應(yīng)新一代寬帶無線移動(dòng)網(wǎng)絡(luò)傳輸?shù)亩嘁朁c(diǎn)視頻壓縮方法 4 研究多視點(diǎn)立體視頻傳輸協(xié)議,實(shí)現(xiàn)多視點(diǎn)自由立體業(yè)務(wù)的同步傳輸與顯示。 三 創(chuàng)新點(diǎn) 1提出一種具有普遍適用性的立體視頻業(yè)務(wù)的新型移動(dòng)終端顯示方案 ?2提出的兼容手機(jī)終端軟件架構(gòu)和系統(tǒng)解決方案是本作品自主提出的,無資料可以借鑒 3對(duì)現(xiàn)有的立體視頻編碼標(biāo)準(zhǔn)H.264 JMVC測(cè)試模型進(jìn)行了優(yōu)化,大幅提高了編碼效率 4首次提出了專門應(yīng)用于多視點(diǎn)立體視頻傳輸?shù)幕贖.264的多視點(diǎn)立體視頻傳輸協(xié)議,該協(xié)議能實(shí)現(xiàn)對(duì)多視點(diǎn)視頻數(shù)據(jù)的實(shí)時(shí)、可靠傳輸,及多視點(diǎn)視頻數(shù)據(jù)的同步。 四 技術(shù)關(guān)鍵 ?1適應(yīng)立體視頻業(yè)務(wù)的新型手機(jī)終端軟件架構(gòu)和系統(tǒng)解決方案 2有限資源下的多視點(diǎn)自由立體業(yè)務(wù)顯示方法與技術(shù) 3多視點(diǎn)自由立體視頻傳輸方法與技術(shù) 4多視點(diǎn)立體視頻壓縮編碼方法和技術(shù) 五 技術(shù)指標(biāo) 1視點(diǎn)數(shù)不少于2個(gè) 2立體視距范圍 25~45cm 3無雙眼雙視現(xiàn)象出現(xiàn) 4 3種分辨率的立體手機(jī)終端
科學(xué)性、先進(jìn)性
- 從相關(guān)的專利等知識(shí)產(chǎn)權(quán)分析與相關(guān)的技術(shù)標(biāo)準(zhǔn)發(fā)展現(xiàn)狀來看,有關(guān)移動(dòng)終端的立體顯示技術(shù)尚處于起步階段,國內(nèi)外研制出相關(guān)產(chǎn)品的企業(yè)極少。目前看到報(bào)道的只有日本的精工愛普生、韓國的三星SDI、日本夏普等少數(shù)企業(yè)聲稱研制出了移動(dòng)立體顯示終端樣機(jī)。 近幾年,一些單位相繼開展了立體成像技術(shù)的研究工作,主要研究點(diǎn)聚焦在大尺寸、高清晰度、多視點(diǎn)自由立體顯示終端的研制方面,其產(chǎn)品主要用于媒體廣告和特殊領(lǐng)域,尚未見在移動(dòng)終端上實(shí)現(xiàn)立體顯示和相關(guān)業(yè)務(wù)的報(bào)道。 本作品設(shè)計(jì)的出發(fā)點(diǎn)為:1、在移動(dòng)終端有限資源下實(shí)現(xiàn)了多視點(diǎn)自由立體業(yè)務(wù)顯示,手機(jī)移動(dòng)終端顯示可兼容八視點(diǎn)與三視點(diǎn)立體視頻播放;2、提出適應(yīng)無線移動(dòng)網(wǎng)絡(luò)傳輸?shù)碾p(多)視點(diǎn)立體圖像/視頻壓縮編碼方法和技術(shù),采用高壓縮率的H.264編解碼技術(shù),在JMVC測(cè)試模型基礎(chǔ)上進(jìn)一步優(yōu)化,大幅提高編碼效率。3、研究并提出了多視點(diǎn)立體視頻傳輸協(xié)議,實(shí)現(xiàn)了多視點(diǎn)間的數(shù)據(jù)復(fù)用與同步。
獲獎(jiǎng)情況及鑒定結(jié)果
- 1、本作品在2011年3月23日至3月24日在中國國際三維成像技術(shù)應(yīng)用與產(chǎn)業(yè)合作大會(huì)展示兩天獲得國內(nèi)外參觀人員的一致好評(píng)。
作品所處階段
- 實(shí)驗(yàn)室階段
技術(shù)轉(zhuǎn)讓方式
- 專利許可
作品可展示的形式
- 實(shí)物、產(chǎn)品;現(xiàn)場(chǎng)展示;圖片
使用說明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 通過安裝在手機(jī)上的客戶端,用戶可以選擇播放本地或者在網(wǎng)絡(luò)上下載立體視頻節(jié)目進(jìn)行播放,享受自由立體顯示技術(shù)帶來的視覺享受。 基于新一代寬帶移動(dòng)通信網(wǎng)絡(luò),在移動(dòng)終端上傳輸與顯示立體視頻是世界領(lǐng)先的研究課題,還未見其他國家開展這方面研究和實(shí)驗(yàn)工作的報(bào)道。因此本作品的研究成果將使我國在新一代寬帶移動(dòng)通信網(wǎng)絡(luò)上開展立體圖像/視頻服務(wù)方面走在世界的前列,并且可以將成果盡快地推廣到其他的可以承載高速業(yè)務(wù)的新型網(wǎng)絡(luò)中去,打造出具有自主知識(shí)產(chǎn)權(quán)的產(chǎn)業(yè)。針對(duì)立體圖像傳輸對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量要求高的特點(diǎn),研究并實(shí)現(xiàn)移動(dòng)通信環(huán)境下的面向雙(多)視點(diǎn)的立體視頻/圖像的傳輸和控制等技術(shù),對(duì)進(jìn)一步發(fā)展和完善新一代寬帶移動(dòng)通信網(wǎng)絡(luò)具有非常積極的促進(jìn)作用,并能帶來可觀的社會(huì)效益和經(jīng)濟(jì)效益。 本作品順應(yīng)人類的需求,針對(duì)適應(yīng)立體顯示的新型移動(dòng)終端進(jìn)行基礎(chǔ)性、前瞻性研究。本作品在市場(chǎng)上的推廣及其他相關(guān)技術(shù)的發(fā)展能大大地拓展新一代寬帶移動(dòng)通信網(wǎng)絡(luò)上的應(yīng)用,不但能實(shí)現(xiàn)客觀世界逼真的再現(xiàn),還能衍生出眾多的與之相關(guān)的增值業(yè)務(wù)。
同類課題研究水平概述
- 立體成像技術(shù)是開發(fā)立體顯示業(yè)務(wù)的關(guān)鍵技術(shù),立體成像技術(shù)分為“自由立體成像技術(shù)” 和“傳統(tǒng)立體成像技術(shù)”兩種。傳統(tǒng)的立體成像技術(shù)要求觀看者必須佩戴輔助視具,從而限制了系統(tǒng)的實(shí)用性。而自由立體成像技術(shù)不需要觀看者佩戴任何輔助視具,用裸眼就可以直接觀看立體圖像。自由立體成像技術(shù)是立體成像技術(shù)領(lǐng)域的重大突破,也是未來立體顯示技術(shù)發(fā)展的必然趨勢(shì)。 20世紀(jì)中后期,隨著計(jì)算機(jī)信息領(lǐng)域的發(fā)展以及平板顯示器的出現(xiàn),三維立體顯示蓬勃發(fā)展?,F(xiàn)今,基于光柵等技術(shù)的自由立體顯示技術(shù)使用戶擺脫了輔助視具的限制,同時(shí)提供更好的觀看角度和效果,因而受到了越來越多人的青睞;另一方面,除了桌面顯示器外,手機(jī)、PDA等掌上設(shè)備的顯示屏幕也都努力采用3D顯示技術(shù)。 現(xiàn)在對(duì)于立體視頻的傳輸主要是基于IPv4和IPv6兩種協(xié)議的基礎(chǔ)上采用RTP 協(xié)議來保證實(shí)時(shí)傳輸,在此方面清華大學(xué)提出了基于下一代互聯(lián)網(wǎng)的立體視頻傳輸,主要研究立體視頻在IPv6上的傳輸實(shí)現(xiàn)。Mathias Johanson 提出了使用RTP和RTCP的SDES PRIV項(xiàng)作為裝載也立體視頻通道相關(guān)信息容器的立體視頻擴(kuò)展協(xié)議。其他的國內(nèi)外的研究機(jī)構(gòu)也都在進(jìn)行這方面的研究。但是所有的研究基本上都是在2D視頻在IP網(wǎng)絡(luò)上傳輸框架的基礎(chǔ)上進(jìn)行了擴(kuò)展來實(shí)現(xiàn)對(duì)多視點(diǎn)立體視頻的傳輸,并沒有一個(gè)專門針對(duì)多視點(diǎn)視頻傳輸?shù)膮f(xié)議。而對(duì)于多視點(diǎn)立體視頻的傳輸中關(guān)鍵的同步問題,在原有協(xié)議的基礎(chǔ)上進(jìn)行解決起來也有一定的難度。 在立體視頻編解碼方面,目前對(duì)MVC的研究主要分兩個(gè)方向進(jìn)行: 1)對(duì)H.264的語法語義的進(jìn)行擴(kuò)展來適應(yīng)MVC的特點(diǎn); 2) 利用視點(diǎn)間冗余進(jìn)一步提高M(jìn)VC編碼效率,主要是對(duì)MVC運(yùn)動(dòng)估計(jì)進(jìn)行研究,利用視點(diǎn)間相關(guān)性提MVC編碼效率或者通過補(bǔ)償視點(diǎn)間差異提高M(jìn)VC編碼效率。 近年來,學(xué)術(shù)界圍繞MVC舉行了幾次專項(xiàng)研討。早期研究者Lukacs提出了在相鄰視點(diǎn)之間使用視差補(bǔ)償?shù)姆椒▉硖岣吡Ⅲw視頻的壓縮效率。在多視點(diǎn)立體視頻的編碼方案中,通常的做法是使用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)來消除視頻序列時(shí)間上的冗余,同時(shí)利用視差預(yù)測(cè)、補(bǔ)償技術(shù)進(jìn)一步去除各個(gè)視點(diǎn)之間的冗余。近年來許多研究者提出了很多種多視點(diǎn)立體視頻的編碼方案。根據(jù)視差和運(yùn)動(dòng)估計(jì)方法不同,這些方法大體可以分為為基于“塊”的編碼方法和基于“對(duì)象”的編碼方法兩大類。