基本信息
- 項目名稱：
- 基于交互式自由視點的網(wǎng)絡(luò)視頻直播/點播系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作A類
- 簡介：
- 本項目提出一種基于交互式自由視點技術(shù)的網(wǎng)絡(luò)視頻直播點播系統(tǒng)，設(shè)計并完成從前端多像機視頻拍攝到終端交互式播放的一整套交互式網(wǎng)絡(luò)視頻直播和點播系統(tǒng)，在本系統(tǒng)中用戶可完全自主地選擇觀看視點，且采用虛擬視點生成技術(shù)實現(xiàn)鏡頭切換過程中視頻畫面的平滑且平穩(wěn)地過渡。
- 詳細介紹：
- 針對當前視頻和影視系統(tǒng)中用戶只能被動地接受拍攝者或?qū)РT的視角選擇或鏡頭切換，以及視角切換時視點位置和視頻畫面的大范圍空間跳躍導致用戶缺乏臨場感等問題，本項目提出一種基于交互式自由視點技術(shù)的網(wǎng)絡(luò)視頻直播點播系統(tǒng)，設(shè)計并完成從前端多像機視頻拍攝到終端交互式播放的一整套交互式網(wǎng)絡(luò)視頻直播和點播系統(tǒng)，在本系統(tǒng)中用戶可完全自主地選擇觀看視點，且采用虛擬視點生成技術(shù)實現(xiàn)鏡頭切換過程中視頻畫面的平滑且平穩(wěn)地過渡。 與現(xiàn)有視頻和影視系統(tǒng)相比，本系統(tǒng)的主要特色和創(chuàng)新在于： 1、用戶對觀看視角和內(nèi)容的選擇具有完全自主性和獨立性。不同用戶可獨立選擇不同的觀看視角同時觀看同一個視頻直播內(nèi)容。并且本系統(tǒng)針對不同的顯示終端設(shè)計了三種實現(xiàn)用戶視角變換的交互模式：基于Kinect體感控制器或鍵盤鼠標的互動播放；基于特定目標跟蹤的半自主式互動播放；以及基于場景分析的全自主式互動播放。 2、用戶具有更強的現(xiàn)場感和臨場感。用戶觀看的視角和視點不受實際像機個數(shù)、位置以及實際像機視角的限制，系統(tǒng)通過虛擬視點生成技術(shù)實現(xiàn)了視點畫面平滑且平穩(wěn)地變換，增強用戶觀看的現(xiàn)場感和臨場感，尤其是在體育比賽、文藝娛樂節(jié)目等現(xiàn)場直播中更為突出。 3、具有更廣的覆蓋率和更好的可控性。充分利用互聯(lián)網(wǎng)優(yōu)勢，具體表現(xiàn)為：a）視頻直播和點播的覆蓋范圍不受地域限制。b）網(wǎng)絡(luò)傳輸中采用了H.264 + RTSP的實時流媒體技術(shù)，并可根據(jù)用戶網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)質(zhì)量選擇不同的視頻編碼質(zhì)量。c）用戶可自由選擇觀看現(xiàn)場直播或錄像節(jié)目點播。
作品圖片
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標
- 作品設(shè)計和發(fā)明的基本思路： 整個系統(tǒng)總體架構(gòu)采用C/S模式。服務(wù)器端實現(xiàn)多路像機的實時視頻數(shù)據(jù)采集，并根據(jù)已離線標定得到的像機外部參數(shù)，經(jīng)實時圖像處理算法拼接成全景視頻。然后全景視頻數(shù)據(jù)經(jīng)壓縮編碼，傳輸?shù)搅髅襟w服務(wù)器。當有客戶端發(fā)送流媒體播放請求時，流媒體服務(wù)器采用RTST實時流媒體傳輸協(xié)議將視頻碼流經(jīng)網(wǎng)絡(luò)發(fā)送到客戶端?？蛻舳私邮盏揭曨l碼流后，解碼恢復出全景視頻，并根據(jù)用戶設(shè)置的不同智能導播模式，在全景視頻上進行視點定位。最后通過自由視點生成獲得視頻畫面并在用戶的視頻終端上播放。由于每個客戶端都是一個獨立的視頻終端，因此不同用戶可獨立選擇不同的導播模式，從不同視點觀看同一個視頻直播或點播節(jié)目。 作品設(shè)計和發(fā)明的關(guān)鍵技術(shù)： 交互式視點定位技術(shù)、自由視點生成技術(shù)和網(wǎng)絡(luò)流媒體傳輸技術(shù)。 作品設(shè)計和發(fā)明的主要技術(shù)指標： 1）單路視頻分辨率為1024×768像素,幀率為30幀/秒。 2）合成后全景視頻的最大分辨率為3500×1750像素。根據(jù)實際需求可選分辨率有1024×512像素和2048×1024像素。生成的全景視頻幀率大于25幀/秒。 3）在全景視頻的最大分辨率下，H.264編碼速度大于20幀/秒。在1024×512像素和2048×1024像素低分辨率下，H.264編碼速度大于25幀/秒。
科學性、先進性
- 作品關(guān)鍵技術(shù)為國際相關(guān)領(lǐng)域的前沿技術(shù) 整個系統(tǒng)融合了當前國際上在計算機視覺、圖像視頻、網(wǎng)絡(luò)流媒體傳輸領(lǐng)域的前沿技術(shù)。交互式、自由視點和網(wǎng)絡(luò)是本系統(tǒng)的主要特色，目前尚未見到相關(guān)成熟系統(tǒng)提出。整個系統(tǒng)從立項到研發(fā)過程，都受到了美國斯坦福研究院譚義博士、土耳其比爾肯特大學李建軍博士等國內(nèi)外多家研究機構(gòu)和大學中相關(guān)領(lǐng)域?qū)＜业拇罅χС趾蛶椭?。因而在科技含量上具有國際先進水平。 作品符合產(chǎn)業(yè)發(fā)展趨勢和產(chǎn)業(yè)前景 從產(chǎn)業(yè)發(fā)展趨勢和產(chǎn)業(yè)化前景來看，交互式視頻已逐漸成為全球新一代多媒體數(shù)字影視和數(shù)字娛樂技術(shù)的主流。當前電視和影視產(chǎn)業(yè)的發(fā)展正面臨著新形勢和新挑戰(zhàn)，用戶被動式的觀看體驗已無法滿足目前人們對于觀看過程的自主性、以及對觀看時的現(xiàn)場感和臨場感要求。本系統(tǒng)為此提出的融合交互式、自由視點和網(wǎng)絡(luò)的新方案和新設(shè)想，符合產(chǎn)業(yè)的發(fā)展趨勢，具有廣闊的產(chǎn)業(yè)前景。在系統(tǒng)測試和小試階段，亦受到杭州立體世界攝影器材有限責任公司的大力支持和幫助，并提供了相關(guān)的用戶使用報告。
獲獎情況及鑒定結(jié)果
- 杭州電子科技大學“挑戰(zhàn)杯”大學生課外學術(shù)科技作品競賽二等獎 浙江省第十二屆“挑戰(zhàn)杯”大學生課外學術(shù)科技作品競賽一等獎
作品所處階段
- 小試階段（用戶試用和體驗）
技術(shù)轉(zhuǎn)讓方式
- 專利轉(zhuǎn)讓、提供拍攝、錄制和網(wǎng)絡(luò)直播點播服務(wù)以及設(shè)備和系統(tǒng)租賃服務(wù)，進一步推廣后可實現(xiàn)成套設(shè)備轉(zhuǎn)讓。
作品可展示的形式
- 實物、現(xiàn)場演示、錄像
使用說明,技術(shù)特點和優(yōu)勢,適應范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預測
- 作品使用說明： 本系統(tǒng)中只有前端多像機采集需要Ladybug2這個專業(yè)設(shè)備。在客戶端則無需特定專業(yè)設(shè)備。整個系統(tǒng)軟件平臺包括服務(wù)器端軟件平臺和客戶端軟件平臺。 技術(shù)特點和優(yōu)勢： 本系統(tǒng)主要技術(shù)特點在于融合了交互式視點定位技術(shù)、自由視點生成技術(shù)和網(wǎng)絡(luò)流媒體傳輸技術(shù)，實現(xiàn)了交互式自由視點的網(wǎng)絡(luò)視頻直播/點播系統(tǒng)。使用技術(shù)包括數(shù)字圖像視頻處理，計算機視覺、網(wǎng)絡(luò)通信，模式識別等多個計算機學科的重要研究領(lǐng)域。 本系統(tǒng)的主要優(yōu)勢： 1、利用自由視點技術(shù)，使得用戶觀看的視角和視點不受實際像機個數(shù)、位置以及實際像機視角的限制，增強用戶觀看的現(xiàn)場感和臨場感。 2、通過交互設(shè)備。實現(xiàn)不同用戶可獨立選擇不同的觀看視角同時觀看同一個視頻直播內(nèi)容。 3、充分利用網(wǎng)絡(luò)優(yōu)勢，使得視頻直播和點播的覆蓋范圍不受地域限制。
同類課題研究水平概述
- 本項目涉及到兩個方面的技術(shù)，智能交互式網(wǎng)絡(luò)視頻領(lǐng)域和自由視點技術(shù)。將這兩樣技術(shù)結(jié)合的系統(tǒng)或研究較為少見。這也是本項目的創(chuàng)新點之一。 i.智能交互式網(wǎng)絡(luò)視頻領(lǐng)域 較為多的研究集中在遠程智能課堂方向。美國、英國、日本等發(fā)達國家都十分重視遠程課堂教學平臺的建設(shè)，已經(jīng)建立起不同程度的平臺網(wǎng)絡(luò)。 ii.自由視點技術(shù)的發(fā)展： 國外研究現(xiàn)狀 國外對于自由視點視頻的研究從20世紀90年代己經(jīng)開始，但真正形成氣候的是2002年MPEG(Moving Picture Expert Group)組織提出了3DAV的探索性草案，向全世界征集實現(xiàn)3DAV的方案及核心實驗。比較著名的有日本名古屋大學的基于光線空間的自由視點電視(FTV，F(xiàn)ree view point Television)系統(tǒng)、斯坦福大學的Light Field系統(tǒng)、德國HHI研究所的基于模型的由視點視頻方案，還有微軟、卡內(nèi)基梅隆大學等也在系統(tǒng)的實現(xiàn)上進行了廣泛的工作。更為重要的是2004年初歐洲提出了一個為期48個月3DTV的計劃。進入2006年，MPEG組織明顯加快了3DAV的步伐，JVT(Joint Video Team)組織也將多視點視頻編碼(MVC，Multi-view Coding)作為其H.264的一部分。 2.國內(nèi)的研究現(xiàn)狀 國內(nèi)學術(shù)界對于自由視點視頻技術(shù)的研究與國際上的研究幾乎是同步的，到目前為止，已在多視點視頻編碼、校正及虛擬視點合成等方面取得了一定的研究成果。其中，寧波大學蔣剛毅教授領(lǐng)導的團隊對于自由視點視頻的研究開展得非常深入，一直走在國內(nèi)的前列。清華大學也較早地展開了對于自由視點視頻技術(shù)研究. 自由視點應用發(fā)展： 谷歌公司的一項特色服務(wù)——谷歌街景已經(jīng)為用戶提供可以360°自由視點觀看靜態(tài)場景的功能。 Digital Elite Inc.與匈牙利布達佩斯理工大學合作的全交互全景廣播技術(shù)(a fully interactive Panoramic Broadcasting technology)——PanoCAST，可以產(chǎn)生出360°沉浸式電影。使用該技術(shù)所導播的短片《THE METAMORPHOSIS》2010年12月在洛杉磯獲得“Hollywood Reel Independent Film Festival”電影節(jié)大獎。
