題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱(chēng)：
- 基于人臉特征的變形技術(shù)研究
- 來(lái)源：
- 第十一屆“挑戰(zhàn)杯”國(guó)賽作品
- 小類(lèi)：
- 信息技術(shù)
- 大類(lèi)：
- 科技發(fā)明制作A類(lèi)
- 簡(jiǎn)介：
- 本課題針對(duì)現(xiàn)實(shí)生活中對(duì)人臉操作的不易實(shí)現(xiàn)、現(xiàn)有技術(shù)在人臉變形、人臉特征點(diǎn)識(shí)別等方面需要大量人工交互操作、計(jì)算速度慢及變形、融合效果不佳等缺點(diǎn)，提出了基于目前最新發(fā)展的計(jì)算機(jī)圖形圖像及視覺(jué)算法對(duì)上述技術(shù)進(jìn)行了改進(jìn)和封裝的新方案，完成了一套完整的人臉變形軟件系統(tǒng)。該系統(tǒng)由于進(jìn)行了加速優(yōu)化，所需的人工交互量少，在頭型行動(dòng)跟蹤、臉部變形及五官融合等效果上達(dá)到很好的效果，并能達(dá)到實(shí)時(shí)交互操作的速度。本系統(tǒng)已被中國(guó)科技館新館“信息之橋”展示組錄用作為展示項(xiàng)目。本系統(tǒng)在數(shù)字娛樂(lè)、計(jì)算機(jī)輔助整容及虛擬主持人等方面有著重大的應(yīng)用前景。
- 詳細(xì)介紹：
- 本系統(tǒng)整合人臉變形，泊松融合，人臉特征點(diǎn)識(shí)別及跟蹤等計(jì)算機(jī)圖形學(xué)和視覺(jué)領(lǐng)域的最新技術(shù)，完成了一套以人臉變形為主的軟件，包括三個(gè)子軟件，即“哈哈鏡”，“虛擬整容”和“虛擬化身”。分別介紹如下： 1.“哈哈鏡”項(xiàng)目介紹 現(xiàn)實(shí)中的哈哈鏡是能使物像產(chǎn)生變形奇異效果或幻象的各種光學(xué)裝置。它主要是利用了光的物理特性，即光的直線傳播、光的反射等物理原理。我們模擬的“數(shù)字哈哈鏡”可以模擬這些效果。 計(jì)算機(jī)通過(guò)攝相頭得到用戶的頭像照片，對(duì)圖片進(jìn)行一系列的實(shí)時(shí)操作，包括坐標(biāo)歸一化，相應(yīng)的拉伸，壓縮操作，然后將結(jié)果圖像實(shí)時(shí)顯示在屏幕上，用戶在顯示器上就可以看到自己經(jīng)過(guò)處理后的圖像，該計(jì)算機(jī)即可以充當(dāng)一個(gè)“數(shù)字哈哈鏡”來(lái)使用。 2.“虛擬整容”項(xiàng)目介紹 隨著科學(xué)技術(shù)的發(fā)展，整容手術(shù)已日趨成熟，從局部組織的微調(diào)到大面積器官的替換，我們正在進(jìn)入一個(gè)人臉的“個(gè)性化訂制”時(shí)代。但是問(wèn)題也同時(shí)出現(xiàn)：如何在整容之前先“預(yù)覽”整容之后的效果？如何讓整容者更有效的選擇自己的整容方向？關(guān)于這個(gè)問(wèn)題，圖形學(xué)可以幫助現(xiàn)代醫(yī)學(xué)給以回答。整容，從圖形學(xué)角度看，就是在原來(lái)的人臉圖片上作更改。一種衡量整容效果的方法是：如果更改后的圖片保持自然，甚至更有美感，那么這個(gè)更改就是成功的。自然，就是一種融合的效果。我們?cè)谠擁?xiàng)目中探索一種將人臉與被移植器官的融合方法，構(gòu)造出一種盡可能自然的人臉，以此讓用戶判斷，整容之后是否真的更有美感。 3.“虛擬化身”項(xiàng)目介紹 虛擬化身的設(shè)計(jì)靈感來(lái)源于影視作品中可以讓畫(huà)布里的人物動(dòng)起來(lái)的魔法。我們希望通過(guò)計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)讓靜止的圖像動(dòng)起來(lái)，就像實(shí)施了魔法一樣，使圖片能按照我們希望的方式有規(guī)則有意義的動(dòng)起來(lái)，實(shí)現(xiàn)虛擬主持，并達(dá)到極有特色的娛樂(lè)效果。該項(xiàng)目通過(guò)對(duì)用戶實(shí)時(shí)輸入的肖像視頻進(jìn)行處理，捕捉人物的面部特征點(diǎn)，根據(jù)連續(xù)畫(huà)面中用戶特征點(diǎn)的位移變化來(lái)控制素材圖像變形，讓素材實(shí)時(shí)模仿用戶的眨眼，張嘴，搖擺身子的動(dòng)作， 活靈活現(xiàn)、栩栩如生，實(shí)現(xiàn)一種將素材化為用戶化身的效果。
作品圖片
作品專(zhuān)業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 隨著科學(xué)技術(shù)發(fā)展，“虛擬現(xiàn)實(shí)”由一門(mén)新興的學(xué)科，逐漸轉(zhuǎn)變?yōu)橐豁?xiàng)應(yīng)用廣泛的技術(shù)。所謂“虛擬現(xiàn)實(shí)”，顧名思義，即在非現(xiàn)實(shí)的環(huán)境中模擬現(xiàn)實(shí)中的人、事物、事件等等；它基于計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺(jué)的模擬技術(shù)，旨在為用戶創(chuàng)造一個(gè)逼近真實(shí)的環(huán)境。當(dāng)今我們的生活中，隨處可見(jiàn)“虛擬現(xiàn)實(shí)”的應(yīng)用，從游戲設(shè)備，到 CAD/CAM 技術(shù)，到醫(yī)療可視化…… 然而“虛擬現(xiàn)實(shí)”仍然處在發(fā)展的初期，尚未達(dá)到廣泛應(yīng)用的階段。究其原因，除了技術(shù)上的瓶頸外，很大部分是因?yàn)槿鄙賹?duì)“虛擬現(xiàn)實(shí)”的推廣而使得人們的需求無(wú)法得到滿足。比如，現(xiàn)實(shí)生活中針對(duì)各種人臉相關(guān)的操作，不論其目的是娛樂(lè)還是實(shí)際應(yīng)用（如整容）都涉及到成本過(guò)高、條件不允許等各種因素的限制，無(wú)法真正實(shí)現(xiàn)。而許多現(xiàn)有的相關(guān)技術(shù)則缺少對(duì)人臉特點(diǎn)的考量，不適合專(zhuān)門(mén)的針對(duì)人臉操作。因此它們往往存在交互過(guò)于復(fù)雜、實(shí)時(shí)性較差、效果不夠好等缺陷。在這個(gè)項(xiàng)目中，我們使用計(jì)算機(jī)圖形圖像和視覺(jué)技術(shù)來(lái)模擬人臉操作功能，基于經(jīng)典的算法，根據(jù)人臉特點(diǎn)與可操作性因素加以改進(jìn)與封裝，使得用戶可以由簡(jiǎn)單操作實(shí)現(xiàn)各種實(shí)用而且效果好的人臉變形。例如，用戶可以把電腦屏幕當(dāng)作哈哈鏡來(lái)使用，通過(guò)自己的面目表情控制圖片中的人物，把其他人的臉部器官移植到自己臉上構(gòu)造一張“如假包換”的新臉，等等。 目前，我們的系統(tǒng)在能夠達(dá)到實(shí)時(shí)交互的速度的同時(shí)，也能達(dá)到傳統(tǒng)圖像處理軟件達(dá)到的效果。
科學(xué)性、先進(jìn)性
- 現(xiàn)有的圖像處理軟件，大多需要人工大量的交互，比如在人臉扭曲變形中，需要對(duì)單幀圖片進(jìn)行交互，有時(shí)甚至需要一定的技巧，要熟練操作才能獲得較好的效果。在娛樂(lè)功能上得不到推廣，在生產(chǎn)中又得不到高效率。 如計(jì)算機(jī)中常用的圖像處理軟件photoshop，完成一個(gè)人臉變形，每一步處理中都需要進(jìn)行人工操作，完成一幅圖片大概需要至少幾分鐘的時(shí)間。這樣的速度是無(wú)法對(duì)視頻進(jìn)行實(shí)時(shí)處理的。 而我們的軟件關(guān)鍵在于交互量少，只需要少量交互甚至完全自動(dòng)的獲得各種人臉變形效果，任何懂得計(jì)算機(jī)基本操作的人都可以熟練操作。同時(shí)經(jīng)過(guò)算法的優(yōu)化，可以對(duì)獲取的視頻進(jìn)行實(shí)時(shí)處理輸出。這在通常的人臉變形軟件中是沒(méi)有的。
獲獎(jiǎng)情況及鑒定結(jié)果
- 本作品被中國(guó)科技館新館中“信息之橋”展區(qū)的“圖形圖像”展示項(xiàng)目組選中，將于2009年9月1日起在北京正式向全國(guó)觀眾開(kāi)館展示。
作品所處階段
- 生產(chǎn)階段
技術(shù)轉(zhuǎn)讓方式
- 無(wú)
作品可展示的形式
- 實(shí)物、產(chǎn)品 圖片 錄像
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 安裝好需要的硬件設(shè)備（主要包括計(jì)算機(jī)主機(jī)、鍵盤(pán)、鼠標(biāo)、攝相頭等家用電腦基本硬件），根據(jù)要求安裝軟件后，就可以使用軟件。 可以使用的功能包括通過(guò)電腦照“哈哈鏡”，造成滑稽效果，達(dá)到數(shù)字娛樂(lè)目的；使用“整容”功能，可以對(duì)自己的頭像進(jìn)行“虛擬整容”，經(jīng)過(guò)改進(jìn)可以用于真正的整容機(jī)構(gòu)，用于整容前模擬，先進(jìn)行虛擬整容，達(dá)到預(yù)想效果后再實(shí)施手術(shù)；使用“虛擬主持人”除個(gè)人娛樂(lè)外，可以用于影視特技，也可以用于網(wǎng)絡(luò)中的視頻聊天；其人臉特征點(diǎn)檢測(cè)技術(shù)還可以移植到其他人機(jī)交互的系統(tǒng)中，創(chuàng)建一種新的人機(jī)交互機(jī)制。 總之，成果經(jīng)過(guò)進(jìn)一步改進(jìn)，將會(huì)有很大的市場(chǎng)。
同類(lèi)課題研究水平概述
- 對(duì)圖像進(jìn)行相關(guān)變形在國(guó)內(nèi)外已有很多較成熟的相關(guān)技術(shù)，也有較多的相關(guān)通用圖像處理軟件，但是因?yàn)檫@類(lèi)圖像軟件的通用性，處理時(shí)往往需要大量的人工交互，對(duì)圖像進(jìn)行調(diào)整操作，才能達(dá)到較好的效果；同時(shí)，操作只能針對(duì)單幀的圖片，無(wú)法對(duì)攝取的視頻進(jìn)行處理，因此效果往往不是那么出色。 關(guān)于人臉及其器官在圖像層面上的操作，當(dāng)前并沒(méi)有設(shè)計(jì)精良、應(yīng)用廣泛的技術(shù)。少數(shù)的現(xiàn)有的相關(guān)技術(shù)也都存在著一定的缺點(diǎn)或者局限性，在一定程度上回避了真實(shí)感圖像可能涉及到的像素操作問(wèn)題。 早在2001年，在ACM SIGGRAPH上就有關(guān)于泊松融合（Poisson Integration）的文章，之后又有對(duì)這種方法的種種改進(jìn)以及發(fā)展，包括圖像無(wú)縫融合算法、基于圖切割的圖像拼接技術(shù)等等。這些技術(shù)設(shè)計(jì)的過(guò)程是將任意一幅圖像進(jìn)行邊界的提取，移植到另一個(gè)背景上，然后使得原圖像的主要信息可以在新背景上的到保留。它們中的有些更側(cè)重于克服原圖像的復(fù)雜性對(duì)融合的影響，有些則更側(cè)重于修正融合后出現(xiàn)的缺陷與不足。這些從應(yīng)用的層面上講都過(guò)于寬泛，既沒(méi)有特別地指出適用的領(lǐng)域，也沒(méi)有形成一種移植性較強(qiáng)的技術(shù)（如API或者IDE工具）。 人臉特征點(diǎn)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)問(wèn)題。近年來(lái)，基于KLM算法和LFA算法的工作是這一方向的熱點(diǎn)。代表工作比如：在KLT算法中加入了基于人臉統(tǒng)計(jì)信息的經(jīng)驗(yàn)約束 ,使KLT算法更加合理有效， 以及基于人臉三維模型和深度灰度約束加權(quán)對(duì)單目視頻圖像序列中的人臉空間姿態(tài)進(jìn)行跟蹤的方法，和將Kanade-Lucas-Tomasi(KLT) 特征點(diǎn)跟蹤算法和人臉特征點(diǎn)定位的統(tǒng)計(jì)模型Active Shape Model(ASM)結(jié)合起來(lái),提出了視頻中人臉特征點(diǎn)定位與跟蹤的混合模型方法。然而，這些方法的都有在面對(duì)光照、動(dòng)作、表情、遮擋等外界環(huán)境因素影響下魯棒性不強(qiáng)的問(wèn)題。 人臉風(fēng)格化卡通化具有很強(qiáng)的藝術(shù)和娛樂(lè)效果。比如微軟視覺(jué)感知聯(lián)合實(shí)驗(yàn)室有基于特征跟蹤和融合的人臉風(fēng)格化動(dòng)畫(huà)的工作，然而這個(gè)工作沒(méi)有實(shí)現(xiàn)實(shí)時(shí)交互的要求，風(fēng)格化在娛樂(lè)效果上與動(dòng)作化身仍有一定差距。此外，國(guó)內(nèi)也有基于視覺(jué)特征提取的表情人臉動(dòng)畫(huà)生成技術(shù)，但是他們的工作基于預(yù)先錄制的關(guān)鍵幀圖像,生成完整的、含有人臉各種形變和表情的關(guān)鍵幀庫(kù)，這樣的預(yù)處理工作太多，人物動(dòng)作并非由單張圖片生成。
