基本信息
- 項目名稱：
- 基于人臉特征的變形技術研究
- 小類：
- 信息技術
- 大類：
- 科技發(fā)明制作A類
- 簡介：
- 本課題針對現(xiàn)實生活中對人臉操作的不易實現(xiàn)、現(xiàn)有技術在人臉變形、人臉特征點識別等方面需要大量人工交互操作、計算速度慢及變形、融合效果不佳等缺點，提出了基于目前最新發(fā)展的計算機圖形圖像及視覺算法對上述技術進行了改進和封裝的新方案，完成了一套完整的人臉變形軟件系統(tǒng)。該系統(tǒng)由于進行了加速優(yōu)化，所需的人工交互量少，在頭型行動跟蹤、臉部變形及五官融合等效果上達到很好的效果，并能達到實時交互操作的速度。本系統(tǒng)已被中國科技館新館“信息之橋”展示組錄用作為展示項目。本系統(tǒng)在數(shù)字娛樂、計算機輔助整容及虛擬主持人等方面有著重大的應用前景。
- 詳細介紹：
- 本系統(tǒng)整合人臉變形，泊松融合，人臉特征點識別及跟蹤等計算機圖形學和視覺領域的最新技術，完成了一套以人臉變形為主的軟件，包括三個子軟件，即“哈哈鏡”，“虛擬整容”和“虛擬化身”。分別介紹如下： 1.“哈哈鏡”項目介紹 現(xiàn)實中的哈哈鏡是能使物像產(chǎn)生變形奇異效果或幻象的各種光學裝置。它主要是利用了光的物理特性，即光的直線傳播、光的反射等物理原理。我們模擬的“數(shù)字哈哈鏡”可以模擬這些效果。 計算機通過攝相頭得到用戶的頭像照片，對圖片進行一系列的實時操作，包括坐標歸一化，相應的拉伸，壓縮操作，然后將結(jié)果圖像實時顯示在屏幕上，用戶在顯示器上就可以看到自己經(jīng)過處理后的圖像，該計算機即可以充當一個“數(shù)字哈哈鏡”來使用。 2.“虛擬整容”項目介紹 隨著科學技術的發(fā)展，整容手術已日趨成熟，從局部組織的微調(diào)到大面積器官的替換，我們正在進入一個人臉的“個性化訂制”時代。但是問題也同時出現(xiàn)：如何在整容之前先“預覽”整容之后的效果？如何讓整容者更有效的選擇自己的整容方向？關于這個問題，圖形學可以幫助現(xiàn)代醫(yī)學給以回答。整容，從圖形學角度看，就是在原來的人臉圖片上作更改。一種衡量整容效果的方法是：如果更改后的圖片保持自然，甚至更有美感，那么這個更改就是成功的。自然，就是一種融合的效果。我們在該項目中探索一種將人臉與被移植器官的融合方法，構造出一種盡可能自然的人臉，以此讓用戶判斷，整容之后是否真的更有美感。 3.“虛擬化身”項目介紹 虛擬化身的設計靈感來源于影視作品中可以讓畫布里的人物動起來的魔法。我們希望通過計算機視覺領域的技術讓靜止的圖像動起來，就像實施了魔法一樣，使圖片能按照我們希望的方式有規(guī)則有意義的動起來，實現(xiàn)虛擬主持，并達到極有特色的娛樂效果。該項目通過對用戶實時輸入的肖像視頻進行處理，捕捉人物的面部特征點，根據(jù)連續(xù)畫面中用戶特征點的位移變化來控制素材圖像變形，讓素材實時模仿用戶的眨眼，張嘴，搖擺身子的動作， 活靈活現(xiàn)、栩栩如生，實現(xiàn)一種將素材化為用戶化身的效果。
作品圖片
作品專業(yè)信息
設計、發(fā)明的目的和基本思路、創(chuàng)新點、技術關鍵和主要技術指標
- 隨著科學技術發(fā)展，“虛擬現(xiàn)實”由一門新興的學科，逐漸轉(zhuǎn)變?yōu)橐豁棏脧V泛的技術。所謂“虛擬現(xiàn)實”，顧名思義，即在非現(xiàn)實的環(huán)境中模擬現(xiàn)實中的人、事物、事件等等；它基于計算機圖形學與計算機視覺的模擬技術，旨在為用戶創(chuàng)造一個逼近真實的環(huán)境。當今我們的生活中，隨處可見“虛擬現(xiàn)實”的應用，從游戲設備，到 CAD/CAM 技術，到醫(yī)療可視化…… 然而“虛擬現(xiàn)實”仍然處在發(fā)展的初期，尚未達到廣泛應用的階段。究其原因，除了技術上的瓶頸外，很大部分是因為缺少對“虛擬現(xiàn)實”的推廣而使得人們的需求無法得到滿足。比如，現(xiàn)實生活中針對各種人臉相關的操作，不論其目的是娛樂還是實際應用（如整容）都涉及到成本過高、條件不允許等各種因素的限制，無法真正實現(xiàn)。而許多現(xiàn)有的相關技術則缺少對人臉特點的考量，不適合專門的針對人臉操作。因此它們往往存在交互過于復雜、實時性較差、效果不夠好等缺陷。在這個項目中，我們使用計算機圖形圖像和視覺技術來模擬人臉操作功能，基于經(jīng)典的算法，根據(jù)人臉特點與可操作性因素加以改進與封裝，使得用戶可以由簡單操作實現(xiàn)各種實用而且效果好的人臉變形。例如，用戶可以把電腦屏幕當作哈哈鏡來使用，通過自己的面目表情控制圖片中的人物，把其他人的臉部器官移植到自己臉上構造一張“如假包換”的新臉，等等。 目前，我們的系統(tǒng)在能夠達到實時交互的速度的同時，也能達到傳統(tǒng)圖像處理軟件達到的效果。
科學性、先進性
- 現(xiàn)有的圖像處理軟件，大多需要人工大量的交互，比如在人臉扭曲變形中，需要對單幀圖片進行交互，有時甚至需要一定的技巧，要熟練操作才能獲得較好的效果。在娛樂功能上得不到推廣，在生產(chǎn)中又得不到高效率。 如計算機中常用的圖像處理軟件photoshop，完成一個人臉變形，每一步處理中都需要進行人工操作，完成一幅圖片大概需要至少幾分鐘的時間。這樣的速度是無法對視頻進行實時處理的。 而我們的軟件關鍵在于交互量少，只需要少量交互甚至完全自動的獲得各種人臉變形效果，任何懂得計算機基本操作的人都可以熟練操作。同時經(jīng)過算法的優(yōu)化，可以對獲取的視頻進行實時處理輸出。這在通常的人臉變形軟件中是沒有的。
獲獎情況及鑒定結(jié)果
- 本作品被中國科技館新館中“信息之橋”展區(qū)的“圖形圖像”展示項目組選中，將于2009年9月1日起在北京正式向全國觀眾開館展示。
作品所處階段
- 生產(chǎn)階段
技術轉(zhuǎn)讓方式
- 無
作品可展示的形式
- 實物、產(chǎn)品 圖片 錄像
使用說明,技術特點和優(yōu)勢,適應范圍,推廣前景的技術性說明,市場分析,經(jīng)濟效益預測
- 安裝好需要的硬件設備（主要包括計算機主機、鍵盤、鼠標、攝相頭等家用電腦基本硬件），根據(jù)要求安裝軟件后，就可以使用軟件。 可以使用的功能包括通過電腦照“哈哈鏡”，造成滑稽效果，達到數(shù)字娛樂目的；使用“整容”功能，可以對自己的頭像進行“虛擬整容”，經(jīng)過改進可以用于真正的整容機構，用于整容前模擬，先進行虛擬整容，達到預想效果后再實施手術；使用“虛擬主持人”除個人娛樂外，可以用于影視特技，也可以用于網(wǎng)絡中的視頻聊天；其人臉特征點檢測技術還可以移植到其他人機交互的系統(tǒng)中，創(chuàng)建一種新的人機交互機制。 總之，成果經(jīng)過進一步改進，將會有很大的市場。
同類課題研究水平概述
- 對圖像進行相關變形在國內(nèi)外已有很多較成熟的相關技術，也有較多的相關通用圖像處理軟件，但是因為這類圖像軟件的通用性，處理時往往需要大量的人工交互，對圖像進行調(diào)整操作，才能達到較好的效果；同時，操作只能針對單幀的圖片，無法對攝取的視頻進行處理，因此效果往往不是那么出色。 關于人臉及其器官在圖像層面上的操作，當前并沒有設計精良、應用廣泛的技術。少數(shù)的現(xiàn)有的相關技術也都存在著一定的缺點或者局限性，在一定程度上回避了真實感圖像可能涉及到的像素操作問題。 早在2001年，在ACM SIGGRAPH上就有關于泊松融合（Poisson Integration）的文章，之后又有對這種方法的種種改進以及發(fā)展，包括圖像無縫融合算法、基于圖切割的圖像拼接技術等等。這些技術設計的過程是將任意一幅圖像進行邊界的提取，移植到另一個背景上，然后使得原圖像的主要信息可以在新背景上的到保留。它們中的有些更側(cè)重于克服原圖像的復雜性對融合的影響，有些則更側(cè)重于修正融合后出現(xiàn)的缺陷與不足。這些從應用的層面上講都過于寬泛，既沒有特別地指出適用的領域，也沒有形成一種移植性較強的技術（如API或者IDE工具）。 人臉特征點跟蹤是計算機視覺領域的熱點問題。近年來，基于KLM算法和LFA算法的工作是這一方向的熱點。代表工作比如：在KLT算法中加入了基于人臉統(tǒng)計信息的經(jīng)驗約束 ,使KLT算法更加合理有效， 以及基于人臉三維模型和深度灰度約束加權對單目視頻圖像序列中的人臉空間姿態(tài)進行跟蹤的方法，和將Kanade-Lucas-Tomasi(KLT) 特征點跟蹤算法和人臉特征點定位的統(tǒng)計模型Active Shape Model(ASM)結(jié)合起來,提出了視頻中人臉特征點定位與跟蹤的混合模型方法。然而，這些方法的都有在面對光照、動作、表情、遮擋等外界環(huán)境因素影響下魯棒性不強的問題。 人臉風格化卡通化具有很強的藝術和娛樂效果。比如微軟視覺感知聯(lián)合實驗室有基于特征跟蹤和融合的人臉風格化動畫的工作，然而這個工作沒有實現(xiàn)實時交互的要求，風格化在娛樂效果上與動作化身仍有一定差距。此外，國內(nèi)也有基于視覺特征提取的表情人臉動畫生成技術，但是他們的工作基于預先錄制的關鍵幀圖像,生成完整的、含有人臉各種形變和表情的關鍵幀庫，這樣的預處理工作太多，人物動作并非由單張圖片生成。
