題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于移動(dòng)終端的漢語手語識別技術(shù)研究
- 小類：
- 信息技術(shù)
- 簡介：
- 基于視覺的手語識別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語識別。 仿真實(shí)驗(yàn)表明：該方法對圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡單、快速,可以用于手語識別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端的方法具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。
- 詳細(xì)介紹：
- 基于視覺的手語識別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語識別。首先提取手語手勢圖像的邊緣及邊緣輪廓，獲得邊緣圖像的梯度方向角直方圖和輪廓填充圖形，并根據(jù)這兩個(gè)特征參數(shù)對待測手語手勢圖像與標(biāo)準(zhǔn)手語手勢圖像進(jìn)行相關(guān)分析，選取其中具有最大相關(guān)性的標(biāo)準(zhǔn)手勢圖像做為匹配目標(biāo)。本文采用26個(gè)英文字母的手勢作為手語詞庫，并在移動(dòng)終端上初步實(shí)現(xiàn)了該手語識別系統(tǒng)。 仿真實(shí)驗(yàn)表明：該方法對圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡單、快速,可以用于手語識別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端（Android手機(jī)操作系統(tǒng)平臺(tái)下）的手語識別方法不同于以往基于數(shù)據(jù)手套的的手語識別方法，具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。因此，本文所做工作是移動(dòng)環(huán)境下的手語識別技術(shù)的一次有益嘗試。
作品專業(yè)信息
撰寫目的和基本思路
- 隨著科技的發(fā)展，移動(dòng)終端將逐步發(fā)展為主要的通信工具，伴隨著每一個(gè)人的日常生活。同時(shí)，該技術(shù)的研究有助于改善聾啞人的生活學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)。 文中使用圖像邊緣梯度方向角直方圖和圖像輪廓填充圖形作為手語手勢的特征參數(shù)進(jìn)行靜態(tài)手語識別。然后使用Matlab Builder for Java將Matlab仿真下的結(jié)果轉(zhuǎn)換成手機(jī)識別的語言，并移植到移動(dòng)終端。
科學(xué)性、先進(jìn)性及獨(dú)特之處
- 科學(xué)性以及先進(jìn)性：文中的創(chuàng)新點(diǎn)是結(jié)合采用歸一化邊緣梯度方向角直方圖和圖像邊緣輪廓圖形兩個(gè)特征參數(shù)進(jìn)行靜態(tài)手語識別。 該方法對圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡單、快速,可以用于手語識別系統(tǒng)。 獨(dú)特性：本文的另一個(gè)創(chuàng)新點(diǎn)是基于移動(dòng)終端的手語識別。充分利用了3G手機(jī)的極高的數(shù)據(jù)傳輸速率的特點(diǎn)，以及支持多媒體通信的優(yōu)勢，因而該技術(shù)具有潛在的巨大的現(xiàn)實(shí)意義。
應(yīng)用價(jià)值和現(xiàn)實(shí)意義
- 由于移動(dòng)終端（如手機(jī)）使用的普遍性及方便性，將手語識別系統(tǒng)移植到手機(jī)環(huán)境下將更方便快捷的服務(wù)于聾啞人的生活，因此其具有廣泛的現(xiàn)實(shí)意義。 手語的研究不僅有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)。同時(shí)也可以應(yīng)用于計(jì)算機(jī)輔助啞語教學(xué)、電視節(jié)目雙語播放、電影制作中的特技處理、動(dòng)畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。因此，手語的研究是一個(gè)非常有意義的課題。
學(xué)術(shù)論文摘要
- 基于視覺的手語識別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語識別。首先提取手語手勢圖像的邊緣及邊緣輪廓，獲得邊緣圖像的梯度方向角直方圖和輪廓填充圖形，并根據(jù)這兩個(gè)特征參數(shù)對待測手語手勢圖像與標(biāo)準(zhǔn)手語手勢圖像進(jìn)行相關(guān)分析，選取其中具有最大相關(guān)性的標(biāo)準(zhǔn)手勢圖像做為匹配目標(biāo)。本文采用26個(gè)英文字母的手勢作為手語詞庫，并在移動(dòng)終端上初步實(shí)現(xiàn)了該手語識別系統(tǒng)。 仿真實(shí)驗(yàn)表明：該方法對圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡單、快速,可以用于手語識別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端（Android手機(jī)操作系統(tǒng)平臺(tái)下）的手語識別方法不同于以往基于數(shù)據(jù)手套的的手語識別方法，具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。因此，本文所做工作是移動(dòng)環(huán)境下的手語識別技術(shù)的一次有益嘗試。
獲獎(jiǎng)情況
- 暫無
鑒定結(jié)果
- 暫無
參考文獻(xiàn)
- [1] 劉信,江朝暉,馮煥清。 基于方向直方圖的手語識別方法研究[J]。 計(jì)算機(jī)仿真,May 2009, 26(5):244-247。 [2] 郭彩龍。 中國靜態(tài)手語識別的研究[C],碩士論文, 西安建筑科技大學(xué), 2009。 [3] 張良國, 高文, 陳熙霖等。 面向中等詞匯量的中國手語視覺識別系統(tǒng)[J]。 計(jì)算機(jī)研究與發(fā)展, 2006, 43(3):476-482。 [4] 胡友樹。手勢識別技術(shù)綜述[J]。 中國科技信息, 2005(2):42。 [5] 翟俊海，趙文秀，王熙照。 圖像特征提取研究[J]，河北大學(xué)，Jan，2009。 [6] 李文趨。 Java與Matlab混合編程在圖像處理中的應(yīng)用[J]，華僑大學(xué)計(jì)算機(jī)與科學(xué)技術(shù)學(xué)院，2009. 。 [7] Von Agris U, Zieren J, Canzler U, etal. Recent developments in visual sign language recognition[J]. Universal Access in the Information Society, 2008, 6(4):323-362. [8] Yiqiang Chen, Wen Gao, Changshui Yang, Dalong Jiang. Multi-ModelBehavior Synchronizing Prosody Model in Sign Language Synthesis.Chinese Journal of Computers, 2006: No.05.
同類課題研究水平概述
- 最早的手語自動(dòng)識別的嘗試開始于20 世紀(jì)80 年代末。根據(jù)手語輸入設(shè)備的不同, 分為采用視覺和數(shù)據(jù)手套兩種方法。基于視覺的手語識別如Charaphayan 和Marble 研究了一種用圖像處理的方法來識別31 個(gè)美國手語詞， 可以正確識別出其中的27 個(gè)。Starner 等對40 個(gè)詞構(gòu)成的具有很強(qiáng)語法約束的短小語句進(jìn)行識別, 識別率為99. 2%?；跀?shù)據(jù)手套的手語識別有: Takahashi 和Kishino 用一只VPL 數(shù)據(jù)手套識別46 個(gè)日本手指字母, 可正確識別出其中的30 個(gè)。Liang 等對連續(xù)的我國臺(tái)灣手語識別進(jìn)行了研究, 他們設(shè)定時(shí)變得手形參數(shù)變化的值來確定手勢流中手語詞的開始和結(jié)束, 在250 個(gè)手語詞組成的詞匯集上, 他們?nèi)〉昧?0. 4%的識別率。 近年來, 基于統(tǒng)計(jì)隱馬爾科夫模型(HMM) 的方法一直是手語識別研究的主流方法。目前的手語識別系統(tǒng)也通常采用HMM, 包括離散隱馬爾科夫模型(DHMM) 和連續(xù)隱馬爾科夫模型(CHMM) 作為訓(xùn)練模型。美國的Cui和Weng研究了最具區(qū)分性特征(MDF) 和最具表達(dá)性特征(MEF) 的不同, 采用模板匹配的方法, 實(shí)現(xiàn)了一個(gè)可以識別26個(gè)手勢的系統(tǒng),識別率為93% 。德國的Kirsti Grobel等利用HMM 方法實(shí)現(xiàn)了可識別262 個(gè)孤立手語詞的識別系統(tǒng), 識別率為91.3% ，采用DGMM(Dynamic Gaus-sian Mixture Model) 方法, 孤立詞的識別率為90%左右, 句子的識別率為95.2%。 這些算法在手語識別上取得一些成績，但都比較復(fù)雜, 計(jì)算量大,執(zhí)行時(shí)間較長。本文提出的正是基于移動(dòng)終端（手機(jī)操作系統(tǒng)）下的手語識別，研究基于視覺的靜態(tài)手語識別方法。在對26個(gè)字母的手勢的測驗(yàn)中，19張手語手勢可以識別為最相似目標(biāo)，5張手語手勢可以識別為次相似目標(biāo)，2張手語手勢不可以識別，識別率為92.31% 。與以往的手語識別方法相比較，這種方法更加的方便，簡單。 據(jù)國外媒體報(bào)道，美國華盛頓大學(xué)的工程師正在測試一款名為MobileASL的工具，這款工具能利用運(yùn)動(dòng)感知技術(shù)去識別美國手語，并通過手機(jī)發(fā)送圖像。這是目前唯一可查的研究手語識別技術(shù)在移動(dòng)終端應(yīng)用的項(xiàng)目。
