題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于移動(dòng)終端的漢語(yǔ)手語(yǔ)識(shí)別技術(shù)研究
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”省賽作品
- 小類：
- 信息技術(shù)
- 簡(jiǎn)介：
- 基于視覺的手語(yǔ)識(shí)別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語(yǔ)識(shí)別。 仿真實(shí)驗(yàn)表明：該方法對(duì)圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡(jiǎn)單、快速,可以用于手語(yǔ)識(shí)別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端的方法具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。
- 詳細(xì)介紹：
- 基于視覺的手語(yǔ)識(shí)別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語(yǔ)識(shí)別。首先提取手語(yǔ)手勢(shì)圖像的邊緣及邊緣輪廓，獲得邊緣圖像的梯度方向角直方圖和輪廓填充圖形，并根據(jù)這兩個(gè)特征參數(shù)對(duì)待測(cè)手語(yǔ)手勢(shì)圖像與標(biāo)準(zhǔn)手語(yǔ)手勢(shì)圖像進(jìn)行相關(guān)分析，選取其中具有最大相關(guān)性的標(biāo)準(zhǔn)手勢(shì)圖像做為匹配目標(biāo)。本文采用26個(gè)英文字母的手勢(shì)作為手語(yǔ)詞庫(kù)，并在移動(dòng)終端上初步實(shí)現(xiàn)了該手語(yǔ)識(shí)別系統(tǒng)。 仿真實(shí)驗(yàn)表明：該方法對(duì)圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡(jiǎn)單、快速,可以用于手語(yǔ)識(shí)別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端（Android手機(jī)操作系統(tǒng)平臺(tái)下）的手語(yǔ)識(shí)別方法不同于以往基于數(shù)據(jù)手套的的手語(yǔ)識(shí)別方法，具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。因此，本文所做工作是移動(dòng)環(huán)境下的手語(yǔ)識(shí)別技術(shù)的一次有益嘗試。
作品專業(yè)信息
撰寫目的和基本思路
- 隨著科技的發(fā)展，移動(dòng)終端將逐步發(fā)展為主要的通信工具，伴隨著每一個(gè)人的日常生活。同時(shí)，該技術(shù)的研究有助于改善聾啞人的生活學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)。 文中使用圖像邊緣梯度方向角直方圖和圖像輪廓填充圖形作為手語(yǔ)手勢(shì)的特征參數(shù)進(jìn)行靜態(tài)手語(yǔ)識(shí)別。然后使用Matlab Builder for Java將Matlab仿真下的結(jié)果轉(zhuǎn)換成手機(jī)識(shí)別的語(yǔ)言，并移植到移動(dòng)終端。
科學(xué)性、先進(jìn)性及獨(dú)特之處
- 科學(xué)性以及先進(jìn)性：文中的創(chuàng)新點(diǎn)是結(jié)合采用歸一化邊緣梯度方向角直方圖和圖像邊緣輪廓圖形兩個(gè)特征參數(shù)進(jìn)行靜態(tài)手語(yǔ)識(shí)別。 該方法對(duì)圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡(jiǎn)單、快速,可以用于手語(yǔ)識(shí)別系統(tǒng)。 獨(dú)特性：本文的另一個(gè)創(chuàng)新點(diǎn)是基于移動(dòng)終端的手語(yǔ)識(shí)別。充分利用了3G手機(jī)的極高的數(shù)據(jù)傳輸速率的特點(diǎn)，以及支持多媒體通信的優(yōu)勢(shì)，因而該技術(shù)具有潛在的巨大的現(xiàn)實(shí)意義。
應(yīng)用價(jià)值和現(xiàn)實(shí)意義
- 由于移動(dòng)終端（如手機(jī)）使用的普遍性及方便性，將手語(yǔ)識(shí)別系統(tǒng)移植到手機(jī)環(huán)境下將更方便快捷的服務(wù)于聾啞人的生活，因此其具有廣泛的現(xiàn)實(shí)意義。 手語(yǔ)的研究不僅有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)。同時(shí)也可以應(yīng)用于計(jì)算機(jī)輔助啞語(yǔ)教學(xué)、電視節(jié)目雙語(yǔ)播放、電影制作中的特技處理、動(dòng)畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。因此，手語(yǔ)的研究是一個(gè)非常有意義的課題。
學(xué)術(shù)論文摘要
- 基于視覺的手語(yǔ)識(shí)別技術(shù)是多模式人機(jī)交互技術(shù)的重要研究方向。本文基于圖像邊緣梯度方向角直方圖和圖像輪廓填充多特征匹配技術(shù)，實(shí)現(xiàn)了移動(dòng)環(huán)境下的小詞匯量靜態(tài)手語(yǔ)識(shí)別。首先提取手語(yǔ)手勢(shì)圖像的邊緣及邊緣輪廓，獲得邊緣圖像的梯度方向角直方圖和輪廓填充圖形，并根據(jù)這兩個(gè)特征參數(shù)對(duì)待測(cè)手語(yǔ)手勢(shì)圖像與標(biāo)準(zhǔn)手語(yǔ)手勢(shì)圖像進(jìn)行相關(guān)分析，選取其中具有最大相關(guān)性的標(biāo)準(zhǔn)手勢(shì)圖像做為匹配目標(biāo)。本文采用26個(gè)英文字母的手勢(shì)作為手語(yǔ)詞庫(kù)，并在移動(dòng)終端上初步實(shí)現(xiàn)了該手語(yǔ)識(shí)別系統(tǒng)。 仿真實(shí)驗(yàn)表明：該方法對(duì)圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性, 而且該方法計(jì)算簡(jiǎn)單、快速,可以用于手語(yǔ)識(shí)別系統(tǒng)。更重要的是，本文提出的基于視覺和移動(dòng)終端（Android手機(jī)操作系統(tǒng)平臺(tái)下）的手語(yǔ)識(shí)別方法不同于以往基于數(shù)據(jù)手套的的手語(yǔ)識(shí)別方法，具有使用方便，靈活的特點(diǎn)，在移動(dòng)環(huán)境下具有一定的普適意義。因此，本文所做工作是移動(dòng)環(huán)境下的手語(yǔ)識(shí)別技術(shù)的一次有益嘗試。
獲獎(jiǎng)情況
- 暫無(wú)
鑒定結(jié)果
- 暫無(wú)
參考文獻(xiàn)
- [1] 劉信,江朝暉,馮煥清。 基于方向直方圖的手語(yǔ)識(shí)別方法研究[J]。 計(jì)算機(jī)仿真,May 2009, 26(5):244-247。 [2] 郭彩龍。 中國(guó)靜態(tài)手語(yǔ)識(shí)別的研究[C],碩士論文, 西安建筑科技大學(xué), 2009。 [3] 張良國(guó), 高文, 陳熙霖等。 面向中等詞匯量的中國(guó)手語(yǔ)視覺識(shí)別系統(tǒng)[J]。 計(jì)算機(jī)研究與發(fā)展, 2006, 43(3):476-482。 [4] 胡友樹。手勢(shì)識(shí)別技術(shù)綜述[J]。 中國(guó)科技信息, 2005(2):42。 [5] 翟俊海，趙文秀，王熙照。 圖像特征提取研究[J]，河北大學(xué)，Jan，2009。 [6] 李文趨。 Java與Matlab混合編程在圖像處理中的應(yīng)用[J]，華僑大學(xué)計(jì)算機(jī)與科學(xué)技術(shù)學(xué)院，2009. 。 [7] Von Agris U, Zieren J, Canzler U, etal. Recent developments in visual sign language recognition[J]. Universal Access in the Information Society, 2008, 6(4):323-362. [8] Yiqiang Chen, Wen Gao, Changshui Yang, Dalong Jiang. Multi-ModelBehavior Synchronizing Prosody Model in Sign Language Synthesis.Chinese Journal of Computers, 2006: No.05.
同類課題研究水平概述
- 最早的手語(yǔ)自動(dòng)識(shí)別的嘗試開始于20 世紀(jì)80 年代末。根據(jù)手語(yǔ)輸入設(shè)備的不同, 分為采用視覺和數(shù)據(jù)手套兩種方法?；谝曈X的手語(yǔ)識(shí)別如Charaphayan 和Marble 研究了一種用圖像處理的方法來(lái)識(shí)別31 個(gè)美國(guó)手語(yǔ)詞， 可以正確識(shí)別出其中的27 個(gè)。Starner 等對(duì)40 個(gè)詞構(gòu)成的具有很強(qiáng)語(yǔ)法約束的短小語(yǔ)句進(jìn)行識(shí)別, 識(shí)別率為99. 2%?；跀?shù)據(jù)手套的手語(yǔ)識(shí)別有: Takahashi 和Kishino 用一只VPL 數(shù)據(jù)手套識(shí)別46 個(gè)日本手指字母, 可正確識(shí)別出其中的30 個(gè)。Liang 等對(duì)連續(xù)的我國(guó)臺(tái)灣手語(yǔ)識(shí)別進(jìn)行了研究, 他們?cè)O(shè)定時(shí)變得手形參數(shù)變化的值來(lái)確定手勢(shì)流中手語(yǔ)詞的開始和結(jié)束, 在250 個(gè)手語(yǔ)詞組成的詞匯集上, 他們?nèi)〉昧?0. 4%的識(shí)別率。 近年來(lái), 基于統(tǒng)計(jì)隱馬爾科夫模型(HMM) 的方法一直是手語(yǔ)識(shí)別研究的主流方法。目前的手語(yǔ)識(shí)別系統(tǒng)也通常采用HMM, 包括離散隱馬爾科夫模型(DHMM) 和連續(xù)隱馬爾科夫模型(CHMM) 作為訓(xùn)練模型。美國(guó)的Cui和Weng研究了最具區(qū)分性特征(MDF) 和最具表達(dá)性特征(MEF) 的不同, 采用模板匹配的方法, 實(shí)現(xiàn)了一個(gè)可以識(shí)別26個(gè)手勢(shì)的系統(tǒng),識(shí)別率為93% 。德國(guó)的Kirsti Grobel等利用HMM 方法實(shí)現(xiàn)了可識(shí)別262 個(gè)孤立手語(yǔ)詞的識(shí)別系統(tǒng), 識(shí)別率為91.3% ，采用DGMM(Dynamic Gaus-sian Mixture Model) 方法, 孤立詞的識(shí)別率為90%左右, 句子的識(shí)別率為95.2%。 這些算法在手語(yǔ)識(shí)別上取得一些成績(jī)，但都比較復(fù)雜, 計(jì)算量大,執(zhí)行時(shí)間較長(zhǎng)。本文提出的正是基于移動(dòng)終端（手機(jī)操作系統(tǒng)）下的手語(yǔ)識(shí)別，研究基于視覺的靜態(tài)手語(yǔ)識(shí)別方法。在對(duì)26個(gè)字母的手勢(shì)的測(cè)驗(yàn)中，19張手語(yǔ)手勢(shì)可以識(shí)別為最相似目標(biāo)，5張手語(yǔ)手勢(shì)可以識(shí)別為次相似目標(biāo)，2張手語(yǔ)手勢(shì)不可以識(shí)別，識(shí)別率為92.31% 。與以往的手語(yǔ)識(shí)別方法相比較，這種方法更加的方便，簡(jiǎn)單。 據(jù)國(guó)外媒體報(bào)道，美國(guó)華盛頓大學(xué)的工程師正在測(cè)試一款名為MobileASL的工具，這款工具能利用運(yùn)動(dòng)感知技術(shù)去識(shí)別美國(guó)手語(yǔ)，并通過手機(jī)發(fā)送圖像。這是目前唯一可查的研究手語(yǔ)識(shí)別技術(shù)在移動(dòng)終端應(yīng)用的項(xiàng)目。
