題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 聆聽(tīng)無(wú)聲世界的音樂(lè)——圖像與音樂(lè)的相關(guān)處理
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”作品
- 小類(lèi)：
- 信息技術(shù)
- 大類(lèi)：
- 科技發(fā)明制作B類(lèi)
- 簡(jiǎn)介：
- 本設(shè)計(jì)基于arm嵌入式平臺(tái)，利用視聽(tīng)聯(lián)覺(jué)的原理，實(shí)現(xiàn)音樂(lè)與圖像、動(dòng)畫(huà)之間的相互轉(zhuǎn)換，即聽(tīng)覺(jué)的視覺(jué)化以及視覺(jué)的聽(tīng)覺(jué)化。 具體功能描述為將一首音樂(lè)按照一定的對(duì)應(yīng)關(guān)系轉(zhuǎn)換成具有同等感情色彩的動(dòng)畫(huà)播放出來(lái)，將音樂(lè)的美可視化。同時(shí)還實(shí)現(xiàn)了這樣的一個(gè)逆過(guò)程，即由操作者任意作畫(huà)，當(dāng)繪制完成后，系統(tǒng)將根據(jù)畫(huà)作的色彩等信息，依照一定的規(guī)則，將其轉(zhuǎn)換為在意境上相呼應(yīng)的音樂(lè)并播放出來(lái)。
- 詳細(xì)介紹：
- 本項(xiàng)目設(shè)計(jì)研發(fā)一種音樂(lè)與圖像、動(dòng)畫(huà)之間相互轉(zhuǎn)換的電子系統(tǒng)，即把一首音樂(lè)按照一定的對(duì)應(yīng)關(guān)系轉(zhuǎn)成具有同等感情色彩的動(dòng)畫(huà)播放出來(lái)，把音樂(lè)的美可視化。同時(shí)，還實(shí)現(xiàn)了這樣的一個(gè)逆過(guò)程，即由操作者任意作畫(huà)，當(dāng)繪制完成后，系統(tǒng)將根據(jù)畫(huà)作的色彩等信息，依照一定的規(guī)則，將其轉(zhuǎn)換為在意境上相呼應(yīng)的音樂(lè)并播放出來(lái)。 本項(xiàng)目的設(shè)計(jì)是基于嵌入式ARM9平臺(tái)，同時(shí)以Qt為開(kāi)發(fā)工具，實(shí)現(xiàn)了音樂(lè)播放器、動(dòng)畫(huà)播放器、畫(huà)圖工具等各模塊功能及其之間的互訪控制，從而實(shí)現(xiàn)音樂(lè)與圖像、動(dòng)畫(huà)之間的相互轉(zhuǎn)換。
作品圖片
作品專(zhuān)業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 作品設(shè)計(jì)發(fā)明目的：實(shí)現(xiàn)圖像與音樂(lè)的相互轉(zhuǎn)換，可讓盲人“感知”圖像，可讓聾啞人“聆聽(tīng)”音樂(lè)，將聲音信息視覺(jué)化，將圖像信息聽(tīng)覺(jué)化。 基本思路：通過(guò)建立圖像與音樂(lè)的對(duì)應(yīng)關(guān)系，并在此基礎(chǔ)上以繪圖工具、音樂(lè)播放器、動(dòng)畫(huà)播放器為實(shí)體，表現(xiàn)出圖像與音樂(lè)的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)圖像與音樂(lè)的相互轉(zhuǎn)換。 創(chuàng)新點(diǎn)：1.作品的想象力豐富，創(chuàng)新性比較獨(dú)特，把看似無(wú)關(guān)的圖像和聲音通過(guò)人的感覺(jué)聯(lián)系起來(lái)；2.以前絕大多數(shù)研究都是在圖像轉(zhuǎn)換為聲音信號(hào)的道路上進(jìn)行探索，而鮮少有人研究以音樂(lè)為主動(dòng)方的轉(zhuǎn)變?yōu)閳D像的過(guò)程，而我們以人的心理感覺(jué)為基礎(chǔ)，建立了一套圖像與音樂(lè)間的對(duì)應(yīng)規(guī)則； 技術(shù)關(guān)鍵：1.建立圖像與音樂(lè)間的對(duì)應(yīng)關(guān)系，這也是本項(xiàng)目最關(guān)鍵之處;2.編輯繪畫(huà)、播放音樂(lè)、實(shí)現(xiàn)動(dòng)畫(huà)的程序以及它們之間的互訪控制。 技術(shù)指標(biāo)：1.實(shí)現(xiàn)流暢地動(dòng)畫(huà)播放；2.音樂(lè)的旋律給人的聽(tīng)覺(jué)感受與圖像、動(dòng)畫(huà)給人的視覺(jué)沖擊有相似之處。
科學(xué)性、先進(jìn)性
- 前人絕大多數(shù)研究都是在轉(zhuǎn)換為音樂(lè)的道路上進(jìn)行探索，而鮮少有人研究以音樂(lè)為主動(dòng)方的轉(zhuǎn)變?yōu)閳D像的過(guò)程，而且由于主觀因素太大，并未取得突破性的成果。 而我們的這款設(shè)計(jì)創(chuàng)造性地提出了圖像與音樂(lè)的相互轉(zhuǎn)換，將圖像轉(zhuǎn)換為聲音信號(hào)，這樣那些聽(tīng)不見(jiàn)動(dòng)人旋律、唱不出婉轉(zhuǎn)樂(lè)曲的聾啞人可以使用此設(shè)備把他們心中的歌用畫(huà)圖的方式“唱出來(lái)”，同樣，聾啞人聽(tīng)不到美妙的音樂(lè)，但他們可以通過(guò)觀賞動(dòng)畫(huà)（由音樂(lè)轉(zhuǎn)換而來(lái)）來(lái)體會(huì)音樂(lè)的優(yōu)美，即“看到”音樂(lè)。而且本款設(shè)計(jì)注重軟、硬件結(jié)合，采用嵌入式系統(tǒng)設(shè)計(jì)，成本較低，比同類(lèi)研究成果或產(chǎn)品具有更好的市場(chǎng)推廣前景。
獲獎(jiǎng)情況及鑒定結(jié)果
- 無(wú)
作品所處階段
- 中試階段
技術(shù)轉(zhuǎn)讓方式
- 有償轉(zhuǎn)讓
作品可展示的形式
- 實(shí)物產(chǎn)品，圖片，現(xiàn)場(chǎng)演示
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 使用說(shuō)明及技術(shù)特點(diǎn)和優(yōu)勢(shì)：我們的作品具有很強(qiáng)的實(shí)用性，且操作簡(jiǎn)便。只要你拿起電子筆作畫(huà)，繪制完成后點(diǎn)擊按鍵以確認(rèn)繪圖完成，系統(tǒng)將自動(dòng)對(duì)圖畫(huà)進(jìn)行處理，然后播放出相應(yīng)的音樂(lè)，這部分的轉(zhuǎn)換是在后臺(tái)進(jìn)行的。反之，如欲實(shí)現(xiàn)音樂(lè)至動(dòng)畫(huà)的轉(zhuǎn)換，則只需簡(jiǎn)單地讓音樂(lè)播放器播放音樂(lè)，那么，系統(tǒng)也將自動(dòng)對(duì)音樂(lè)進(jìn)行分析處理，播放出相應(yīng)的動(dòng)畫(huà)。 適應(yīng)范圍：我們的設(shè)計(jì)基于ARM平臺(tái)完成，成本不高?？勺屆と恕奥?tīng)”到圖像，聾啞人“看”到音樂(lè)，通過(guò)另一種方式感受他們生命中無(wú)法觸及的領(lǐng)域。同時(shí)，對(duì)于正常人來(lái)說(shuō)，可以在任何環(huán)境下將繪圖與音樂(lè)聯(lián)系起來(lái)，感受音、象融合給予人的審美享受。還可運(yùn)用于美術(shù)創(chuàng)作，動(dòng)漫制作等方面。 市場(chǎng)分析：目前市場(chǎng)上出現(xiàn)的相似功能的產(chǎn)品均是對(duì)圖像灰度值與聲音的映射，而我們的作品是實(shí)現(xiàn)圖像RGB值與聲音的相互映射，這類(lèi)產(chǎn)品目前在市場(chǎng)上幾乎沒(méi)有，因此有很廣闊的應(yīng)用前景。
同類(lèi)課題研究水平概述
- 眾所周知，從太陽(yáng)光中可以析出七種色彩。而音樂(lè)與色彩一樣，都能表達(dá)人內(nèi)心世界的情緒變化，它們之間存在著自然的聯(lián)系，從而也就引起了人們對(duì)這樣的聯(lián)系的研究。 1．國(guó)外色彩與音樂(lè)的研究現(xiàn)狀 在康定斯基所著的《論藝術(shù)的精神》一書(shū)中，將色彩和音樂(lè)的情感聯(lián)系起來(lái)，并在每一種色彩的解釋中都用一種樂(lè)器的聲音作為中介和歸納，即每一個(gè)色彩都有不同的客觀伴音。在色彩音樂(lè)的發(fā)展過(guò)程中，還有許多音樂(lè)家進(jìn)行了多方面的實(shí)踐和創(chuàng)作，著名的如： 亞歷山大?拉茲羅發(fā)明的色彩鋼琴，它能在演奏過(guò)程中射出彩色圖象到銀幕上以伴隨音樂(lè)，他還著有《彩色光線——音樂(lè)》一書(shū)。 弗里德里克?本頓發(fā)明了色彩控制臺(tái)。里明頓圖教授著有《色彩音樂(lè)——流動(dòng)色彩的藝術(shù)》，同時(shí)還在音階的12個(gè)半音上擬出一個(gè)色彩音階……最重要的創(chuàng)舉是科學(xué)工作者威爾弗萊德制作的Clavilux（克拉維拉克斯）色彩投影機(jī)，它實(shí)現(xiàn)了音樂(lè)演奏與富于變化的彩色影像的聯(lián)系。隨著科學(xué)技術(shù)的迅速發(fā)展，激光技術(shù)也應(yīng)用到色彩音樂(lè)中，在1973年美國(guó)芝加哥天文館內(nèi)就表演了激光色彩音樂(lè)，由于激光具有與普通光線不同的視覺(jué)效果，而使色彩音樂(lè)又進(jìn)入了新的領(lǐng)域。另外國(guó)外還研究出一款Voice軟件，該軟件可將來(lái)自PC攝像頭、電腦屏幕、掃描儀或圖片文件等的圖像即時(shí)繪制成相應(yīng)的（合成）聲音文件，讓盲人從耳機(jī)中聽(tīng)到周遭的景象，通過(guò)聽(tīng)覺(jué)“看”到與明眼人所見(jiàn)相同的形狀和事物。 2．國(guó)內(nèi)色彩與音樂(lè)的研究現(xiàn)狀 對(duì)于視覺(jué)、聽(tīng)覺(jué)信號(hào)處理國(guó)內(nèi)目前研究水平些許欠缺，北京大學(xué)視覺(jué)與聽(tīng)覺(jué)信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室以實(shí)現(xiàn)高度智能化的機(jī)器感知系統(tǒng)為目標(biāo)，開(kāi)展機(jī)器視覺(jué)與聽(tīng)覺(jué)信息處理方面的基礎(chǔ)與應(yīng)用基礎(chǔ)研究。主要研究方向有：在機(jī)器視覺(jué)領(lǐng)域開(kāi)展圖像處理、模式識(shí)別、圖像與視頻壓縮、生物特征識(shí)別與信息安全、三維視覺(jué)信息處理、智能機(jī)器人視覺(jué)與動(dòng)作規(guī)劃等研究；在機(jī)器聽(tīng)覺(jué)領(lǐng)域開(kāi)展機(jī)器聽(tīng)覺(jué)模型、語(yǔ)音信號(hào)處理、人工神經(jīng)網(wǎng)絡(luò)和說(shuō)話人識(shí)別及其應(yīng)用研究；在智能信息系統(tǒng)領(lǐng)域開(kāi)展多媒體信息的數(shù)據(jù)組織與管理、數(shù)據(jù)挖掘和網(wǎng)絡(luò)環(huán)境下海量信息的集成等方面的研究；視覺(jué)與聽(tīng)覺(jué)的神經(jīng)計(jì)算模型和心理生理基礎(chǔ)研究主要從生理與心理學(xué)的角度探索高等哺乳動(dòng)物視覺(jué)與聽(tīng)覺(jué)的機(jī)理，為視覺(jué)與聽(tīng)覺(jué)信息處理提供基本理論和方法。
