題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 聆聽無聲世界的音樂——圖像與音樂的相關(guān)處理
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 本設(shè)計基于arm嵌入式平臺，利用視聽聯(lián)覺的原理，實(shí)現(xiàn)音樂與圖像、動畫之間的相互轉(zhuǎn)換，即聽覺的視覺化以及視覺的聽覺化。 具體功能描述為將一首音樂按照一定的對應(yīng)關(guān)系轉(zhuǎn)換成具有同等感情色彩的動畫播放出來，將音樂的美可視化。同時還實(shí)現(xiàn)了這樣的一個逆過程，即由操作者任意作畫，當(dāng)繪制完成后，系統(tǒng)將根據(jù)畫作的色彩等信息，依照一定的規(guī)則，將其轉(zhuǎn)換為在意境上相呼應(yīng)的音樂并播放出來。
- 詳細(xì)介紹：
- 本項(xiàng)目設(shè)計研發(fā)一種音樂與圖像、動畫之間相互轉(zhuǎn)換的電子系統(tǒng)，即把一首音樂按照一定的對應(yīng)關(guān)系轉(zhuǎn)成具有同等感情色彩的動畫播放出來，把音樂的美可視化。同時，還實(shí)現(xiàn)了這樣的一個逆過程，即由操作者任意作畫，當(dāng)繪制完成后，系統(tǒng)將根據(jù)畫作的色彩等信息，依照一定的規(guī)則，將其轉(zhuǎn)換為在意境上相呼應(yīng)的音樂并播放出來。 本項(xiàng)目的設(shè)計是基于嵌入式ARM9平臺，同時以Qt為開發(fā)工具，實(shí)現(xiàn)了音樂播放器、動畫播放器、畫圖工具等各模塊功能及其之間的互訪控制，從而實(shí)現(xiàn)音樂與圖像、動畫之間的相互轉(zhuǎn)換。
作品圖片
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 作品設(shè)計發(fā)明目的：實(shí)現(xiàn)圖像與音樂的相互轉(zhuǎn)換，可讓盲人“感知”圖像，可讓聾啞人“聆聽”音樂，將聲音信息視覺化，將圖像信息聽覺化。 基本思路：通過建立圖像與音樂的對應(yīng)關(guān)系，并在此基礎(chǔ)上以繪圖工具、音樂播放器、動畫播放器為實(shí)體，表現(xiàn)出圖像與音樂的對應(yīng)關(guān)系，從而實(shí)現(xiàn)圖像與音樂的相互轉(zhuǎn)換。 創(chuàng)新點(diǎn)：1.作品的想象力豐富，創(chuàng)新性比較獨(dú)特，把看似無關(guān)的圖像和聲音通過人的感覺聯(lián)系起來；2.以前絕大多數(shù)研究都是在圖像轉(zhuǎn)換為聲音信號的道路上進(jìn)行探索，而鮮少有人研究以音樂為主動方的轉(zhuǎn)變?yōu)閳D像的過程，而我們以人的心理感覺為基礎(chǔ)，建立了一套圖像與音樂間的對應(yīng)規(guī)則； 技術(shù)關(guān)鍵：1.建立圖像與音樂間的對應(yīng)關(guān)系，這也是本項(xiàng)目最關(guān)鍵之處;2.編輯繪畫、播放音樂、實(shí)現(xiàn)動畫的程序以及它們之間的互訪控制。 技術(shù)指標(biāo)：1.實(shí)現(xiàn)流暢地動畫播放；2.音樂的旋律給人的聽覺感受與圖像、動畫給人的視覺沖擊有相似之處。
科學(xué)性、先進(jìn)性
- 前人絕大多數(shù)研究都是在轉(zhuǎn)換為音樂的道路上進(jìn)行探索，而鮮少有人研究以音樂為主動方的轉(zhuǎn)變?yōu)閳D像的過程，而且由于主觀因素太大，并未取得突破性的成果。 而我們的這款設(shè)計創(chuàng)造性地提出了圖像與音樂的相互轉(zhuǎn)換，將圖像轉(zhuǎn)換為聲音信號，這樣那些聽不見動人旋律、唱不出婉轉(zhuǎn)樂曲的聾啞人可以使用此設(shè)備把他們心中的歌用畫圖的方式“唱出來”，同樣，聾啞人聽不到美妙的音樂，但他們可以通過觀賞動畫（由音樂轉(zhuǎn)換而來）來體會音樂的優(yōu)美，即“看到”音樂。而且本款設(shè)計注重軟、硬件結(jié)合，采用嵌入式系統(tǒng)設(shè)計，成本較低，比同類研究成果或產(chǎn)品具有更好的市場推廣前景。
獲獎情況及鑒定結(jié)果
- 無
作品所處階段
- 中試階段
技術(shù)轉(zhuǎn)讓方式
- 有償轉(zhuǎn)讓
作品可展示的形式
- 實(shí)物產(chǎn)品，圖片，現(xiàn)場演示
使用說明,技術(shù)特點(diǎn)和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟(jì)效益預(yù)測
- 使用說明及技術(shù)特點(diǎn)和優(yōu)勢：我們的作品具有很強(qiáng)的實(shí)用性，且操作簡便。只要你拿起電子筆作畫，繪制完成后點(diǎn)擊按鍵以確認(rèn)繪圖完成，系統(tǒng)將自動對圖畫進(jìn)行處理，然后播放出相應(yīng)的音樂，這部分的轉(zhuǎn)換是在后臺進(jìn)行的。反之，如欲實(shí)現(xiàn)音樂至動畫的轉(zhuǎn)換，則只需簡單地讓音樂播放器播放音樂，那么，系統(tǒng)也將自動對音樂進(jìn)行分析處理，播放出相應(yīng)的動畫。 適應(yīng)范圍：我們的設(shè)計基于ARM平臺完成，成本不高?？勺屆と恕奥牎钡綀D像，聾啞人“看”到音樂，通過另一種方式感受他們生命中無法觸及的領(lǐng)域。同時，對于正常人來說，可以在任何環(huán)境下將繪圖與音樂聯(lián)系起來，感受音、象融合給予人的審美享受。還可運(yùn)用于美術(shù)創(chuàng)作，動漫制作等方面。 市場分析：目前市場上出現(xiàn)的相似功能的產(chǎn)品均是對圖像灰度值與聲音的映射，而我們的作品是實(shí)現(xiàn)圖像RGB值與聲音的相互映射，這類產(chǎn)品目前在市場上幾乎沒有，因此有很廣闊的應(yīng)用前景。
同類課題研究水平概述
- 眾所周知，從太陽光中可以析出七種色彩。而音樂與色彩一樣，都能表達(dá)人內(nèi)心世界的情緒變化，它們之間存在著自然的聯(lián)系，從而也就引起了人們對這樣的聯(lián)系的研究。 1．國外色彩與音樂的研究現(xiàn)狀 在康定斯基所著的《論藝術(shù)的精神》一書中，將色彩和音樂的情感聯(lián)系起來，并在每一種色彩的解釋中都用一種樂器的聲音作為中介和歸納，即每一個色彩都有不同的客觀伴音。在色彩音樂的發(fā)展過程中，還有許多音樂家進(jìn)行了多方面的實(shí)踐和創(chuàng)作，著名的如： 亞歷山大?拉茲羅發(fā)明的色彩鋼琴，它能在演奏過程中射出彩色圖象到銀幕上以伴隨音樂，他還著有《彩色光線——音樂》一書。 弗里德里克?本頓發(fā)明了色彩控制臺。里明頓圖教授著有《色彩音樂——流動色彩的藝術(shù)》，同時還在音階的12個半音上擬出一個色彩音階……最重要的創(chuàng)舉是科學(xué)工作者威爾弗萊德制作的Clavilux（克拉維拉克斯）色彩投影機(jī)，它實(shí)現(xiàn)了音樂演奏與富于變化的彩色影像的聯(lián)系。隨著科學(xué)技術(shù)的迅速發(fā)展，激光技術(shù)也應(yīng)用到色彩音樂中，在1973年美國芝加哥天文館內(nèi)就表演了激光色彩音樂，由于激光具有與普通光線不同的視覺效果，而使色彩音樂又進(jìn)入了新的領(lǐng)域。另外國外還研究出一款Voice軟件，該軟件可將來自PC攝像頭、電腦屏幕、掃描儀或圖片文件等的圖像即時繪制成相應(yīng)的（合成）聲音文件，讓盲人從耳機(jī)中聽到周遭的景象，通過聽覺“看”到與明眼人所見相同的形狀和事物。 2．國內(nèi)色彩與音樂的研究現(xiàn)狀 對于視覺、聽覺信號處理國內(nèi)目前研究水平些許欠缺，北京大學(xué)視覺與聽覺信息處理國家重點(diǎn)實(shí)驗(yàn)室以實(shí)現(xiàn)高度智能化的機(jī)器感知系統(tǒng)為目標(biāo)，開展機(jī)器視覺與聽覺信息處理方面的基礎(chǔ)與應(yīng)用基礎(chǔ)研究。主要研究方向有：在機(jī)器視覺領(lǐng)域開展圖像處理、模式識別、圖像與視頻壓縮、生物特征識別與信息安全、三維視覺信息處理、智能機(jī)器人視覺與動作規(guī)劃等研究；在機(jī)器聽覺領(lǐng)域開展機(jī)器聽覺模型、語音信號處理、人工神經(jīng)網(wǎng)絡(luò)和說話人識別及其應(yīng)用研究；在智能信息系統(tǒng)領(lǐng)域開展多媒體信息的數(shù)據(jù)組織與管理、數(shù)據(jù)挖掘和網(wǎng)絡(luò)環(huán)境下海量信息的集成等方面的研究；視覺與聽覺的神經(jīng)計算模型和心理生理基礎(chǔ)研究主要從生理與心理學(xué)的角度探索高等哺乳動物視覺與聽覺的機(jī)理，為視覺與聽覺信息處理提供基本理論和方法。
