基本信息
- 項目名稱:
- 網(wǎng)格環(huán)境下Web服務(wù)發(fā)現(xiàn)與監(jiān)控系統(tǒng)研究
- 小類:
- 信息技術(shù)
- 大類:
- 科技發(fā)明制作B類
- 簡介:
- 網(wǎng)格中任務(wù)監(jiān)控是網(wǎng)格任務(wù)完成的保障,而目前開發(fā)的網(wǎng)格監(jiān)控系統(tǒng)或組件很少注意到這一點。基于此,本研究設(shè)計了一個基于網(wǎng)格監(jiān)控標(biāo)準(zhǔn)體系結(jié)構(gòu)的同時具有資源監(jiān)控和任務(wù)監(jiān)控功能的網(wǎng)格環(huán)境下Web服務(wù)發(fā)現(xiàn)和監(jiān)控系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)對網(wǎng)格環(huán)境中Web服務(wù)信息的管理,Web服務(wù)相關(guān)的資源的發(fā)現(xiàn)與監(jiān)控及任務(wù)的分配與跟蹤,增強了網(wǎng)格監(jiān)控系統(tǒng)的全面性、可視性和實時性,保證每個任務(wù)都能順利完成,為用戶提供可靠、高效的服務(wù)。
- 詳細(xì)介紹:
- 一、系統(tǒng)研究概述 網(wǎng)格作為一個集成的計算與資源環(huán)境,能夠吸收各種計算資源,將它們轉(zhuǎn)化成一種隨處可得的、可靠的、標(biāo)準(zhǔn)的且相對經(jīng)濟的計算能力。隨著網(wǎng)格技術(shù)的不斷成熟,網(wǎng)格環(huán)境下的各種應(yīng)用開發(fā)正逐漸深入,網(wǎng)格監(jiān)控問題也受到越來越多的關(guān)注。網(wǎng)格監(jiān)控主要包括資源監(jiān)控和任務(wù)監(jiān)控兩個方面:資源監(jiān)控,主要指對計算節(jié)點的動靜態(tài)信息、可用性情況等信息的監(jiān)控;任務(wù)監(jiān)控,指的是監(jiān)控任務(wù)執(zhí)行的整個過程。 目前相關(guān)研究主要集中在對網(wǎng)格資源的監(jiān)控上,而較少考慮監(jiān)控網(wǎng)格中運行的任務(wù)及任務(wù)對資源消耗的情況。作為網(wǎng)格中任務(wù)順利完成的保障,網(wǎng)格環(huán)境中任務(wù)跟蹤的研究是非常必要的。基于此,本研究設(shè)計了一個基于網(wǎng)格監(jiān)控標(biāo)準(zhǔn)體系結(jié)構(gòu)GMA的同時具有資源監(jiān)控和任務(wù)跟蹤功能的網(wǎng)格環(huán)境下Web服務(wù)發(fā)現(xiàn)和監(jiān)控系統(tǒng)WSDMS。該系統(tǒng)能夠?qū)崿F(xiàn)對網(wǎng)格環(huán)境中Web服務(wù)信息的管理,Web服務(wù)相關(guān)資源的發(fā)現(xiàn)與監(jiān)控及任務(wù)的分配與跟蹤,提供網(wǎng)格計算環(huán)境一個真實、實時的動態(tài)反映,為用戶提供可靠、高效的應(yīng)用服務(wù)。系統(tǒng)主要實現(xiàn)以下幾項功能: 1.服務(wù)信息管理。主要實現(xiàn)服務(wù)信息的注冊、更新、刪除及查詢等管理工作,這些操作主要是子節(jié)點完成的,服務(wù)信息存儲在主節(jié)點上,主節(jié)點在分配任務(wù)時以這些數(shù)據(jù)為依據(jù)發(fā)現(xiàn)可用的服務(wù)。 2.資源發(fā)現(xiàn)與監(jiān)控。一是實現(xiàn)網(wǎng)格中新加入節(jié)點的發(fā)現(xiàn),二是實現(xiàn)網(wǎng)格中子節(jié)點硬件資源、網(wǎng)絡(luò)通信帶寬等動靜態(tài)信息的實時監(jiān)控,為主節(jié)點的任務(wù)分配決策提供參考依據(jù)。 3.任務(wù)分配與跟蹤。分配是指任務(wù)的分配和重分配,跟蹤主要是指監(jiān)測任務(wù)從分配到執(zhí)行完畢的狀態(tài)及子節(jié)點硬件資源占用情況。任務(wù)跟蹤主要是為任務(wù)的分配與重分配提供決策依據(jù)。 二、系統(tǒng)設(shè)計過程 WSDMS系統(tǒng)的一個實際應(yīng)用就是為天津大學(xué)計算機學(xué)院網(wǎng)絡(luò)實驗室Billion Grid在線數(shù)據(jù)挖掘平臺研制的IDMS(Information Discovery and Monitoring System)系統(tǒng)。Billion Grid就是利用網(wǎng)格上的豐富的數(shù)據(jù)資源、安全共享、高性能計算、以及分布的協(xié)調(diào)能力以Globus Toolkit 4為中間件構(gòu)建符合開放網(wǎng)格服務(wù)體系架構(gòu)(open grid services architecture:OGSA)標(biāo)準(zhǔn)的網(wǎng)格數(shù)據(jù)挖掘平臺,把數(shù)據(jù)挖掘算法包裝成有狀態(tài)Web服務(wù)的形式部署到網(wǎng)格環(huán)境中。 Billion Grid挖掘平臺的體系結(jié)構(gòu)如圖1所示,信息發(fā)現(xiàn)與監(jiān)控系統(tǒng)IDMS是為Billion Grid平臺開發(fā)一個子系統(tǒng)。IDMS系統(tǒng)主要負(fù)責(zé)搜集各子節(jié)點上的信息,包括子節(jié)點上部署的服務(wù)和子節(jié)點的資源、帶寬、通信延遲等動靜態(tài)信息,并將這些信息傳遞給主節(jié)點,然后在主節(jié)點對接收到的子節(jié)點信息進(jìn)行分析,找出適合的分配特定任務(wù)的節(jié)點??梢哉fIDMS既是Billion Grid平臺主子節(jié)點之間通信的紐帶,又是主節(jié)點進(jìn)行任務(wù)分配與重分配的決策中心。 (一)系統(tǒng)體系結(jié)構(gòu) IDMS系統(tǒng)的體系結(jié)構(gòu)圖如圖2所示。由圖可得,該系統(tǒng)中主節(jié)點與所有子節(jié)點之間通信主要是搜集各子節(jié)點上的服務(wù)信息和硬件資源信息,而當(dāng)主節(jié)點將某個Web服務(wù)任務(wù)分配給特定子節(jié)點后,主節(jié)點與這個執(zhí)行任務(wù)的子節(jié)點又建立起任務(wù)跟蹤的關(guān)系。 (二)系統(tǒng)功能模塊 IDMS系統(tǒng)主要包含四個主要功能模塊,分別是服務(wù)信息管理模塊、資源發(fā)現(xiàn)與監(jiān)控模塊、任務(wù)跟蹤模塊以及任務(wù)分配模塊,各模塊的功能描述如下: 1.服務(wù)信息管理模塊,負(fù)責(zé)服務(wù)信息的注冊、更新、刪除及查詢,這些操作主要是子節(jié)點通過Web頁面訪問主節(jié)點而完成的,服務(wù)信息存儲在主節(jié)點的數(shù)據(jù)庫中,主節(jié)點在分配任務(wù)時通過查詢數(shù)據(jù)庫中的記錄來發(fā)現(xiàn)可用的服務(wù)及服務(wù)部署的節(jié)點; 2.網(wǎng)格資源監(jiān)控與發(fā)現(xiàn)模塊,負(fù)責(zé)發(fā)現(xiàn)和監(jiān)控子節(jié)點上可用的硬件資源、網(wǎng)絡(luò)帶寬、通信延遲等情況,并可將信息實時反饋給主節(jié)點,為主節(jié)點的任務(wù)分配決策提供依據(jù); 3.任務(wù)跟蹤模塊,負(fù)責(zé)監(jiān)測任務(wù)從分配到執(zhí)行完畢整個過程中的狀態(tài),當(dāng)某個任務(wù)占用計算節(jié)點資源過多而導(dǎo)致該節(jié)點負(fù)載過重會殺死該任務(wù),保證每個任務(wù)能在最短的時間內(nèi)順利完成; 4.任務(wù)分配模塊,負(fù)責(zé)任務(wù)的分配與重分配,根據(jù)子節(jié)點的可用服務(wù)信息和硬件資源利用情況分配任務(wù),如果有任務(wù)在執(zhí)行中被任務(wù)跟蹤模塊殺死則會按任務(wù)分配原則重新分配該任務(wù)。 系統(tǒng)中各功能模塊之間的聯(lián)系參見圖3,其中的任務(wù)分配模塊是整個系統(tǒng)的核心部分,該模塊通過與其他三個模塊進(jìn)行通信來決策任務(wù)如何分配,進(jìn)而為web服務(wù)任務(wù)的順利執(zhí)行提供保證。 (三)各模塊詳細(xì)設(shè)計 1.服務(wù)信息管理模塊 服務(wù)信息管理模塊負(fù)責(zé)管理各計算節(jié)點上已部署的服務(wù)信息,系統(tǒng)通過維護(hù)建立在主節(jié)點上的服務(wù)注冊表來實現(xiàn)該功能。服務(wù)該注冊表的功能與UDDI中的注冊薄相似,子節(jié)點上的每個服務(wù)都需要注冊,主節(jié)點在分配任務(wù)時即可根據(jù)該表來發(fā)現(xiàn)需要的服務(wù)和可用節(jié)點。服務(wù)信息管理模塊是IDMS系統(tǒng)完成工作的基礎(chǔ),該模塊的功能包括服務(wù)信息的注冊、查詢、修改、刪除和發(fā)現(xiàn)。該模塊的設(shè)計模式采用的是MVC架構(gòu),該模式可以將模型、視圖和控制器三部分分開,有利于進(jìn)一步的修改和維護(hù)。模塊具體功能及實現(xiàn)函數(shù)如下: 服務(wù)信息注冊:當(dāng)子節(jié)點上部署了新服務(wù),子節(jié)點管理員將通過web頁面將新服務(wù)在主節(jié)點上進(jìn)行注冊,這樣主節(jié)點就可以在需要時發(fā)現(xiàn)此服務(wù)。 服務(wù)信息查詢:主節(jié)點可以查詢所有已部署服務(wù)的注冊信息,該功能可以讓主節(jié)點管理員了解平臺可用服務(wù)的情況。 服務(wù)信息修改:子節(jié)點管理員可以根據(jù)子節(jié)點服務(wù)的實際情況對服務(wù)注冊信息進(jìn)行修改。 服務(wù)信息刪除:當(dāng)子節(jié)點上刪除某個已部署的服務(wù),則需要刪除其在主節(jié)點上的注冊信息,以免主節(jié)點在分配任務(wù)時判斷錯誤。 服務(wù)信息發(fā)現(xiàn):服務(wù)信息管理模塊設(shè)計的最終目標(biāo)是實現(xiàn)服務(wù)信息的發(fā)現(xiàn),即當(dāng)主節(jié)點分配任務(wù)時根據(jù)注冊表發(fā)現(xiàn)需要的服務(wù),再通過比較存在服務(wù)的子節(jié)點資源利用情況決定如何分配任務(wù)。 2.資源發(fā)現(xiàn)與監(jiān)控模塊 IDMS系統(tǒng)的資源發(fā)現(xiàn)與監(jiān)控模塊負(fù)責(zé)監(jiān)控計算節(jié)點的資源利用情況,本研究目前只監(jiān)控硬件的利用情況。此功能是實時的,即主節(jié)點在需要時即可查詢?nèi)我庾庸?jié)點硬件的利用情況。當(dāng)用戶選擇某個服務(wù)后,主節(jié)點查詢此服務(wù)并定位它所在的子節(jié)點,然后主節(jié)點將開始對這些子節(jié)點的硬件利用率進(jìn)行監(jiān)控,將監(jiān)控到的信息傳遞給任務(wù)分配模塊??梢哉f資源發(fā)現(xiàn)與監(jiān)控模塊是為任務(wù)分配模塊而服務(wù)的。 以監(jiān)控CPU利用率為例介紹主節(jié)點監(jiān)控子節(jié)點硬件資源的過程需及使用的RMI技術(shù),其詳細(xì)設(shè)計過程如下所述: 子節(jié)點需要做的工作:為用java RMI技術(shù)實現(xiàn)遠(yuǎn)程CPU信息監(jiān)控,子節(jié)點上必須首先在定義一個遠(yuǎn)程讀取計算機CPU信息的接口,RMI構(gòu)架基于一個重要的原理就是:定義接口和定義接口的具體實現(xiàn)是分開的;首先編寫并編譯接口文件,然后編寫并編譯接口類的實現(xiàn)類文件,CPU利用率獲取過程其實是先讀取proc下的stat文件中的信息再進(jìn)行計算的過程,stat文件包含了CPU活動的所有信息,該文件中的所有值都是從系統(tǒng)啟動開始累計到當(dāng)前時刻,而且每隔5秒寫一次,因此能保證信息的準(zhǔn)確性;最后編寫并編譯遠(yuǎn)程服務(wù)的主運行程序,此時子節(jié)點可以看做是RMI中的服務(wù)器。 主節(jié)點需要做的工作:主節(jié)點相當(dāng)于RMI中的客戶端,在主節(jié)點上首先要編寫并且編譯接口文件,內(nèi)容與子節(jié)點上接口文件內(nèi)容相同;然后要編寫并且編譯客戶端程序。 運行RMI:運行RMI首先要在主子節(jié)點上運行rmiregistry命令,使監(jiān)聽服務(wù)注冊到RMI服務(wù)器上,然后子節(jié)點運行服務(wù)主程序,主節(jié)點運行客戶端程序,即可實現(xiàn)CPU利用率的讀取。 3.任務(wù)分配模塊 任務(wù)分配模塊是IDMS系統(tǒng)功能的核心,負(fù)責(zé)系統(tǒng)任務(wù)的分配與重分配工作,為任務(wù)的順利完成提供保障。該模塊的任務(wù)分配功能包括任務(wù)初次分配和任務(wù)再重配,詳細(xì)設(shè)計過程如下: 任務(wù)初次分配:當(dāng)用戶在客戶端提交任務(wù)后,任務(wù)分配模塊將接收任務(wù)所需服務(wù)的名字和該服務(wù)所屬算法庫兩個參數(shù),并在服務(wù)信息管理模塊與資源發(fā)現(xiàn)與監(jiān)控模塊的協(xié)助下發(fā)現(xiàn)該服務(wù)及可執(zhí)行任務(wù)的計算節(jié)點,通過比較各可用節(jié)點的硬件資源利用情況(如CPU利用率等)決策出最佳的子節(jié)點(此處最佳的子節(jié)點指的是負(fù)荷最小的計算節(jié)點),將任務(wù)分配給此節(jié)點。 任務(wù)重分配:如果某個運算節(jié)點負(fù)荷過高,將降低該節(jié)點上任務(wù)的速度,嚴(yán)重時甚至?xí)層脩暨b遙無期的等待下去,這是絕對不可以的,因此當(dāng)出現(xiàn)類似問題時任務(wù)的重分配顯得十分重要。任務(wù)重分配設(shè)計過程為:在任務(wù)跟蹤模塊的協(xié)助下,如果監(jiān)測到計算節(jié)點的CPU利用率過高并且某任務(wù)對該節(jié)點CPU占用率過高,則任務(wù)跟蹤模塊會殺死該任務(wù),再由主節(jié)點進(jìn)行重新分配。 4.任務(wù)跟蹤模塊 任務(wù)跟蹤功能是本系統(tǒng)的一大特色,該模塊可實現(xiàn)對任務(wù)狀態(tài)(是否完成)及其消耗的硬件資源進(jìn)行簡單的監(jiān)控。本研究任務(wù)跟蹤的內(nèi)容包括任務(wù)的狀態(tài)和任務(wù)占用節(jié)點CPU的利用率,為任務(wù)重分配提供了重要的依據(jù)。該模塊具體設(shè)計如下: 對于java語言編寫的服務(wù),IDMS系統(tǒng)調(diào)用java虛擬機自帶的查看線程資源利用的函數(shù)來監(jiān)控指定任務(wù)線程的硬件資源利用率。 對于非java語言(C或C++)編寫的服務(wù),利用java JNI技術(shù)監(jiān)控指定任務(wù)線程的CPU利用率。其過程為(以C++為例):首先用C++來編寫服務(wù)的監(jiān)控程序,構(gòu)建并編譯此監(jiān)控程序的java接口類,然后利用javah命令生成此接口類的.h文件,編譯監(jiān)控程序生成動態(tài)鏈接庫.so文件,如果用java程序查看使用C++語言編寫的服務(wù)的任務(wù)硬件資源利用率只需加載動態(tài)鏈接庫,如同調(diào)用java類的方法一樣。 模塊中的一個程序每隔30秒會監(jiān)測一次子節(jié)點的硬件資源利用率和任務(wù)對節(jié)點的硬件資源的占用率,如果能夠查詢到該任務(wù)線程的硬件資源占用率則說明任務(wù)尚未完成,如果監(jiān)測到計算節(jié)點的硬件資源利用率達(dá)到設(shè)定閥值以上且某一任務(wù)占該節(jié)點當(dāng)前硬件資源利用率的設(shè)定閥值以上,將殺死該任務(wù)。該模塊監(jiān)控的信息是任務(wù)分配模塊的任務(wù)重分配的依據(jù)。 為了防止子節(jié)點因負(fù)載過重進(jìn)入宕機狀態(tài),本系統(tǒng)在跟蹤模塊中添加了一個子節(jié)點管理員查看功能。用JDOM編寫的java文件把監(jiān)控的信息自動生成指定線程的XML文件,每個任務(wù)對應(yīng)一個文件,文件名以主節(jié)點分配給任務(wù)的ID命名。通過Xpath查詢語言構(gòu)建子節(jié)點管理員查詢接口,子節(jié)點管理員可通過該接口查詢該節(jié)點上正在運行的任務(wù)以及任務(wù)的資源利用情況,還可以手動殺死系統(tǒng)無法殺死的任務(wù)線程。 三、系統(tǒng)工作流程 系統(tǒng)工作流程如圖4所示。具體工作流程描述如下:如果客戶端有任務(wù)請求,則系統(tǒng)首先根據(jù)用戶所選服務(wù)名稱查詢數(shù)據(jù)庫中的服務(wù)信息注冊表,發(fā)現(xiàn)需要的服務(wù)及部署服務(wù)的子節(jié)點。如果沒有可用服務(wù)系統(tǒng)將告知用戶并結(jié)束此次工作,如果服務(wù)存在,系統(tǒng)將綜合比較各子節(jié)點的動靜態(tài)信息,選擇適合執(zhí)行任務(wù)的子節(jié)點。如果部署服務(wù)的子節(jié)點目前比較繁忙,系統(tǒng)將延遲一段時間后重新計算。找到可執(zhí)行任務(wù)的節(jié)點后,系統(tǒng)將任務(wù)分配給該節(jié)點,同時開始跟蹤該任務(wù)。系統(tǒng)根據(jù)子節(jié)點的負(fù)載情況及任務(wù)的資源占用情況周期性的判斷任務(wù)是否能順利完成。如果發(fā)現(xiàn)任務(wù)占用資源過多,且系統(tǒng)負(fù)載過重,殺死該任務(wù)同時提交給主節(jié)點一個空文件。主節(jié)點在跟蹤任務(wù)的同時也周期性的讀取存放結(jié)果的指定文件,當(dāng)發(fā)現(xiàn)結(jié)果文件時系統(tǒng)將判斷該文件是否為空,為空說明任務(wù)沒有完成,系將重新分配該任務(wù),如果文件不為空說明任務(wù)已經(jīng)完成,系統(tǒng)將結(jié)果返回給用戶。 四、課題研究成果 1.系統(tǒng)已應(yīng)用于天津大學(xué)計算機學(xué)院計算機網(wǎng)絡(luò)實驗室Billion Grid數(shù)據(jù)挖掘平臺; 2.發(fā)表國際會議論文兩篇,均為EI和ISTP檢索; 3.入圍第十一屆“挑戰(zhàn)杯”天津市大學(xué)生課外學(xué)術(shù)科技作品競賽決賽。
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 網(wǎng)格中任務(wù)的監(jiān)控是網(wǎng)格中任務(wù)完成的保障,而目前開發(fā)的網(wǎng)格監(jiān)控系統(tǒng)或組件很少注意到這一點。針對目前網(wǎng)格監(jiān)控系統(tǒng)功能的不健全,本課題設(shè)計并實現(xiàn)了網(wǎng)格環(huán)境下Web服務(wù)發(fā)現(xiàn)和監(jiān)控系統(tǒng)WSDMS,來管理網(wǎng)格環(huán)境中web服務(wù)信息,發(fā)現(xiàn)和監(jiān)控網(wǎng)格資源,分配和跟蹤網(wǎng)格環(huán)境中web服務(wù)任務(wù)。 基本思路: 在資源監(jiān)控方面,系統(tǒng)參考目前廣泛使用的網(wǎng)格監(jiān)控系統(tǒng)MDS4的設(shè)計思想,實現(xiàn)對計算字節(jié)點動靜態(tài)信息、可用性情況的監(jiān)控;在服務(wù)管理方面,采用了UDDI的設(shè)計思想,各子節(jié)點部署的服務(wù)都將在主節(jié)點上進(jìn)行注冊,便于主節(jié)點發(fā)現(xiàn)和監(jiān)控子節(jié)點上存在的服務(wù);在任務(wù)監(jiān)控方面,綜合運用了一系列技術(shù),實現(xiàn)對任務(wù)的分配、跟蹤、撤銷及重分配等管理工作。 作品創(chuàng)新點: 1.針對目前網(wǎng)格環(huán)境中只監(jiān)控子節(jié)點資源而忽視對任務(wù)監(jiān)控的研究現(xiàn)狀,提出了具有Web服務(wù)任務(wù)跟蹤功能的WSDMS系統(tǒng),設(shè)計了系統(tǒng)的系統(tǒng)結(jié)構(gòu)和功能框架。 2.結(jié)合相關(guān)平臺的實際應(yīng)用需求,詳細(xì)分析并設(shè)計了系統(tǒng)功能模塊,理清了各模塊自身的工作流程及彼此間的關(guān)系,綜合運用相關(guān)的技術(shù)實現(xiàn)了系統(tǒng)設(shè)計的功能,具有較強的借鑒性。 關(guān)鍵技術(shù): UDDI;數(shù)據(jù)庫技術(shù);Java RMI技術(shù);Xpath技術(shù);Java JNI技術(shù);JODM技術(shù)。
科學(xué)性、先進(jìn)性
- 完整的網(wǎng)格監(jiān)控應(yīng)包括資源監(jiān)控和任務(wù)監(jiān)控兩個方面。資源監(jiān)控主要指對計算節(jié)點的動靜態(tài)信息、可用性情況等信息的監(jiān)控,任務(wù)監(jiān)控指的是監(jiān)控任務(wù)執(zhí)行的整個過程。課題針對目前網(wǎng)格監(jiān)控研究中忽略了任務(wù)監(jiān)控的問題,提出并設(shè)計了WSDMS系統(tǒng),為網(wǎng)格中任務(wù)的順利完成提供了保障,提高了網(wǎng)格服務(wù)的可靠性。
獲獎情況及鑒定結(jié)果
- 1.系統(tǒng)已于2009年9月應(yīng)用于天津大學(xué)計算機學(xué)院計算機網(wǎng)絡(luò)實驗室Billion Grid數(shù)據(jù)挖掘平臺; 2.至今已發(fā)表國際會議論文兩篇,均為EI和ISTP檢索; 3.入圍第十一屆“挑戰(zhàn)杯”天津市大學(xué)生課外學(xué)術(shù)科技作品競賽決賽。
作品所處階段
- 中試階段
技術(shù)轉(zhuǎn)讓方式
- 系統(tǒng)設(shè)計報告,系統(tǒng)軟件
作品可展示的形式
- 圖片,視頻,現(xiàn)場展示
使用說明,技術(shù)特點和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預(yù)測
- 使用說明: 該系統(tǒng)可用于網(wǎng)格環(huán)境下節(jié)點資源和web服務(wù)的監(jiān)控, 既可作為應(yīng)用平臺主子節(jié)點之間通信的紐帶,又可作為主節(jié)點進(jìn)行web服務(wù)任務(wù)管理的決策中心。 技術(shù)特點和優(yōu)勢: 1、目前尚未發(fā)現(xiàn)與本課題提出的網(wǎng)格環(huán)境下web服務(wù)發(fā)現(xiàn)與監(jiān)控系統(tǒng)功能類似的系統(tǒng)或功能組件; 2、針對網(wǎng)格環(huán)境下數(shù)據(jù)挖掘web服務(wù)平臺Billion Grid的實際應(yīng)用,采用一系列相關(guān)技術(shù)并利用Java語言實現(xiàn)了系統(tǒng)的各個模塊,系統(tǒng)具有跨平臺和易部署等特點。 適用范圍: 系統(tǒng)主要用于網(wǎng)格監(jiān)控領(lǐng)域,一般作為相關(guān)應(yīng)用平臺的輔助系統(tǒng),可以根據(jù)平臺實際應(yīng)用需求,進(jìn)行快速改造。 市場分析及經(jīng)濟效益預(yù)測: 該作品能夠在網(wǎng)格監(jiān)控領(lǐng)域具有一定的研究意義和推廣價值,市場前景良好。
同類課題研究水平概述
- 網(wǎng)格資源監(jiān)控與發(fā)現(xiàn)主要是針對計算節(jié)點的動靜態(tài)信息、可用性情況和網(wǎng)絡(luò)通信帶寬及延遲等。目前,國內(nèi)外一些研究機構(gòu)已經(jīng)根據(jù)實際應(yīng)用開發(fā)出一些對網(wǎng)格資源進(jìn)行監(jiān)控和發(fā)現(xiàn)的系統(tǒng)或組件。這些系統(tǒng)或組件都是基于網(wǎng)格監(jiān)控標(biāo)準(zhǔn)體系結(jié)構(gòu)GMA構(gòu)建的。 Globus項目是目前國際上最有影響的網(wǎng)格計算項目之一。目前,Globus項目已經(jīng)把商業(yè)計算領(lǐng)域中Web Service技術(shù)融合在一起,將不僅僅局限于科學(xué)計算領(lǐng)域,而且能夠?qū)Ω鞣N商業(yè)應(yīng)用進(jìn)行廣泛的、基礎(chǔ)性的網(wǎng)格環(huán)境支持。Globus項目主要組成部分之一是MDS(Metacomputing Directory Service :MDS),它主要完成對網(wǎng)格計算環(huán)境中資源的發(fā)現(xiàn)與監(jiān)視工作,提供對網(wǎng)格計算環(huán)境一個真實、實時的動態(tài)反映。 myGrid是一個生物信息學(xué)領(lǐng)域的信息環(huán)境建設(shè)項目,用于發(fā)現(xiàn)資源、發(fā)現(xiàn)服務(wù),以及在其上開發(fā)面向研究人員個人生物信息學(xué)應(yīng)用的開源軟件中間件。myGrid項目的研究分項目原型開發(fā)和技術(shù)研究兩部分,其核心服務(wù)層由動態(tài)服務(wù)發(fā)現(xiàn)管理組件、元數(shù)據(jù)管理組件、工作流支持組件三部分組成。動態(tài)服務(wù)發(fā)現(xiàn)組件解決什么服務(wù)可用和服務(wù)唯一標(biāo)識問題,目前的主要組件是LSIDs。 Eurogrid項目是由IST(Information Society Technologies Programme)支持開發(fā)的項目,旨在統(tǒng)一歐洲各科研院所的高性能計算資源。Euro-Biogrid是歐洲Eurogrid的一部分,Euro-Biogrid的網(wǎng)格中間件是Unicore(Uniform Interface to Computing Resources),它允許用戶向遠(yuǎn)程的高性能計算資源提交工作,而且并不需要知道目標(biāo)操作系統(tǒng)的細(xì)節(jié)、數(shù)據(jù)存儲的協(xié)定與技術(shù)、管理策略以及在目標(biāo)站點的處理過程。Unicore的體系結(jié)構(gòu)分三層,即用戶層、服務(wù)層和目標(biāo)系統(tǒng)層。其中作業(yè)監(jiān)視控制器是用來對作業(yè)的執(zhí)行過程進(jìn)行監(jiān)視和控制的部分,它完成作業(yè)狀態(tài)顯示、作業(yè)控制、作業(yè)刷新以及作業(yè)結(jié)果獲取等一系列工作。 以上項目組所開發(fā)的MDS、LSIDs和Unicore的網(wǎng)格資源發(fā)現(xiàn)與監(jiān)控功能已經(jīng)比較完善,但都沒有考慮到監(jiān)控網(wǎng)格中運行的任務(wù)及任務(wù)對資源消耗的信息。網(wǎng)格中任務(wù)的監(jiān)控是網(wǎng)格中任務(wù)完成的保障,而現(xiàn)今開發(fā)的網(wǎng)格監(jiān)控系統(tǒng)很少注意到這一點,因此任務(wù)監(jiān)控有待于進(jìn)一步研究和探索。