云計算在系統(tǒng)運用中的五大技術
出處:來源:全球IP通信聯(lián)盟 發(fā)布于:2011-08-31 08:31:03
云計算系統(tǒng)運用了許多技術,其中以編程模型、數(shù)據(jù)管理技術、數(shù)據(jù)存儲技術、虛擬化技術、云計算平臺管理技術為關鍵。
(1) 編程模型
MapReduce是Google開發(fā)的java、Python、C++編程模型,它是一種簡化的分布式編程模型和高效的任務調(diào)度模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。嚴格的編程模型使云計算環(huán)境下的編程十分簡單。MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序?qū)?shù)據(jù)切割成不相關的區(qū)塊,分配(調(diào)度)給大量計算機處理,達到分布式運算的效果,再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。
(2) 海量數(shù)據(jù)分布存儲技術
云計算系統(tǒng)由大量服務器組成,同時為大量用戶服務,因此云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù),用冗余存儲的方式保證數(shù)據(jù)的可靠性。云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的GFS和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS。
GFS即Google文件系統(tǒng)(Google File System),是一個可擴展的分布式文件系統(tǒng),用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應用。GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng),是針對大規(guī)模數(shù)據(jù)處理和Google應用特性而設計的。它運行于廉價的普通硬件上,但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。
一個GFS集群由一個主服務器(master)和大量的塊服務器(chunkserver)構(gòu)成,并被許多客戶(Client)訪問。主服務器存儲文件系統(tǒng)所以的元數(shù)據(jù),包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置。它也控制系統(tǒng)范圍的活動,如塊租約(lease)管理,孤兒塊的垃圾收集,塊服務器間的塊遷移。主服務器定期通過HeartBeat消息與每一個塊服務器通信,給塊服務器傳遞指令并收集它的狀態(tài)。GFS中的文件被切分為64MB的塊并以冗余存儲,每份數(shù)據(jù)在系統(tǒng)中保存3個以上備份。
客戶與主服務器的交換只限于對元數(shù)據(jù)的操作,所有數(shù)據(jù)方面的通信都直接和塊服務器聯(lián)系,這大大提高了系統(tǒng)的效率,防止主服務器負載過重。
(3) 海量數(shù)據(jù)管理技術
云計算需要對分布的、海量的數(shù)據(jù)進行處理、分析,因此,數(shù)據(jù)管理技術必需能夠高效的管理大量的數(shù)據(jù)。云計算系統(tǒng)中的數(shù)據(jù)管理技術主要是Google的BT(BigTable)數(shù)據(jù)管理技術和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase。
BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一個大型的分布式數(shù)據(jù)庫,與傳統(tǒng)的關系數(shù)據(jù)庫不同,它把所有數(shù)據(jù)都作為對象來處理,形成一個巨大的表格,用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。
Google的很多項目使用BT來存儲數(shù)據(jù),包括網(wǎng)頁查詢,Google earth和Google金融。這些應用程序?qū)T的要求各不相同:數(shù)據(jù)大小(從URL到網(wǎng)頁到衛(wèi)星圖象)不同,反應速度不同(從后端的大批處理到實時數(shù)據(jù)服務)。對于不同的要求,BT都成功的提供了靈活高效的服務。
(4) 虛擬化技術
通過虛擬化技術可實現(xiàn)軟件應用與底層硬件相隔離,它包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據(jù)對象可分成存儲虛擬化、計算虛擬化、網(wǎng)絡虛擬化等,計算虛擬化又分為系統(tǒng)級虛擬化、應用級虛擬化和桌面虛擬化。
(5) 云計算平臺管理技術
云計算資源規(guī)模龐大,服務器數(shù)量眾多并分布在不同的地點,同時運行著數(shù)百種應用,如何有效的管理這些服務器,保證整個系統(tǒng)提供不間斷的服務是巨大的挑戰(zhàn)。
云計算系統(tǒng)的平臺管理技術能夠使大量的服務器協(xié)同工作,方便的進行業(yè)務部署和開通,快速發(fā)現(xiàn)和恢復系統(tǒng)故障,通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營。
版權(quán)與免責聲明
凡本網(wǎng)注明“出處:維庫電子市場網(wǎng)”的所有作品,版權(quán)均屬于維庫電子市場網(wǎng),轉(zhuǎn)載請必須注明維庫電子市場網(wǎng),http://hbjingang.com,違反者本網(wǎng)將追究相關法律責任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點或證實其內(nèi)容的真實性,不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品出處,并自負版權(quán)等法律責任。
如涉及作品內(nèi)容、版權(quán)等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關權(quán)利。
- 工業(yè)5G技術在智能制造中的應用與實踐解析2025/12/31 10:57:21
- 工業(yè)以太網(wǎng)交換機選型與現(xiàn)場應用技術指南2025/12/18 10:48:14
- 無線傳輸電路基礎,射頻前端設計、天線匹配與鏈路預算計算2025/10/27 13:55:50
- ASK 解調(diào)的核心要點與實現(xiàn)方式2025/9/5 16:46:17
- 雙偶極子天線:結(jié)構(gòu)、特性與應用全解析2025/9/3 10:29:21









