hadoop與云計算大數(shù)據

正是由于大數(shù)據對系統(tǒng)提出了很多極限的要求，不論是存儲、傳輸還是計算，現(xiàn)有計算技術難以滿足大數(shù)據的需求，因此整個IT架構的革命性重構勢在必行，存儲能力的增長遠遠趕不上數(shù)據的增長，設計最合理的分層存儲架構已成為信息系統(tǒng)的關鍵。分布式存儲架構不僅需要scale up式的可擴展性，也需要scale out式的可擴展性，因此大數(shù)據處理離不開云計算技術，云計算可為大數(shù)據提供彈性可擴展的基礎設施支撐環(huán)境以及數(shù)據服務的高效模式，大數(shù)據則為云計算提供了新的商業(yè)價值，大數(shù)據技術與云計算技術必將有更完美的結合。

我們知道云計算的關鍵技術包括分布式并行計算、分布式存儲以及分布式數(shù)據管理技術，而Hadoop就是一個實現(xiàn)了Google云計算系統(tǒng)的開源平臺，包括并行計算模型MapReduce、分布式文件系統(tǒng)HDFS，以及分布式數(shù)據庫Hbase，同時Hadoop的相關項目也很豐富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，這些項目都使得Hadoop成為一個很大很完備的生態(tài)鏈系統(tǒng)。目前使用Hadoop技術實現(xiàn)的云計算平臺包括IBM的藍云，雅虎、英特爾的“云計劃”，百度的云計算基礎架構，阿里巴巴云計算平臺，以及中國移動的BigCloud大云平臺。

總而言之，用一句話概括就是云計算因大數(shù)據問題而生，大數(shù)據驅動了云計算的發(fā)展，而Hadoop在大數(shù)據和云計算之間建起了一座堅實可靠的橋梁。