大数据技术架构详解

数据出现的原因：

　　大多数的技术突破来源于实际的产品需要，大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展，互联网上数据量呈献爆炸式的增长，为了满足信息搜索的需要，对大规模数据的存储提出了非常强劲的需要。基于成本的考虑，通过提升硬件来解决大批量数据的搜索越来越不切实际，于是谷歌提出了一种基于软件的可靠文件存储体系GFS，使用普通的PC机来并行支撑大规模的存储。存进去的数据是低价值的，只有对数据进行过加工才能满足实际的应用需要，于是谷歌又创造了MapReduce这一计算模型，该模型能够利用集群的力量将复杂的运算拆分到每一台普通PC上，计算完成后通过汇总得到最终的计算结果，这样就能够通过直接增加机器数量就获得更好的运算能力了。

　　有了GFS和MapReduce之后，文件的存储和运算得到了解决，这时候又出现了新的问题。GFS的随机读写能力很差，而谷歌有需要一种来存放格式化数据的数据库，原本通过单机的数据库就能解决的问题到了谷歌那里就悲剧了，于是神器的谷歌就又开发了一套BigTable系统，利用GFS的文件存储系统外加一个分布式的锁管理系统Chubby就设计出来了BigTable这样一个列式的数据库系统。

　　在谷歌完成了上述的系统后，就把其中的思想作为论文发布出来了，基于这些论文，出现了一个用JAVA写的类GFS开源项目Hadoop，最开始hadoop的赞助人是yahoo，后来这个项目成了Apche的顶级项目。