Spark运行架构?16.4 Spark SQL?16.5 Spark的部署和应用方式?16.6 Spark编程实践Р16.1 Spark概述Р16.1.1 Spark简介?16.1.2 Scala简介?16.1.3 Spark与Hadoop的比较Р16.1.1 Spark简介РSpark最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序Р2013年Spark加入Apache孵化器项目后发展迅猛,如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(Hadoop、Spark、Storm)РSpark在2014年打破了Hadoop保持的基准排序纪录?Spark/206个节点/23分钟/100TB数据?Hadoop/2000个节点/72分钟/100TB数据?Spark用十分之一的计算资源,获得了比Hadoop快3倍的速度Р16.1.1 Spark简介РSpark具有如下几个主要特点:Р运行速度快:使用DAG执行引擎以支持循环数据流与内存计算?容易使用:支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程?通用性:Spark提供了完整而强大的技术栈,包括SQL查询、流式计算、机器学习和图算法组件?运行模式多样:可运行于独立的集群模式中,可运行于Hadoop中,也可运行于Amazon EC2等云环境中,并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源Р16.1.1 Spark简介Р图16-1 谷歌趋势:Spark与Hadoop对比РSpark如今已吸引了国内外各大公司的注意,如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了Spark来构建大数据分析应用,并应用到实际的生产环境中
全文预览
