Chapter15-厦门大学-林子雨-大数据技术原理与应用-第十五章-Hadoop架构再探讨(2016年4月13日版本)

015年8月第1版)?厦门大学林子雨编著,人民邮电出版社?ISBN:978-7-115-39287-9Р欢迎访问《大数据技术原理与应用》教材官方网站:?http://dblab.xmu./post/bigdataР欢迎访问“中国高校大数据课程公共服务平台”旗下子栏目“大数据课程学生服务站”,为学生学习大数据课程提供全方位、一站式免费服务:?http://dblab.xmu./post/4331/Р15.1Hadoop的优化与发展Р15.1.1Hadoop的局限与不足?15.1.2针对Hadoop的改进与提升Р15.1.1Hadoop的局限与不足РHadoop1.0的核心组件(仅指MapReduce和HDFS,不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件),主要存在以下不足:?抽象层次低,需人工编码?表达能力有限?开发者自己管理作业(Job)之间的依赖关系?难以看到程序整体逻辑?执行迭代操作效率低?资源浪费(Map和Reduce分两阶段执行)?实时性差(适合批处理,不支持实时交互式)Р15.1.2针对Hadoop的改进与提升РHadoop的优化与发展主要体现在两个方面:Р一方面是Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进Р另一方面是Hadoop生态系统其它组件的不断丰富,加入了Pig、Tez、Spark和Kafka等新组件Р15.1.2针对Hadoop的改进与提升Р组件РHadoop1.0的问题РHadoop2.0的改进РHDFSР单一名称节点,存在单点失效问题Р设计了HDFS HA,提供名称节点热备机制РHDFSР单一命名空间,无法实现资源隔离Р设计了HDFS Federation,管理多个命名空间РMapReduceР资源管理效率低Р设计了新的资源管理框架YARNР表15-1 Hadoop框架自身的改进:从1.0到2.0