基于Hadoop平台的教育资源垂直搜索系统的设计与实现毕业答辩

搜索系统的设计与实现基于Hadoop平台的教育资源垂直搜索系统的设计与实现*基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型HDFS体系架构Hadoop的分布式文件系统被设计为将海量文件遍布存储在一个大集群的多台计算机上。HDFS的设计是受到了GFS的启发。HDFS将每一个文件以分块序列的形式进行存储,一个文件的所有分块除去最后一个分块外都是等大小的。为了实现容错将文件分块进行自动复制。文件分块的块大小和复制比例都是可以按照单个文件进行配置的。HDFS中的所有文件都是“只写一次”并且严格限定在任何时候只有一个写文件操作者。基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的教育资源垂直搜索系统的设计与实现*基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型HDFS体系架构和HadoopMap/Reduce类似,HDFS也是主/从架构。一个安装好的HDFS包括一个单独的名称节点,一个主服务器用于文件系统命名空间管理和客户端的文件访问管理。除此之外,还有很多个数据节点,在集群中的每个节点都有一个数据节点用于存储该节点运行时的数据。名称节点通过RPC接口支持文件系统命名空间中文件和目录的打开、关闭和重命名等操作。它也决定了数据块和数据节点的映射关系。数据节点负责提供文件系统客户端的读写请求,除此之外也提供来自名称节点的数据块创建、删除和复制指令。基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的教育资源垂直搜索系统的设计与实现*基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型Map/Reduce执行流程基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的教育资源垂直搜索系统的设计与实现