se简介?4.1.3?HBase与传统关系数据库的对比分析Р4.1.1?从BigTable说起?主流解决方案厂商的发展策略及现状Р主流解决方案——Google云计算Р数据存储在“云”中Р数据访问不受地理位置限制Р数据能够很方便的共享РGoogle云计算技术具体包括:?Google文件系统海量数据分布存储技术( GFS)、?分布式计算编程模型MapReduce、?分布式锁服务Chubby?分布式结构化数据存储系统Bigtable等。Р主流解决方案——Google云计算РGoogle需要一个支持海量存储的文件系统?购置昂贵的分布式文件系统与硬件?РGoogle设计GFS的动机Р是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统?Р*Р为什么不使用当时现存的文件系统??Google所面临的问题与众不同?不同的工作负载,不同的设计优先级(廉价、不可靠的硬件)?需要设计与Google应用和负载相符的文件系统РGoogle设计GFS的动机Р*Р一个适用于大规模分布式数据处理相关应用的,可扩展的分布式文件系统。它基于普通的不算昂贵的硬件设备,实现了容错的设计,并且为大量客户端提供极高的聚合处理性能。РGFSРGFS的假设与目标Р硬件出错是正常而非异常?系统应当由大量廉价、易损的硬件组成?必须保持文件系统整体的可靠性?主要负载是流数据读写?主要用于程序处理批量数据,而非与用户的交互或随机读写?数据写主要是“追加写”,“插入写”非常少?需要存储大尺寸的文件?存储的文件尺寸可能是GB或TB量级,而且应当能支持存储成千上万的大尺寸文件Р*Р将文件划分为若干块(Chunk)存储?每个块固定大小(64M)?通过冗余来提高可靠性?每个数据块至少在3个数据块服务器上冗余?数据块损坏概率??通过单个master来协调数据访问、元数据存储?结构简单,容易保持元数据一致性?无缓存РGFS的设计思路Р*
全文预览
