全文预览

非结构化数据存储解决方案

上传者:相惜 |  格式:docx  |  页数:3 |  大小:0KB

文档介绍
文件协议头,文件路径则根据该文件的业务属性做完文件的路径,文件名称保留原有名称,例如:HDFS://aaa/bbb.zipР对通过Hbase管理的小文件,则文件路径以HBASE为中心存储文件协议头,文件路径不需要分文件夹,直接以文件的唯一标识标识即可,例如:HBASE://uuid1.1.2文件读取接口Р文件读取时,通过识别URL,确定文件的存储方式,然后找到对应的存储接口获取文件。Р文件谟取接口РLlHadoopHDFS存储接口Р完成大文件的存储.与读取接口操作。Р1-2Hbase存储接口Р文件通用存储表结构:РHbase文件统一菅理表РР文件唯一标识varchar(32)Ok〉文件存储方式varchar(l)文件名称varchar(200)Р文件大小number(18)Р文律二进制流binary表存在两个列簇,default列簇负责存储基础属性信息,用一个单独的列簇存储图片内容。РHBase是采用面向列的存储模型,按列簇来存储和处理数据,即同一列簇的数据会连续存储。HBase在存储每个列簇时,会以Key-Value的方式来存储每行单元格(Cell)中的数据,形成若干数据块,然后把数据块保存到HFile中,最后把HFile保存到后台的HDFS上。由于用单元格(Cell)存储图片小文件的内容,上述存储数据的过程实际上隐含了把图片小文件打包的过程。默认情况下,HBase数据块限制为64KB。由于图片内容作为单元格(Cell)的值保存,其大小受制于数据块的大小。在应用中需根据最大图片大小对HBase数据块大小进行修改。具体修改方法是在表创建时,用HColumnDescriptor指定数据块大小,可分列簇指定,具体配置如下图:Р(NAMEРFAMELIES[(NAME*LcQment\BLOCKSIZEf524288'b}■(NAMEEm矿BLOCKSIZE=>‘65536、)>

收藏

分享

举报
下载此文档