评估中日使用流量(TB)6月10月随着业务发展数据量的增加,随着应用复杂导致的数据量增加,这些数据量导致了数据存储和处理压力;数据仓库无法线性扩容,管理难度加大,成本高扩容压力大,效率下降等传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对用户原始话单进行长期保存。需要扩容大量存储空间。大数据使得现有的数据处理方法面临新问题用户层现平台的数据保存周期大数据的数据保存周期应用层KR/CB/DM层永久保留至少2年数据存储层MK层永久保留至少2年DW层5个月永久保留数据获取层ODS层3~7天永久保留面对海量的数据压力,需要大数据平台提供可供线性扩容的存储能力。每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。大数据使得现有的数据处理方法面临新问题数据源明细数据层(DW)汇总层(MK)报表数据标签库指标数据客户统一视图……应用层DW&MK操作型数据ODS层Oracle数据库精细化营销架构短信中心经分DMVACGN话单流媒体客服系统计费中心MC话单彩信中心MR数据BSS用户互联网联系方式(总部研究院)241234现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理,缺乏非结构化数据的处理能力。用户上网行为等互联网行为数据以结构化数据方式保存至数据仓库中。传统数据仓库无法有效应对大数据分析需求1现网每日用户上网HTTP话单达14亿条。每月汇总的记录条数也近30亿条。随着移动互联网正在迅猛增长,传统数据仓库将很难驾驭,无法满足数据处理时限和事务处理需求。3面对海量的数据压力,需要大数据平台提供快速的处理能力。
全文预览
