r和Follower确认),不确认性能最高?同步写文件策略选择(批量写:消息数量和时间间隔)?Redis-2.8.6?通过批量key获取数据性能最好РZooKeeper-3.4.5?单独独立部署:Zookeeper和Storm均涉及大量IO,存在资源争抢问题?Hadoop-2.3.0-CDH5.0?搭建专门的dns服务器?时钟同步?密钥文件在共享存储中集中管理?IO(磁盘、网络):千兆网络以上?Hbase-0.96.1?禁止自动文件拆分Р典型应用二:?中国移动X省大数据平台建设方案Р数据应用需求Р业务人员可根据日常工作需求快速创建分析报表,提供灵活的过滤、筛选、分组及钻取能力,适用于个性化主题分析的快速创建。用户通过指标筛选后进行分析,针对指标按不同维度下钻,包括:时间维度、空间维度、区域维度等?普通用户可以通过(类)SQL接口自行数据报表开发?高级用户也可以直接使用MR、scala等语言,进行复杂的专题分析设计与应用Р以网络业务体系为基础的指标导航Р数据特点分析Р目前每日数据量接近4T,2015年将达到7T。当前已建立完成覆盖近30万频道和27亿网页(含WAP)的URL地址库,形成2463个互联网分类标签和27万关键词库。通过与主流市场和APP厂商合作,能够解析覆盖用户产生流量95%以上的手机应用。Р分类Р数据源Р数据描述Р网络Р话务网管РGSM、TD网络性能和动态资源数据。Р数据网管РWLAN网络性能和动态资源数据。Р网优平台Р邻区数据Р综合资源Р静态资源数据Р业务РCRM\BOSS\?VGOP\ESOP\经分Р语音、GPRS、WLAN话单数据;小区级月收入汇总;用户基础信息月汇总Р用户РGn监测Р用户上网Gn话单数据РA+Abis信令Р用户A接口话单数据Р上网日志Р用户上网日志Р位置Р位置系统Р轨迹Р管理Р管理信息系统Р财务、ERP等Р互联网Р互联网网页Р网页内容爬取
全文预览
