全文预览

大数据技术参考模型

上传者:upcfxx |  格式:docx  |  页数:13 |  大小:0KB

文档介绍
收集、固化数据。Р-创建描述数据源的元数据。Р发布信息的可用性和访问方法。确保数据传输质量。.Р数据提供者和大数据应用提供者的接口涉及3个阶段:开始、数据传输和终止。Р7.3大数据应用提供者Р7.3.1概述Р大数据应用提供者的职责是通过在数据生命周期中执行的一组特定操作,来满足由系统协调者规定的要求,以及安全性、隐私性要求。Р大数据应用提供者包括收集、预处理、分析、可视化和访问5个活动。Р7.3.2收集Р负责处理与数据提供者的接口和数据引入。Р7.3.3预处理Р包括数据验证、清洗、标准化、格式化和存储。Р.7.3.4分析Р基于数据科学家的需求或垂直应用的需求,确定处理数据的算法来产生新的分析,解决技术目标,从而实现从数据中提取知弯的技术。Р7.3.5可视化提供给最终的数据消费者处理中的数据元素和呈现分析功能的输出。РРР7.3.6访问与可视化和分析功能交互,响应应用程序请求,通过使用处理和平台框架来检索数据,并响应数据消费者请求。Р7.4大数据框架提供者Р7.4.1概述大数据框架提供者的职责是为大数据应用提供者在创建具体应用时提供使用的资源和服务。Р大数据框架提供者包括基础设施、平台、处理框架、信息交互/通信和资源管理5个活动。Р7.4.2基础设施为大数据系统中的所有其他要素提供必要的资源,这些资源是由一些物理资源的组合构成,这些物理资源可以控制/支持相似的虛拟资源。这些资源分为下面几类:Р---网络:从一个资源向另一个资源传输数据的资源。Р---计算:用于执行和保持其他组件的软件的实际处理器和存储器。Р---存储:大数据系统中保存数据的资源。Р---环境:在建立大数据实例的时候必须考虑的物理厂房资源(电力Р制冷等)。Р7.4.3平台Р包含逻辑数据的组织和分布,支持文件系统方式存储和索引存储方法:Р---文件系统:实施某种级别的POSIX标准以获取权限,进行相关的文件操作。

收藏

分享

举报
下载此文档