地将业务逻辑和持久性逻辑与UI组件耦合。 ETL技术 ETL是数据抽取、清洗、转换、装载的过程,是构建数据仓库的重要一环。用户从数据源抽取出所需数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中,具体包括以下环节。数据抽取:数据抽取是从数据源中抽取数据的过程。实际应用中,数据源采用较多的是关系数据库。从数据库中抽取数据一般有全量抽取、增量抽取两种方式。ETL处理的数据源除了关系数据库外,还可能是文件,例如txt文件、excel文件、xml文件等。对文件数据的抽取一般是进行全量抽取,抽取前可保存文件的时间戳或计算文件的MD5校验码,下次抽取时进行比对,如果相同则可忽略本次抽取。数据转换和加工:从数据源中抽取的数据不一定完全满足目的库的要求,例如数据格式不一致、数据输入错误、数据不完整等,因此有必要对抽取的数据进行数据转换和加工。数据转换和加工可以在ETL引擎中进行,也可以在数据抽取过程中利用关系数据库的特性同时进行。数据装载:将转换和加工后的数据装载到目的库中通常是ETL过程的最后一步。装载数据的最佳方法取决于执行操作的类型以及需要装入数据的数量。当目的库是关系数据库时,一般有两种装载方式:一是直接用SQL语句进行insert、update、delete操作;二是采用批量装载方法,如bcp、bulk、关系数据库特有的批量装载工具或api ORACLE存储过程技术存储过程Procedure是一组为了完成特定功能的SQL语句集合,经编译后存储在数据库中,用户通过指定存储过程的名称并给出参数来执行。存储过程中可以包含逻辑控制语句和数据操纵语句,它可以接受参数、输出参数、单个或多个结果集以及值,具有以下优点。一是执行速度快,存储过程只在创造时进行编译,以后执行存储过程时无需重新编译,而一般SQL语句每执行一次就编译一次,所以使用存储过程可提高数据库执行速度。
全文预览
