公司对业务专业管理的要求越来越严格,造成各业务部门对业务数据的查询、统计、分析等方面需求大增,目前主要通过业务系统增加功能模块、建设独立辅助应用两种方式解决,也因此产生下列问题:建设独立辅助应用,造成数据多源存储由于建设独立部署的专业性、辅助性的应用,每一个应用都会备份存储业务系统的业务数据,再进行后续分析、统计,造成同一业务数据进一步出现多源存储、多源应用的情况。业务系统内增加功能,造成数据冗余在业务系统上增加大量的查询、统计和分析功能,对应产生了大量的统计、分析数据使用的数据表,但缺乏相关的管理机制,造成出现大量的冗余数据表、数据。通过全业务数据中心的数据中台试点项目实施对接入数据中心的模型数据按照标准化定义进行拼接、过滤、清洗来解决模式数据中的冗余数据。3、?数据质量不高问题的解决目前企业数据质量不高主要体现在数据正确性和完整性不够、业务系统间数据同步不及时、数据集成接口不够规范等业务数据正确性和完整性不够现有业务系统之间,仍然存在部分业务数据未实现贯通,系统之间缺少相应的业务闭环管理流程,导致数据正确性和完整性不够。业务系统间数据同步不及时一是已贯通业务的存量数据匹配未完成。已实现数据同源、业务贯通的业务系统中,由于贯通前各业务系统之间的业务标准、技术结构存在差异性,造成部分存量数据匹配工作未完成。二是系统功能升级前后业务标准不一致。各业务系统功能升级过程中,由于代码变更、字段调整等原因,有部分历史数据会出现与发布后的业务标准不一致的情况。数据集成接口不够规范目前各业务系统之间虽然大部分业务数据通过系统集成方式实现了数据贯通,但由于系统集成功能不完善、集成接口不稳定等原因,造成数据不一致。通过全业务数据中心的数据中台试点项目实施对接入数据中心的模型数据按照标准化定义完成拼接和加入人工智能算法的数据清洗工作后,对预处理数据进行数据质量校验来提高数据中心的整体数据质量。
全文预览
