3 数据资产管理平台
3.2 建设内容
3.2.1
数据资产管理系统
投标方需要提供包含信息标准管理、数据集成管理、数据备份管理、运行监控管理相 关的多种数据资产管理工具,能够围绕数据共享接口、数据仓库提供高可用的管理功能,
同时面向校级数据资产能够向我校提供数据资产可视化展现的能力,以支撑我校核心数据 资产的建设。
投标方需要提供包含信息标准管理、数据集成管理、数据备份管理、运行 监控管理相关的多种数据资产管理工具,能够围绕数据共享接口、数据仓库提 供高可用的管理功能,同时面向校级数据资产能够向我校提供数据资产可视化 展现的能力,以支撑我校核心数据资产的建设。具体功能需求如下:
3.2.1.1
信息标准管理工具
平台需围绕信息标准管理提供元数据、代码标准、标准与代码版本以及数 据集市模型的管理功能。
(1)可提供数据源统一注册管理,可灵活调整不同接入数据源的启停;
(2)可提供按目录结构对主数据和业务系统的数据对象进行管理,可根据 元数据进行数据建模;
(3)需提供针对元数据一致性检查,采用先对元数据和数据库实体一致性 比对,在对差异项进行处理的方式;
(4)需提供代码标准基本管理系列工具,围绕我校实现标准的“制定、维护、
理解、分享和集成”,可集中对代码标准进行拆合、启停等操作,能够记录代码 变更过程;
(5)可提供标准代码和业务系统代码映射关系的管理功能,实现代码映射 的自动感知匹配功能。在代码标准映射过程中,可提供有代码和无代码两种场 景下的映射管理;
(6)★能够提供针对标准和代码版本的管理,可自动记录数据模型标准和 代码标准的变更记录,自动生成标准版本号,并能实现当前版本与上一版本的 内容对比。
(7)能够提供按目录结构对数据集市模型的数据对象进行分类管理,在数 据集市建模时,可实现根据元数据进行数据建模,并对元数据和数据库实体进 行一致性比对。
3.2.1.2
数据集成管理工具
为了形成我校统一的校级主数据库,通过构建一系列数据集成管理工具完 成面向分散数据的集成汇聚工作,解决我校数据孤岛的问题。数据集成管理工 具主要涉及数据集成开发包、主数据管理与生命周期追溯、数据流向管理等功 能。
(1)针对我校数据集成工作,需提供丰富的数据集成开发包。包括拓扑管 理、集成设计、集成查看、集成调度等工具;
(2)能够提供丰富的集成接口支持,包括支持主流关系型数据库、支持非 主流关系型数据库、支持 ODBC 数据源类型接入、支持主题或者队列、支持 Web Service、支持 Tabled-Txt 文件、支持 XML 文件以及操作系统的网络协议 的集成接口;
(3)为了提升数据集成的工作量,需要能够向我校提供基于各种场景通用 的知识模块,数据集成需求开发包数量不得低于 100 项;
(4)除了能够提供我校常规主数据管理的功能外,还必须向我校提供基于 主数据生命周期的追溯功能,使我校数据管理人员清楚指导每个数据对象随着 时间变化,增、删、改的数据量;
(5)★必须提供基于数据流向的可视化展示功能,能够实时监控数据源头 及目标的数据量,接口运行状态等,能够很方便的在拓扑图和详细列表之间进 行切换;
(6)★为方便数据管理员实时监控与目标表相关的源头系统与主数据表之 间的运行状态,必须提供数据字段血缘监控功能,实现可以通过目标表下钻至 源头、主数据、目标三方的监控可视化环境,可在可视化环境下通过触发表间 连接,下钻至接口运行状态监控环境;
(7)需支持查询数据对象的接口运行记录,从建表到当前时间的数据全生 命周期变化过程;
(8)能够面向我校数据集成业务,提供符合高校行业特征的高校行业集成 库,通过可视化集成工具,梳理各业务系统核心的数据模型与字段,形成预制 同步接口;
(9)为方便我校信息中心对数据管理的效率,投标方需提供在线 SQL 查询 器,可方便的进行在线 SQL 查询操作,并能够提供查询语句收藏功能,保留常 用语句不低于 10 个。
3.2.1.3
数据资产展现
通过对数据资产可视化展现功能建设,使我校可以清晰看到现有校级资产 状况,涉及数据模型建模完成情况、数据同步集成概况、数据同步质量等。其 中,主要包括需实现的功能为:数据资产概况与详情、数据集成操作情况、数 据资产质量评估、权威数据责任单位管理、全校/部门数据报告等功能。
(1)★必须能够以可视化树形结构的方式集中方便的呈现我校数据资产的 概况,其中需要覆盖校级数据资产中包括的主数据对象模型、自定义对象模型、
业务对象模型、数据集市模型、代码标准模型五大类。投标方可以提供以打分 的方式,对我校一定时间范围内数据资产进行评估;支持查看不同模型分类的 状态占比、不同模型分类下的业务模型的完整度占比以及不同业务模型的表数 量和数据量;
(2)需要能够为我校数据管理员提供在可视化环境下,对各模型逐级下探 的功能,能够在一个页面上集中展现不同模型下未建表、无数据表和有数据表 的个数;
(3)需要能够展现数据同步质量情况,围绕数据完整性检测项、唯一性检 测项、代码有效性检测项、格式合规性检测项,自定义各种展示规则;实现以 横向多维柱状图展示各种检测项的检测结果,以增强对正常项数和异常项数监 控查询的能力;
(4)★需要能够为我校提供数据集成接口运行状态的文本及图形方式展现,
实现支持查看每个接口调用成功/失败数量上的反馈,以及支持查看不同业务系 统接口数量、运行次数和成功运行次数的统计;
(5)★需要能够支持查看历史数据质量的评分,以判断数据质量的优劣;
可以实现查看每个模型分类同步的数据条数统计信息,同时可以根据不同系统 查看预设表、添加表的情况,并能够给出实时评分;
(6)能够支持实现权威数据责任单位管理的功能,提供易用配置的方式,
将责任单位与主数据对象模型之间建立关联,最终可以在数据血缘关系、部门 数据报告、质量报告查询中,可自动根据责任单位进行主数据对象模型的筛选;
(7)需要提供面向全校或部门级别的数据报告功能。以图文方式展现各级 别组织数据资产情况,核心包括组织的数据资产建设情况、数据集成运行情况、
数据资产开放情况、数据质量检测情况四个方面,同时可导出报告。
3.2.1.4
运行监控管理工具
(1)需要为信息中心运行监控人员提供图形化的系统动态,异常情况,数 据情况等信息;能够按照异常事件的重要程度,将最重要的信息展现在最醒目 位置;
(2)至少需要提供基于元数据技术属性规范性检测、元数据与数据库一致 性检测、集成接口运行情况、数据质量合规性检测、代码标准一致性检测、数 据备份情况等维度的健康检测;
(3)★需要为数据集成监控提供工具,主要包括集成概况、接口信息、任 务计划、接口运行日志等功能;
(4)需要针对数据集成监控能提供近一周或一月内集成情况图形化展现,
内容主要涉及任务计划调度时刻表、执行时间最长的 10 个接口,不在调度计划 中的接口清单、集成数据量较大的 10 个接口等信息;同时,可以按照数据对象、
接口名称、流向进行检索;
(5)需要能够针对影响数据库稳定运行的指标进行监控,便于发现数据库 异常,及时调优;
(6)需要能够面向我校数据集成操作情况进行集中展现,支持查看每个接 口调用成功/失败数量上的反馈,同时支持查看不同业务系统接口数量、运行次 数、成功运行次数的统计;
(7)能够采用图形化方式分层反映系统数据的拓扑关系,通过系统、表、
字段三方面展现数据的来龙去脉;
(8)能够针对 ETL 接口运行错误进行及时预警,可以邮件方式通知;
3.2.2历史数据归档
本期建设我校需要强化基于主数据的数据仓库建设,为构建校级数据集市及上 层各业务主题分析提供数据源。针对数据仓库的建设和管理至少需要包括数据 集市模型管理、数据可视化加工操作以及数据加密/脱敏操作等功能。
(1)能够为我校提供围绕数据对象、字段属性、代码表引用关系、数据集市建 模等方面的管理功能;
(2)能够提供数据可视化加工操作功能,实现自定义方案操作并可进行查询;
(3)★每个方案可支持用户在模型、字段之间按名称快速检索,可根据条件构 造器实现数据预览,同时,可提供表和字段并集、交集、左合并、右合并四种 合并方式,且自动展示数据结果的功能;
(4)支持提供加密/脱敏方案自定义配置,实现加密脱敏方式为加密/脱敏二选 一,如果选择加密,则类型分为低中高三级,如果选择脱敏,则类型为保留或 脱敏开始位数至结束位数。
3.2.3
数据服务发布
(6)能够围绕业务视角,基于监测时间及数据分类进行筛选,基于异常类型展现单 表检测情况;
(7)生成直观的质量检测报告,所见即所得的反映问题所在及动态,能够围绕模型、
字段、数据三个维度生成查看数据质量问题;
3.2.4.3
数据问题在线反馈
(1)需要提供数据问题在线反馈功能,由数据使用方发现的问题,提供一个在线的 反馈页面,可以将问题反馈给信息中心,由信息中心排查处理;
(1)需要提供数据问题在线反馈功能,由数据使用方发现的问题,提供一个在线的 反馈页面,可以将问题反馈给信息中心,由信息中心排查处理;