本文介绍数据资源平台的基本概念。

系统设置

租户:是在数据资源平台内的一个逻辑概念,每个主账号都会开通属于自己账号的一个租户,不同租户之间使用完全隔离。

工作组:是数据资源平台管理任务与成员,分配角色和权限的基本单元。工作空间管理员可以添加成员至工作组,并赋予工作组管理员、工作组开发者、工作组分析员等角色,以实现多角色协同工作。

数据同步

数据源:是指数据库应用程序所使用的数据库或者数据库服务器,在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。

多源异构数据:指的是多种不同结构的数据源。

分布式上云架构:分布式是底层的技术架构,支持弹性扩容。

数据模板:用于对非结构化数据的解释,当创建数据同步任务时,且源端数据类型为消息中间件时,通过数据模板对其进行解释。

数据标准

数据标准:是对含义相同但字段名称不同的数据进行统一规范管理的数据准则,数据标准可定义逻辑表的命名规范、的字段取值范围、度量单位等内容。

数据元:表示一个数据的最小信息项,包含基本的描述、值域范围和约束规则。

生命周期:指的是表的生命周期,指表(分区)数据从最后一次更新的时间算起,在经过指定的时间后没有变动,则此表(分区)将被数据库(例如:MaxCompute)自动回收。这个指定的时间就是生命周期,生命周期的单位一般是天。

元素的长度:数据元的长度。

固定值:是指质量运行的一行一列结果与期望的固定值进行比较,根据比较条件判断质量结果执行是否通过。

趋势:指的是质量规则设定的模式,分为:固定值、固定值和固定值比较以及固定值波动率比较。

数据建模

数据模型:是数据特征的抽象,它从抽象层次上描述了系统的静态特征、动态行为和约束条件,为数据库系统的信息表示与操作提供一个抽象的框架,数据资源平台支持逻辑模型和物理模型。
  • 逻辑模型:反映的是系统分析设计人员对数据存储的观点,是对概念数据模型进一步的分解和细化;数据资源平台中可通过手动、DDL语句、EXCEL导入、云计算资源扫描的方式来实现逻辑模型创建。
  • 物理模型:是对真实数据库的描述;数据资源平台中通过将已创建好的逻辑表物理化到数据库来实现物理模型的创建。

数据开发

场景:场景定义数据输出的方式,一个场景包含一种或多种数据输出的方式。

计算资源:可以执行计算节点的资源。使用“场景加工”时并不会单独执行一个计算节点任务,需要把计算节点组织成流程执行,所以需要计算资源支持流程的批量执行。

存储资源:可以存储数据的资源,包括离线存储、在线存储。

计算节点:场景加工中的计算有五个要素:计算资源、代码、输入数据、输出数据和参数。代码可在计算资源上执行(代码是否需要编译由计算资源决定);输入数据、输出数据由逻辑表定义;参数用于控制计算节点的执行。在使计算用节点配置任务流程时,流程中连接上下游的连接线表示计算节点的输入和输出数据,而节点参数需要通过单独的界面进行配置。

节点任务流程:通过有向无环的流程图(DAG)描述,定义了一段处理逻辑。节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。

测试场景与线上场景:每个工作区都有一个测试场景和一个线上场景,它们是两套独立的资源配置。数据开发工程师只能在开发测试环境中注册计算节点,配置节点任务流程,并进行测试。测试通过后要经过上线操作才能把测试环境中的节点任务流程发布到线上环境中。任何人都不能编辑生产环境中的节点流程,但可以修改参数,所有修改都会记录在日志中。

场景依赖:是指同工作区下跨场景间的离线计算节点的周期调度依赖,用于配置周期调度中场景间的离线节点执行依赖关系,进行正确顺序的离线作业计算。

语义建模

物理表:是指具体某个数据源中的一张表。

主表:在数据库中建立的表格,其中存在主键(primary key)用于与其它表相关联,并且作为在主表中的唯一性标识,例如:银行客户信息表(证件号码、姓名、出生日期、电话号码、卡号),信用卡消费信息表(卡号、卡额度、办卡渠道),则信用卡消费信息表中的卡号为银行客户信息表的外键,其与信用卡消费信息表中卡号属性相关联,因此,信用卡消费信息表为主表,银行客户信息表为从表。

同步表:是指同步到目标云计算资源而生成的物理表。

语义模型:是围绕实体(Object)、关系(Link)、标签(Tag)三大元素对分布在不同数据库中的数据进行网络化的建模方式。
  • 实体用于描述某个客观的对象,如设备人员地址等,对应到物理数据表上一般就是属性表,有一个主键来代表每一个对象,剩下的每一列就是标签即描述对象的属性。
  • 关系是表示对象和对象之间的联系、事件、行为,一般对应到物理数据表上一般就是事实流水表,如成交检修乘车等。

标签:是指对用户这一对象的一个最小描述单元,代表着所描述对象某一个具体的客观事实的抽象表达,如属性(标签值 教育水平:职