模型设计_模型管理_数据融合引擎_用户指南

选择引擎产品>数据融合引擎>模型管理，单击模型设计，进入模型设计界面。

模型设计包括“线上环境”和“开发环境”两大模块，默认显示“线上环境”界面。

线上环境：显示已经发布的模型的维护及数据质量规则配置；
开发环境：显示已经建立的所有模型。

模型设计者和数据开发者都可访问模型设计模块，角色权限说明如下表所示。

模块	功能	模型设计者权限	数据开发者权限

线上环境	查看模型列表	有权限	有权限
	查看模型详情	有权限	有权限
	查看规则	有权限	有权限
	下线模型	仅该模型的模型设计者可操作	无权限
	批量分配	有权限	有权限
	配置质量规则	仅该模型的模型设计者可操作	仅该模型的模型负责人可操作

开发环境	新建模型	有权限	无权限
	查看模型列表	仅看到模型设计者自己的模型	无权限
	编辑/上线/删除模型	仅该模型的模型设计者可操作	无权限
	批量转交/批量上线	仅该模型的模型设计者可操作	无权限

线上环境

选择模型设计>线上环境，界面显示如下图所示。显示已发布的所有模型，按最近修改时间升序排列。

线上环境支持操作包括：筛选模型、查看模型、下线模型、分配模型、配置质量规则。

筛选模型

用户可以通过设定“模型类型（左侧模型列表）”、“版本号”、“应用领域”、“所属环境”、“上AIMaster”、“上行业模型”、“模型负责人”、“数据存储”、“表类型”以及“模型设计者”等参数对模型进行筛选；也可使用搜索栏查找模型，支持对表名称、表描述、字段等关键字进行搜索。

界面参数说明如下表所示：

参数名称	参数说明
模型列表	界面左侧的模型列表可筛选模型类型。
主题域	数据库分层后的模型主题域。
表名称	数据库中存储的物理表名称。
表描述	物理表的中文描述。
版本号	引擎版本号。
应用领域	当前支持的应用领域，包括：OD分析、事件感知、交通态势感知、基础数据、信号优化、弹性绿波带、生命体征、重点车辆安全防控、交通诱导以及评价指标。
所属环境	模型所属环境，包括：弹内、公共云、专有云。
上AIMaster	模型是否在AIMaster上有任务。
上行业模型	模型是否在数据融合引擎的行业模型模块中展示。
模型负责人	定义模型数据产出逻辑、各字段含义和取值要求。
数据存储	模型中数据的存储库。
表类型	物理表类型，包括：同步专网、产品部署、现场开发以及内部模型。
模型设计者	模型创建者，基于模型规范设计表结构，产出模型建表语句。模型设计者可以将自己创建的模型分配给“模型负责人”进行数据开发。
最近修改时间	模型最近一次修改时间。

查看模型

点击界面右侧操作栏的查看详情按钮，显示如下图所示模型详情界面。

字段信息显示模型的具体数据字段。
不同的存储类型（MaxCompute、Datahub Service、ApsaraDB for RDS或Table Store），显示模型各存储数据库的数据源和建表语句。

下线模型

仅模型设计者可执行下线操作。

点击表模型右侧操作栏的下线按钮，或勾选一个或多个表模型，通过界面下方的批量上线按钮，将选中表模型下线。下线模型即将该表从AIMaster中的SDF或直接从数据库中删除。

分配模型

为模型分配模型负责人，模型负责人根据模型进行物理表开发。

具体操作如下：

勾选一个或者多个模型，点击如上图所示界面下方的批量分配按钮。
为选中模型分配模型负责人。

配置质量规则

如下图右侧所示，点击操作栏的查看规则按钮，查看模型的质量规则。

质量规则配置界面显示当前模型各存储数据库下已配置的质量规则，包括表级规则和字段级规则。

非模型设计者和非模型负责人显示界面如下图所示，仅可查看模型已配置的质量规则（支持搜索）。

111

模型设计者和模型负责人显示界面如下图所示。

模型设计者和模型负责人除可查看模型已配置的质量规则外，还可对模型的质量规则进行配置，具体包括：新建规则、设置全局条件、编辑已有规则、删除已有规则、调度配置等。当模型的存储类型为Table Store时，不能设置质量规则。

新建规则

如下图所示，依次选择数据库（模型中已有数据库）、规则类型（表或字段），点击界面右侧的新建规则按钮，即可进入对应的新建规则界面。

新建表级规则

新建表级规则界面显示如下图所示。用户可通过模板或自定义规则创建。

模板规则：后台已经创建好的规则条件。
自定义规则：用户自定义规则名称、规则条件等信息。一般用于复杂规则。

支持一次性添加多条规则，点击右上角的添加按钮依次配置，配置完成后，单击下方的批量保存即可。

规则保存时，系统会检查规则的SQL语句，如语句有误，提示错误，需修改正确后才能保存。

界面参数说明如下所示：

参数名称	参数说明
规则名称	模板规则：单击下拉框，选择一条规则名称。自定义规则：输入自定义规则名称。同一个表中，若规则名称相同，后配置的规则会覆盖前配置的规则，不会同时生成多条规则。
规则条件	根据实际需求，设置规则条件，可灵活调整。例如：以数据量规则为例，规则条件>0表示规则约束该模型数据量大于0，规则执行后若不满足规则条件，规则展示页显示告警信息。说明：模板规则中，规则名称选择主键唯一时，规则条件输入框置灰，不可编辑。
全局条件	模板规则设置页面显示模型的全局条件。若没有设置全局条件，则显示为空值。
过滤条件	模板规则：过滤条件从where开始输入。如果是MaxCompute分区表，过滤条件中至少出现一个分区字段。对于adcode、date_version、dt、month等通用参数，提供了通配符配置。比如：dataversion的参数为${data_version}，dt的参数为${yyyymmdd}或${yyyymmdd-n}，adcode的参数为${adcode}，非可变参数请填写常量。示例：where adcode=${adcode} and data_version=${data_version} 自定义规则：需要输入完整的规则SQL语句，必须包含模型表名称。返回值必须是单行单列，以组函数为主。其他通配符的使用跟模版规则配置相同。示例：select count() from dwd_tfc_evt_dutysimple_t where adcode=${adcode} and lat > 90 and lat < 0 说明：*过滤条件不能和全局条件重复。
规则强弱	规则强弱影响该模型的数据健康，强规则只有全部满足，数据才可用，弱规则不影响数据可用性。强规则表示这条是强制需要满足的规则，若不满足，会产出告警信息。任务执行时，按照强弱优先级执行。先执行强规则再执行弱规则，强规则执行不通过则弱规则不执行，强规则执行正常再执行弱规则。

新建字段级规则

新建字段级规则界面显示如下图所示。用户可通过模板或自定义规则创建。

模板规则：后台已经创建好的规则条件。
自定义规则：用户自定义规则名称、规则条件等信息。一般用于复杂规则。

支持一次性添加多条规则，点击右上角的添加按钮依次配置，配置完成后，单击下方的批量保存即可。

规则保存时，系统会检查规则的SQL语句，如语句有误，提示错误，需修改正确后才能保存。

界面参数说明如下所示：

参数名称	参数说明
字段名称	单击下拉框，选择一条规则名称。
规则名称	模板规则：单击下拉框，选择一条规则名称。自定义规则：输入自定义规则名称。同一个字段中，若规则名称相同，后配置的规则会覆盖前配置的规则，不会同时生成多条规则。
规则条件	根据实际需求，设置规则条件，可灵活调整。例如：以数据量规则为例，规则条件>0表示规则约束该模型数据量大于0，规则执行后若不满足规则条件，规则展示页显示告警信息。
全局条件	模板规则设置页面显示模型的全局条件。若没有设置全局条件，则显示为空值。
过滤条件	模板规则：过滤条件从where开始输入。如果是MaxCompute分区表，过滤条件中至少出现一个分区字段。对于adcode、date_version、dt、month等通用参数，提供了通配符配置。比如：dataversion的参数为${data_version}，dt的参数为${yyyymmdd}或${yyyymmdd-n}，adcode的参数为${adcode}，非可变参数请填写常量。示例：where adcode=${adcode} and data_version=${data_version} 自定义规则：需要输入完整的规则SQL语句，必须包含模型表名称。返回值必须是单行单列，以组函数为主。其他通配符的使用跟模版规则配置相同。示例：select count() from dwd_tfc_evt_dutysimple_t where adcode=${adcode} and lat > 90 and lat < 0 说明：*过滤条件不能和全局条件重复。
规则强弱	规则强弱影响该模型的数据健康，强规则只有全部满足，数据才可用，弱规则不影响数据可用性。强规则表示这条是强制需要满足的规则，若不满足，会产出告警信息。任务执行时，按照强弱优先级执行。先执行强规则再执行弱规则，强规则执行不通过则弱规则不执行，强规则执行正常再执行弱规则。

设置全局条件

全局条件对模型的所有规则（表级规则和字段级规则）生效。一个模型仅需设置一个全局条件。用户可根据项目需求，选择是否配置全局条件。

点击界面右侧的全局条件按钮，即可进入如下图所示的全局条件界面。

全局条件界面显示模型表的分区字段，用户输入对应的过滤条件，点击保存即可。保存时，系统会检查过滤条件的SQL语句，如语句有误，提示错误，需修改正确后才能保存。

说明：

如果分区字段包含data_version和adcode，则过滤条件必须包含data_version=${data_verison} 和 adcode=${adcode}这两个条件。
当模型的存储类型为Datahub Service时，无需配置全局条件。

编辑规则

如下图所示，点击右侧操作栏的编辑按钮，可编辑已有规则。

删除规则

点击右侧操作栏的删除按钮，可删除已有规则。

说明：规则删除后将不再保留原纪录，请谨慎操作。

调度配置

新建规则后，需要对模型的各数据库执行调度配置，配置调度周期，定义规则的执行时间。

点击界面右上角的调度配置按钮，显示如下图所示的调度配置界面。依次配置相关参数后，点击保存即可。

说明：

当模型的存储类型为MaxComputer或ApsaraDB for RDS时，无需配置“开窗时间”。
若“调度周期”不可配置，说明该模型的周期已经从AIMaster中获取，不需要手动配置。

调度配置完成后，数据融合引擎会自动根据质量规则和调度周期，进行数据质量评估。数据开发者可通过行业模型模块，查看规则运行结果。

开发环境

选择模型设计>开发环境，界面显示如下图所示。界面显示已建所有模型，按最近修改时间升序排列。

开发环境支持操作包括：筛选模型、新建模型、编辑模型、上线模型、转交模型、删除模型。

筛选模型

用户可以通过设定“模型类型（左侧模型列表）”、“版本号”、“应用领域”、“所属环境”、“上AIMaster”、“上行业模型”、“模型设计者”、“数据存储”以及“表类型”等参数对模型进行筛选；也可使用搜索栏查找模型，支持对表名称、表描述、字段等关键字进行搜索。此处操作与线上环境完全相同。

新建模型

点击界面右上角的新建按钮，进入如下图所示的新建表界面。

依次配置相关参数后，点击保存即建立了新的数据模型。

部分参数说明如下表所示：

参数名称	参数说明
字段信息	物理表创建成功后，自动生成字段信息。
新增ddl	其中：存储类型：MaxCompute、ApsaraDB for RDS、Datahub Service、Table Store 数据源：存储类型不同，则数据源不同。每个模型最多可添加4类存储类型，每完成1个存储类型的添加后，右侧会出现新增按钮，可点击新增。

参数名称

参数说明

字段信息

物理表创建成功后，自动生成字段信息。

新增ddl

其中：

存储类型：MaxCompute、ApsaraDB for RDS、Datahub Service、Table Store
数据源：存储类型不同，则数据源不同。

每个模型最多可添加4类存储类型，每完成1个存储类型的添加后，右侧会出现新增按钮，可点击新增。

其中，新增ddl的建表语句示例如下所示：

MaxCompute

CREATE TABLE IF NOT EXISTS ${dws_tfc_state_droad_tp_index_rt} (
  stat_time STRING COMMENT '指标时间 yyyyMMddHHmm00',
  droad_id STRING COMMENT '道路id',
  droad_name STRING COMMENT '道路名称',
  step_index BIGINT COMMENT '时间片序号',
  avg_speed DOUBLE COMMENT '道路平均速度',
  avg_nostop_speed DOUBLE COMMENT '道路平均不等待红绿灯速度',
  eff_index DOUBLE COMMENT '通行效率指数',
  free_len BIGINT COMMENT '畅通状态里程,米',
  normal_len BIGINT COMMENT '一般状态里程,米',
  block_len BIGINT COMMENT '较堵状态里程,米',
  jam_len BIGINT COMMENT '拥堵状态里程,米',
  cong_ratio DOUBLE COMMENT '较堵和拥堵占比'
)
COMMENT '道路实时指数(通行效率指数)-每2分钟时间片-实时更新'
PARTITIONED BY (
  dt STRING COMMENT '当天日期yyyyMMdd',
  tp STRING COMMENT '时间分片取值',
  data_version STRING COMMENT '数据版本',
  adcode STRING COMMENT '城市编码'
)
LIFECYCLE 366;

ApsaraDB for RDS

CREATE TABLE IF NOT EXISTS ${dws_tfc_state_droad_tp_index_rt} (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `stat_time` varchar(20) NOT NULL DEFAULT '' COMMENT '指标时间 yyyyMMddHHmm00',
  `droad_id` varchar(128) NOT NULL DEFAULT '' COMMENT '道路id',
  `droad_name` varchar(128) NOT NULL DEFAULT '' COMMENT '道路名称',
  `step_index` bigint(11) NOT NULL COMMENT '时间片序号',
  `avg_speed` double NOT NULL DEFAULT '0' COMMENT '道路平均速度',
  `avg_nostop_speed` double NOT NULL DEFAULT '0' COMMENT '道路平均不等待红绿灯速度',
  `eff_index` double NOT NULL DEFAULT '0' COMMENT '通行效率指数',
  `free_len` bigint(20) NOT NULL COMMENT '畅通状态里程,米',
  `normal_len` bigint(20) NOT NULL COMMENT '一般状态里程,米',
  `block_len` bigint(20) NOT NULL COMMENT '较堵状态里程,米',
  `jam_len` bigint(20) NOT NULL COMMENT '拥堵状态里程,米',
  `cong_ratio` double NOT NULL COMMENT '较堵和拥堵占比',
  `dt` varchar(10) NOT NULL DEFAULT '00000000' COMMENT '当天日期yyyyMMdd',
  `tp` varchar(10) NOT NULL DEFAULT '2mi' COMMENT '时间分片取值',
  `data_version` varchar(20) NOT NULL COMMENT '数据版本',
  `adcode` varchar(20) NOT NULL COMMENT '城市编码',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_droad_time`  (`dt`, `tp`, `droad_id`, `step_index`, `data_version`),
  KEY `idx_date_droad_name`  (`dt`, `tp`, `droad_id`)
) ENGINE = InnoDB AUTO_INCREMENT = 137256911 CHARSET = utf8 COMMENT '道路实时指数(通行效率指数)-每2分钟时间片-实时更新';

Datahub Service

{
    "schema":[
        {
            "fieldName":"stat_time",
            "isNull":false,
            "comment":"指标时间 yyyyMMddHHmm00",
            "fieldType":"STRING"
        },
        {
            "fieldName":"droad_id",
            "isNull":false,
            "comment":"道路id",
            "fieldType":"STRING"
        },
        {
            "fieldName":"droad_name",
            "isNull":false,
            "comment":"道路名称",
            "fieldType":"STRING"
        },
        {
            "fieldName":"step_index",
            "isNull":false,
            "comment":"时间片序号",
            "fieldType":"BIGINT"
        },
        {
            "fieldName":"avg_speed",
            "isNull":false,
            "comment":"道路平均速度",
            "fieldType":"DOUBLE"
        },
        {
            "fieldName":"avg_nostop_speed",
            "isNull":false,
            "comment":"道路平均不等待红绿灯速度",
            "fieldType":"DOUBLE"
        },
        {
            "fieldName":"eff_index",
            "isNull":false,
            "comment":"通行效率指数",
            "fieldType":"DOUBLE"
        },
        {
            "fieldName":"free_len",
            "isNull":false,
            "comment":"畅通状态里程,米",
            "fieldType":"BIGINT"
        },
        {
            "fieldName":"normal_len",
            "isNull":false,
            "comment":"一般状态里程,米",
            "fieldType":"BIGINT"
        },
        {
            "fieldName":"block_len",
            "isNull":false,
            "comment":"较堵状态里程,米",
            "fieldType":"BIGINT"
        },
        {
            "fieldName":"jam_len",
            "isNull":false,
            "comment":"拥堵状态里程,米",
            "fieldType":"BIGINT"
        },
        {
            "fieldName":"cong_ratio",
            "isNull":false,
            "comment":"较堵和拥堵占比",
            "fieldType":"DOUBLE"
        },
        {
            "fieldName":"dt",
            "isNull":false,
            "comment":"当天日期yyyyMMdd",
            "fieldType":"STRING"
        },
        {
            "fieldName":"tp",
            "isNull":false,
            "comment":"时间分片取值",
            "fieldType":"STRING"
        },
        {
            "fieldName":"data_version",
            "isNull":false,
            "comment":"数据版本",
            "fieldType":"STRING"
        },
        {
            "fieldName":"adcode",
            "isNull":false,
            "comment":"城市编码",
            "fieldType":"STRING"
        }
    ],
    "recordType":"TUPLE",
    "shardsCnt":2,
    "topic":"${dws_tfc_state_droad_tp_index_rt}",
    "desc":"道路实时指数(通行效率指数)-每2分钟时间片-实时更新"
}

Table Store

{
  "tableMeta": {
    "tableName": "${dwd_tfc_bas_rdnet_drdchl_info}",
    "modelTableName": "dwd_tfc_bas_rdnet_drdchl_info",
    "tableComment": "带方向通道基本信息,主干道、快速路、高架等全部算在drdchl里面",
    "tableEnv": "客户环境",
    "pkColumns": [
      {
        "name": "data_version",
        "type": "STRING",
        "comment": "rid数据版本%%"
      },
      {
        "name": "rdchl_id",
        "type": "STRING",
        "comment": "用于标记同一个通道%%"
      },
      {
        "name": "drdchl_id",
        "type": "STRING",
        "comment": "通道ID,当用大脑数据程序生成时可用第一个路口的Inter_id和最后一个路口的inter_id通过#拼接起来%%"
      }
    ],
    "normalColumns": [
      {
        "name": "name",
        "type": "STRING",
        "comment": "通道名称%%"
      },
      {
        "name": "lane_cnt",
        "type": "INTEGER",
        "comment": "通道车道数%%"
      },
      {
        "name": "start_inter_id",
        "type": "STRING",
        "comment": "起始路口id%%"
      },
      {
        "name": "start_lng",
        "type": "DOUBLE",
        "comment": "起始路口经度%%"
      },
      {
        "name": "start_lat",
        "type": "DOUBLE",
        "comment": "起始路口纬度%%"
      },
      {
        "name": "start_geohash",
        "type": "STRING",
        "comment": "起始路口geohash%%"
      },
      {
        "name": "end_inter_id",
        "type": "STRING",
        "comment": "结束路口id%%"
      },
      {
        "name": "end_lng",
        "type": "DOUBLE",
        "comment": "结束路口经度%%"
      },
      {
        "name": "end_lat",
        "type": "DOUBLE",
        "comment": "结束路口纬度%%"
      },
      {
        "name": "end_geohash",
        "type": "STRING",
        "comment": "结束路口geohash%%"
      },
      {
        "name": "rdseg_cnt",
        "type": "INTEGER",
        "comment": "路段个数%%"
      },
      {
        "name": "len",
        "type": "INTEGER",
        "comment": "通道长度%%"
      },
      {
        "name": "rid_seq",
        "type": "STRING",
        "comment": "通道上按顺序排列的rid序列,rid之间用逗号分隔%%"
      },
      {
        "name": "lnglat_seq",
        "type": "STRING",
        "comment": "通道上按顺序排列的经纬度串序列,经度和纬度之间用逗号分隔,经纬度坐标之间用分号分隔%%"
      },
      {
        "name": "inter_id_seq",
        "type": "STRING",
        "comment": "通道上按顺序排列的inter_id序列,inter_id之间用逗号分隔%%"
      },
      {
        "name": "inter_name_seq",
        "type": "STRING",
        "comment": "通道上按顺序排列的inter_name序列,inter_name之间用逗号分隔%%"
      },
      {
        "name": "inter_coor_seq",
        "type": "STRING",
        "comment": "通道上路口经纬度坐标%%"
      },
      {
        "name": "extend_json",
        "type": "STRING",
        "comment": "暂时设为空,根据前端展示需要填充%%"
      },
      {
        "name": "road_type_no",
        "type": "INTEGER",
        "comment": "通道类型 1 表示 主干道 2 快速路 3 高架 4 普通地面道路%%"
      },
      {
        "name": "road_dir_no",
        "type": "INTEGER",
        "comment": "通道道路方向类型编码 1: 东西方向 2:南北方向 3:环形 %%"
      },
      {
        "name": "travel_dir_no",
        "type": "INTEGER",
        "comment": "通道通行方向编码 1: 正向默认西向东,北向南,环形顺时针 2:反向 默认东向西,南向北,环形逆时针  具体哪个方向是正向由客户定义%%"
      },
      {
        "name": "is_valid",
        "type": "INTEGER",
        "comment": "是否有效，1表示有效，0表示已删除"
      },
      {
        "name": "dt",
        "type": "STRING",
        "comment": "日期%%"
      },
      {
        "name": "adcode",
        "type": "STRING",
        "comment": "城市编码"
      }
    ]
  },
  "tableOptions": {
    "timeToLive": -1,
    "maxVersion": 3
  },
  "reservedThroughtput": {
    "read": 0,
    "write": 0
  }
}

编辑模型

仅模型设计者可执行编辑操作。

如下图所示，点击右侧操作栏的编辑按钮，进入模型的编辑表界面。

修改相关参数后，点击保存即可。其中表名称和表描述不支持修改。

上线模型

仅模型设计者可执行上线操作。

模型上线分为以下两种情况：

若该表上AIMaster，在AIMaster上生成SDF，且只能由模型管理平台维护，不能手动更改。以表名为唯一标志去AIMAster中检索，若已存在，则执行替换操作，若不存在，则执行新建操作。
若该表不上AIMaster，直接出现在线上环境，不会生成SDF。建表和更新操作都由数据开发者在数据库中更新，数据融合引擎只更新线上环境中展示的建表语句。

如下图所示，点击表模型右侧操作栏的上线按钮，或勾选一个或多个表模型，通过界面下方的批量上线按钮，将选中表模型发布到线上环境。

转交模型

仅模型设计者可执行转交操作。

模型设计者可以将自己创建的模型转交给其他模型设计者，转交完成后，模型设计者更改为被转交的模型设计者。转交时线上环境中同名的模型设计者也会一并更改。

具体操作如下：

勾选一个或者多个模型，点击界面下方的批量转交按钮。
将选中模型转交给其他模型设计者。

删除模型

仅模型设计者可执行删除操作。

如下图所示，点击右侧操作栏的删除按钮，删除已建表模型。