更新时间:2019-06-19 09:27
选择引擎产品>数据融合引擎>模型管理,单击模型设计,进入模型设计界面。
模型设计包括“线上环境”和“开发环境”两大模块,默认显示“线上环境”界面。
模型设计者和数据开发者都可访问模型设计模块,角色权限说明如下表所示。
模块 | 功能 | 模型设计者权限 | 数据开发者权限 |
---|---|---|---|
线上环境 | 查看模型列表 | 有权限 | 有权限 |
查看模型详情 | 有权限 | 有权限 | |
查看规则 | 有权限 | 有权限 | |
下线模型 | 仅该模型的模型设计者可操作 | 无权限 | |
批量分配 | 有权限 | 有权限 | |
配置质量规则 | 仅该模型的模型设计者可操作 | 仅该模型的模型负责人可操作 | |
开发环境 | 新建模型 | 有权限 | 无权限 |
查看模型列表 | 仅看到模型设计者自己的模型 | 无权限 | |
编辑/上线/删除模型 | 仅该模型的模型设计者可操作 | 无权限 | |
批量转交/批量上线 | 仅该模型的模型设计者可操作 | 无权限 |
选择模型设计>线上环境,界面显示如下图所示。显示已发布的所有模型,按最近修改时间升序排列。
线上环境支持操作包括:筛选模型、查看模型、下线模型、分配模型、配置质量规则。
用户可以通过设定“模型类型(左侧模型列表)”、“版本号”、“应用领域”、“所属环境”、“上AIMaster”、“上行业模型”、“模型负责人”、“数据存储”、“表类型”以及“模型设计者”等参数对模型进行筛选;也可使用搜索栏查找模型,支持对表名称、表描述、字段等关键字进行搜索。
界面参数说明如下表所示:
参数名称 | 参数说明 |
---|---|
模型列表 | 界面左侧的模型列表可筛选模型类型。 |
主题域 | 数据库分层后的模型主题域。 |
表名称 | 数据库中存储的物理表名称。 |
表描述 | 物理表的中文描述。 |
版本号 | 引擎版本号。 |
应用领域 | 当前支持的应用领域,包括:OD分析、事件感知、交通态势感知、基础数据、信号优化、弹性绿波带、生命体征、重点车辆安全防控、交通诱导以及评价指标。 |
所属环境 | 模型所属环境,包括:弹内、公共云、专有云。 |
上AIMaster | 模型是否在AIMaster上有任务。 |
上行业模型 | 模型是否在数据融合引擎的行业模型模块中展示。 |
模型负责人 | 定义模型数据产出逻辑、各字段含义和取值要求。 |
数据存储 | 模型中数据的存储库。 |
表类型 | 物理表类型,包括:同步专网、产品部署、现场开发以及内部模型。 |
模型设计者 | 模型创建者,基于模型规范设计表结构,产出模型建表语句。模型设计者可以将自己创建的模型分配给“模型负责人”进行数据开发。 |
最近修改时间 | 模型最近一次修改时间。 |
点击界面右侧操作栏的查看详情按钮,显示如下图所示模型详情界面。
仅模型设计者可执行下线操作。
点击表模型右侧操作栏的下线按钮,或勾选一个或多个表模型,通过界面下方的批量上线按钮,将选中表模型下线。下线模型即将该表从AIMaster中的SDF或直接从数据库中删除。
为模型分配模型负责人,模型负责人根据模型进行物理表开发。
具体操作如下:
为选中模型分配模型负责人。
如下图右侧所示,点击操作栏的查看规则按钮,查看模型的质量规则。
质量规则配置界面显示当前模型各存储数据库下已配置的质量规则,包括表级规则和字段级规则。
非模型设计者和非模型负责人显示界面如下图所示,仅可查看模型已配置的质量规则(支持搜索)。
模型设计者和模型负责人显示界面如下图所示。
模型设计者和模型负责人除可查看模型已配置的质量规则外,还可对模型的质量规则进行配置,具体包括:新建规则、设置全局条件、编辑已有规则、删除已有规则、调度配置等。当模型的存储类型为Table Store时,不能设置质量规则。
如下图所示,依次选择数据库(模型中已有数据库)、规则类型(表或字段),点击界面右侧的新建规则按钮,即可进入对应的新建规则界面。
新建表级规则界面显示如下图所示。用户可通过模板或自定义规则创建。
支持一次性添加多条规则,点击右上角的添加按钮依次配置,配置完成后,单击下方的批量保存即可。
规则保存时,系统会检查规则的SQL语句,如语句有误,提示错误,需修改正确后才能保存。
界面参数说明如下所示:
参数名称 | 参数说明 |
---|---|
规则名称 |
模板规则:单击下拉框,选择一条规则名称。 自定义规则:输入自定义规则名称。 同一个表中,若规则名称相同,后配置的规则会覆盖前配置的规则,不会同时生成多条规则。 |
规则条件 | 根据实际需求,设置规则条件,可灵活调整。 例如:以数据量规则为例,规则条件>0表示规则约束该模型数据量大于0,规则执行后若不满足规则条件,规则展示页显示告警信息。说明:模板规则中,规则名称选择主键唯一时,规则条件输入框置灰,不可编辑。 |
全局条件 | 模板规则设置页面显示模型的全局条件。若没有设置全局条件,则显示为空值。 |
过滤条件 | 模板规则:过滤条件从where开始输入。如果是MaxCompute分区表,过滤条件中至少出现一个分区字段。对于adcode、date_version、dt、month等通用参数,提供了通配符配置。比如:dataversion的参数为${data_version},dt的参数为${yyyymmdd}或${yyyymmdd-n},adcode的参数为${adcode},非可变参数请填写常量。 示例:where adcode=${adcode} and data_version=${data_version}自定义规则:需要输入完整的规则SQL语句,必须包含模型表名称。返回值必须是单行单列,以组函数为主。其他通配符的使用跟模版规则配置相同。 示例:select count(*) from dwd_tfc_evt_dutysimple_t where adcode=${adcode} and lat > 90 and lat < 0 说明:过滤条件不能和全局条件重复。 |
规则强弱 | 规则强弱影响该模型的数据健康,强规则只有全部满足,数据才可用,弱规则不影响数据可用性。 强规则表示这条是强制需要满足的规则,若不满足,会产出告警信息。 任务执行时,按照强弱优先级执行。先执行强规则再执行弱规则,强规则执行不通过则弱规则不执行,强规则执行正常再执行弱规则。 |
新建字段级规则界面显示如下图所示。用户可通过模板或自定义规则创建。
支持一次性添加多条规则,点击右上角的添加按钮依次配置,配置完成后,单击下方的批量保存即可。
规则保存时,系统会检查规则的SQL语句,如语句有误,提示错误,需修改正确后才能保存。
界面参数说明如下所示:
参数名称 | 参数说明 |
---|---|
字段名称 | 单击下拉框,选择一条规则名称。 |
规则名称 | 模板规则:单击下拉框,选择一条规则名称。 自定义规则:输入自定义规则名称。同一个字段中,若规则名称相同,后配置的规则会覆盖前配置的规则,不会同时生成多条规则。 |
规则条件 | 根据实际需求,设置规则条件,可灵活调整。 例如:以数据量规则为例,规则条件>0表示规则约束该模型数据量大于0,规则执行后若不满足规则条件,规则展示页显示告警信息。 |
全局条件 | 模板规则设置页面显示模型的全局条件。若没有设置全局条件,则显示为空值。 |
过滤条件 | 模板规则:过滤条件从where开始输入。如果是MaxCompute分区表,过滤条件中至少出现一个分区字段。对于adcode、date_version、dt、month等通用参数,提供了通配符配置。比如:dataversion的参数为${data_version},dt的参数为${yyyymmdd}或${yyyymmdd-n},adcode的参数为${adcode},非可变参数请填写常量。 示例:where adcode=${adcode} and data_version=${data_version}自定义规则:需要输入完整的规则SQL语句,必须包含模型表名称。返回值必须是单行单列,以组函数为主。其他通配符的使用跟模版规则配置相同。 示例:select count(*) from dwd_tfc_evt_dutysimple_t where adcode=${adcode} and lat > 90 and lat < 0 说明:过滤条件不能和全局条件重复。 |
规则强弱 | 规则强弱影响该模型的数据健康,强规则只有全部满足,数据才可用,弱规则不影响数据可用性。 强规则表示这条是强制需要满足的规则,若不满足,会产出告警信息。 任务执行时,按照强弱优先级执行。先执行强规则再执行弱规则,强规则执行不通过则弱规则不执行,强规则执行正常再执行弱规则。 |
全局条件对模型的所有规则(表级规则和字段级规则)生效。一个模型仅需设置一个全局条件。用户可根据项目需求,选择是否配置全局条件。
点击界面右侧的全局条件按钮,即可进入如下图所示的全局条件界面。
全局条件界面显示模型表的分区字段,用户输入对应的过滤条件,点击保存即可。保存时,系统会检查过滤条件的SQL语句,如语句有误,提示错误,需修改正确后才能保存。
说明:
如下图所示,点击右侧操作栏的编辑按钮,可编辑已有规则。
点击右侧操作栏的删除按钮,可删除已有规则。
说明:规则删除后将不再保留原纪录,请谨慎操作。
新建规则后,需要对模型的各数据库执行调度配置,配置调度周期,定义规则的执行时间。
点击界面右上角的调度配置按钮,显示如下图所示的调度配置界面。依次配置相关参数后,点击保存即可。
说明:
调度配置完成后,数据融合引擎会自动根据质量规则和调度周期,进行数据质量评估。数据开发者可通过行业模型模块,查看规则运行结果。
选择模型设计>开发环境,界面显示如下图所示。界面显示已建所有模型,按最近修改时间升序排列。
开发环境支持操作包括:筛选模型、新建模型、编辑模型、上线模型、转交模型、删除模型。
用户可以通过设定“模型类型(左侧模型列表)”、“版本号”、“应用领域”、“所属环境”、“上AIMaster”、“上行业模型”、“模型设计者”、“数据存储”以及“表类型”等参数对模型进行筛选;也可使用搜索栏查找模型,支持对表名称、表描述、字段等关键字进行搜索。此处操作与线上环境完全相同。
点击界面右上角的新建按钮,进入如下图所示的新建表界面。
依次配置相关参数后,点击保存即建立了新的数据模型。
部分参数说明如下表所示:
参数名称 | 参数说明 |
---|---|
字段信息 | 物理表创建成功后,自动生成字段信息。 |
新增ddl | 其中:
|
其中,新增ddl的建表语句示例如下所示:
CREATE TABLE IF NOT EXISTS ${dws_tfc_state_droad_tp_index_rt} (
stat_time STRING COMMENT '指标时间 yyyyMMddHHmm00',
droad_id STRING COMMENT '道路id',
droad_name STRING COMMENT '道路名称',
step_index BIGINT COMMENT '时间片序号',
avg_speed DOUBLE COMMENT '道路平均速度',
avg_nostop_speed DOUBLE COMMENT '道路平均不等待红绿灯速度',
eff_index DOUBLE COMMENT '通行效率指数',
free_len BIGINT COMMENT '畅通状态里程,米',
normal_len BIGINT COMMENT '一般状态里程,米',
block_len BIGINT COMMENT '较堵状态里程,米',
jam_len BIGINT COMMENT '拥堵状态里程,米',
cong_ratio DOUBLE COMMENT '较堵和拥堵占比'
)
COMMENT '道路实时指数(通行效率指数)-每2分钟时间片-实时更新'
PARTITIONED BY (
dt STRING COMMENT '当天日期yyyyMMdd',
tp STRING COMMENT '时间分片取值',
data_version STRING COMMENT '数据版本',
adcode STRING COMMENT '城市编码'
)
LIFECYCLE 366;
CREATE TABLE IF NOT EXISTS ${dws_tfc_state_droad_tp_index_rt} (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
`stat_time` varchar(20) NOT NULL DEFAULT '' COMMENT '指标时间 yyyyMMddHHmm00',
`droad_id` varchar(128) NOT NULL DEFAULT '' COMMENT '道路id',
`droad_name` varchar(128) NOT NULL DEFAULT '' COMMENT '道路名称',
`step_index` bigint(11) NOT NULL COMMENT '时间片序号',
`avg_speed` double NOT NULL DEFAULT '0' COMMENT '道路平均速度',
`avg_nostop_speed` double NOT NULL DEFAULT '0' COMMENT '道路平均不等待红绿灯速度',
`eff_index` double NOT NULL DEFAULT '0' COMMENT '通行效率指数',
`free_len` bigint(20) NOT NULL COMMENT '畅通状态里程,米',
`normal_len` bigint(20) NOT NULL COMMENT '一般状态里程,米',
`block_len` bigint(20) NOT NULL COMMENT '较堵状态里程,米',
`jam_len` bigint(20) NOT NULL COMMENT '拥堵状态里程,米',
`cong_ratio` double NOT NULL COMMENT '较堵和拥堵占比',
`dt` varchar(10) NOT NULL DEFAULT '00000000' COMMENT '当天日期yyyyMMdd',
`tp` varchar(10) NOT NULL DEFAULT '2mi' COMMENT '时间分片取值',
`data_version` varchar(20) NOT NULL COMMENT '数据版本',
`adcode` varchar(20) NOT NULL COMMENT '城市编码',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_droad_time` (`dt`, `tp`, `droad_id`, `step_index`, `data_version`),
KEY `idx_date_droad_name` (`dt`, `tp`, `droad_id`)
) ENGINE = InnoDB AUTO_INCREMENT = 137256911 CHARSET = utf8 COMMENT '道路实时指数(通行效率指数)-每2分钟时间片-实时更新';
{
"schema":[
{
"fieldName":"stat_time",
"isNull":false,
"comment":"指标时间 yyyyMMddHHmm00",
"fieldType":"STRING"
},
{
"fieldName":"droad_id",
"isNull":false,
"comment":"道路id",
"fieldType":"STRING"
},
{
"fieldName":"droad_name",
"isNull":false,
"comment":"道路名称",
"fieldType":"STRING"
},
{
"fieldName":"step_index",
"isNull":false,
"comment":"时间片序号",
"fieldType":"BIGINT"
},
{
"fieldName":"avg_speed",
"isNull":false,
"comment":"道路平均速度",
"fieldType":"DOUBLE"
},
{
"fieldName":"avg_nostop_speed",
"isNull":false,
"comment":"道路平均不等待红绿灯速度",
"fieldType":"DOUBLE"
},
{
"fieldName":"eff_index",
"isNull":false,
"comment":"通行效率指数",
"fieldType":"DOUBLE"
},
{
"fieldName":"free_len",
"isNull":false,
"comment":"畅通状态里程,米",
"fieldType":"BIGINT"
},
{
"fieldName":"normal_len",
"isNull":false,
"comment":"一般状态里程,米",
"fieldType":"BIGINT"
},
{
"fieldName":"block_len",
"isNull":false,
"comment":"较堵状态里程,米",
"fieldType":"BIGINT"
},
{
"fieldName":"jam_len",
"isNull":false,
"comment":"拥堵状态里程,米",
"fieldType":"BIGINT"
},
{
"fieldName":"cong_ratio",
"isNull":false,
"comment":"较堵和拥堵占比",
"fieldType":"DOUBLE"
},
{
"fieldName":"dt",
"isNull":false,
"comment":"当天日期yyyyMMdd",
"fieldType":"STRING"
},
{
"fieldName":"tp",
"isNull":false,
"comment":"时间分片取值",
"fieldType":"STRING"
},
{
"fieldName":"data_version",
"isNull":false,
"comment":"数据版本",
"fieldType":"STRING"
},
{
"fieldName":"adcode",
"isNull":false,
"comment":"城市编码",
"fieldType":"STRING"
}
],
"recordType":"TUPLE",
"shardsCnt":2,
"topic":"${dws_tfc_state_droad_tp_index_rt}",
"desc":"道路实时指数(通行效率指数)-每2分钟时间片-实时更新"
}
{
"tableMeta": {
"tableName": "${dwd_tfc_bas_rdnet_drdchl_info}",
"modelTableName": "dwd_tfc_bas_rdnet_drdchl_info",
"tableComment": "带方向通道基本信息,主干道、快速路、高架等全部算在drdchl里面",
"tableEnv": "客户环境",
"pkColumns": [
{
"name": "data_version",
"type": "STRING",
"comment": "rid数据版本%%"
},
{
"name": "rdchl_id",
"type": "STRING",
"comment": "用于标记同一个通道%%"
},
{
"name": "drdchl_id",
"type": "STRING",
"comment": "通道ID,当用大脑数据程序生成时可用第一个路口的Inter_id和最后一个路口的inter_id通过#拼接起来%%"
}
],
"normalColumns": [
{
"name": "name",
"type": "STRING",
"comment": "通道名称%%"
},
{
"name": "lane_cnt",
"type": "INTEGER",
"comment": "通道车道数%%"
},
{
"name": "start_inter_id",
"type": "STRING",
"comment": "起始路口id%%"
},
{
"name": "start_lng",
"type": "DOUBLE",
"comment": "起始路口经度%%"
},
{
"name": "start_lat",
"type": "DOUBLE",
"comment": "起始路口纬度%%"
},
{
"name": "start_geohash",
"type": "STRING",
"comment": "起始路口geohash%%"
},
{
"name": "end_inter_id",
"type": "STRING",
"comment": "结束路口id%%"
},
{
"name": "end_lng",
"type": "DOUBLE",
"comment": "结束路口经度%%"
},
{
"name": "end_lat",
"type": "DOUBLE",
"comment": "结束路口纬度%%"
},
{
"name": "end_geohash",
"type": "STRING",
"comment": "结束路口geohash%%"
},
{
"name": "rdseg_cnt",
"type": "INTEGER",
"comment": "路段个数%%"
},
{
"name": "len",
"type": "INTEGER",
"comment": "通道长度%%"
},
{
"name": "rid_seq",
"type": "STRING",
"comment": "通道上按顺序排列的rid序列,rid之间用逗号分隔%%"
},
{
"name": "lnglat_seq",
"type": "STRING",
"comment": "通道上按顺序排列的经纬度串序列,经度和纬度之间用逗号分隔,经纬度坐标之间用分号分隔%%"
},
{
"name": "inter_id_seq",
"type": "STRING",
"comment": "通道上按顺序排列的inter_id序列,inter_id之间用逗号分隔%%"
},
{
"name": "inter_name_seq",
"type": "STRING",
"comment": "通道上按顺序排列的inter_name序列,inter_name之间用逗号分隔%%"
},
{
"name": "inter_coor_seq",
"type": "STRING",
"comment": "通道上路口经纬度坐标%%"
},
{
"name": "extend_json",
"type": "STRING",
"comment": "暂时设为空,根据前端展示需要填充%%"
},
{
"name": "road_type_no",
"type": "INTEGER",
"comment": "通道类型 1 表示 主干道 2 快速路 3 高架 4 普通地面道路%%"
},
{
"name": "road_dir_no",
"type": "INTEGER",
"comment": "通道道路方向类型编码 1: 东西方向 2:南北方向 3:环形 %%"
},
{
"name": "travel_dir_no",
"type": "INTEGER",
"comment": "通道通行方向编码 1: 正向默认西向东,北向南,环形顺时针 2:反向 默认东向西,南向北,环形逆时针 具体哪个方向是正向由客户定义%%"
},
{
"name": "is_valid",
"type": "INTEGER",
"comment": "是否有效,1表示有效,0表示已删除"
},
{
"name": "dt",
"type": "STRING",
"comment": "日期%%"
},
{
"name": "adcode",
"type": "STRING",
"comment": "城市编码"
}
]
},
"tableOptions": {
"timeToLive": -1,
"maxVersion": 3
},
"reservedThroughtput": {
"read": 0,
"write": 0
}
}
仅模型设计者可执行编辑操作。
如下图所示,点击右侧操作栏的编辑按钮,进入模型的编辑表界面。
修改相关参数后,点击保存即可。其中表名称和表描述不支持修改。
仅模型设计者可执行上线操作。
模型上线分为以下两种情况:
如下图所示,点击表模型右侧操作栏的上线按钮,或勾选一个或多个表模型,通过界面下方的批量上线按钮,将选中表模型发布到线上环境。
仅模型设计者可执行转交操作。
模型设计者可以将自己创建的模型转交给其他模型设计者,转交完成后,模型设计者更改为被转交的模型设计者。转交时线上环境中同名的模型设计者也会一并更改。
具体操作如下:
仅模型设计者可执行删除操作。
如下图所示,点击右侧操作栏的删除按钮,删除已建表模型。
在文档使用中是否遇到以下问题
更多建议
匿名提交