CSV数据文件格式
空白字段 非必需列（如用户定义的属性）允许使用空白字段。空白字段仍需要逗号分隔符。顶点ID 每个顶点文件中所有顶点的~id 值都必须是唯一的。id 值相同的多个顶点行适用于图形中的单个顶点。边ID 每个边文件中所有边的~id 值都必须是唯一...
结构设计
校验某些字段是否存在 保存编辑，校验字段 新增字段，禁止字段名为关键字 新增字段，字段必须填写备注 新增字段，限制字段名大小写 原有表新增非空字段必须明确指定默认值 原有字段，可空改为非空必须明确指定默认值 限制新增主键字段必须...
CTR预估模型
行为数据bhv_type字段非空 最近一天搜索uv大于1000（按搜索请求的user_id统计）最近一天90%以上的行为数据rn字段非空 最近一天90%以上的行为数据item_id字段非空 最近一天90%以上的行为数据bhv_time字段非空 最近一天90%以上的行为数据item...
批量创建质量规则
完整性：包括 字段空值校验 和 字段空字符串校验。唯一性：包含 字段唯一性校验、字段分组个数校验 和 字段重复值个数校验。及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、...
批量创建质量规则
完整性：包括 字段空值校验 和 字段空字符串校验。唯一性：包含 字段唯一性校验、字段分组个数校验 和 字段重复值个数校验。及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、...
人脸特征算法上云
ts校验：assert(Math.abs(currentTime-${ts}))字段名 类型 非空 说明 sign String 是 签名 appKey String 是 IoT颁发的appKey，用于验证签名 ts Long 是 时间戳，毫秒 requestId String 是 请求ID，回填给响应。params Array|Object 请求...
表属性管理
列为非空时允许设置为空，列为空时不允许设置为非空。如果表中无自增字段，增加一个自增列，仅支持新建列为设置为自增列。缺省值和自增互斥，仅允许设置其中一项；仅支持修改未勾选虚拟列的列缺省值，缺省值一经设置无法取消。已设置的虚拟...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
字段提取模式
fill-auto 当新值非空，且目标字段不存在或者值为空时，设置目标字段。add 当目标字段不存在时，设置目标字段。add-auto 当新值非空，且目标字段不存在时，设置目标字段。overwrite 总是设置目标字段。overwrite-auto 当新值非空，设置目标...
新建离线物理表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建物理表 对话框。在 新建物理表 对话框中，配置参数。...
新建离线物理表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建物理表 对话框。在 新建物理表 对话框中，配置参数。...
创建及管理内部表
可空 字段可以为空值。数组 有序的元素序列。描述 字段的相关描述。操作 包括 删除、上移 和 下移。属性 存储模式 包括 列存 和 行存 两种存储模式。默认为 列存。生命周期 如果数据在指定时间内未被修改，则系统将自动删除数据。默认生命...
创建及管理内部表
可空 字段可以为空值。数组 有序的元素序列。描述 字段的相关描述。操作 包括 删除、上移 和 下移。属性 存储模式 包括 列存 和 行存 两种存储模式。默认为 列存。生命周期 如果数据在指定时间内未被修改，则系统将自动删除数据。默认生命...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 请参见 规范建模入口，进入规范建模页面。按照下图操作指引，进入 ...
新建事实逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务活动对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建事实逻辑表 在Dataphin首页，单击顶部菜单栏 研发，默认进入数据开发页面。按照...
新建事实逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务活动对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建事实逻辑表 在Dataphin首页，单击顶部菜单栏 研发，默认进入数据开发页面。按照...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 在Dataphin首页，单击顶部菜单栏的 研发。默认进入 开发 页面。按照...
表
可空 字段是否可以设置为空。数组 有序的元素序列。描述 字段的描述信息。操作 包括 删除、上移 和 下移。属性 存储模式 包括 列存、行存 和 行列共存 三种存储模式。默认为 列存。表数据生命周期（秒）数据第一次写入的时间开始计算，当...
新建表
非空 是否限制该字段（列）的值不能为空。自增（MySQL 模式下）选择是否为自增列。重要 每个表仅允许设置一个自增字段（列）。当一个字段（列）设置为自增后，其余字段（列）不可勾选，需取消勾选后，才可设置其它字段（列）为自增字段（列...
查看数据探查报告及探查记录
若该字段为 主键（或不可为空值的字段）且是 文本型，探查结果存在Null值记录数和空字符串记录数，建议您为该字段配置 字段空值校验 或 字段空字符串校验 的质量监控规则，避免阻断下游业务正常使用。唯一值统计 为您统计该字段的唯一值...
查看数据探查报告及探查记录
若该字段为 主键（或不可为空值的字段）且是 文本型，探查结果存在Null值记录数和空字符串记录数，建议您为该字段配置 字段空值校验 或 字段空字符串校验 的质量监控规则，避免阻断下游业务正常使用。唯一值统计 为您统计该字段的唯一值...
字段标准
非空 引用该标准的字段值是否可以为空。默认为空。默认 值 引用该标准的字段值未填写时的默认值。最大长度不可超过2048个字符。业务定义 对业务的定义描述，最大长度不可超过2048个字符。所属路径 标准所属的目录，您可从已创建的目录、子...
新建和管理公共标准属性
当选择 是否可为空字符串 属性时，用于对单字段是否是空字符进行校验，如果该属性值配置为 是，则自动创建一条 字段空字符串校验 的质量监控规则，需手动配置校验规则；如果属性值为 否，则校验规则自动填充为 异常行数。说明 是否可为空值...
新建和管理公共标准属性
当选择 是否可为空字符串 属性时，用于对单字段是否是空字符进行校验，如果该属性值配置为 是，则自动创建一条 字段空字符串校验 的质量监控规则，需手动配置校验规则；如果属性值为 否，则校验规则自动填充为 异常行数。说明 是否可为空值...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
配置条件级联
使用限制 条件级联配置支持同源配置和非同源配置：级联配置项 支持的筛选类型 同源级联配置 下拉列表且来源于 单个数据集 树形下拉 日期选择且来源于 数据集字段 非同源级联配置 下拉列表且来源于 单个数据集 日期选择且来源于 数据集字段 ...
搜索增强
否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；要求数据源字段类型为id、question、answer、sim_question、url；否 支持解析的文件格式.pdf/.docx/.txt/.md/.html；解析字段为默认字段，固定全选...
多轮对话搜索
否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；要求数据源字段类型为id、question、answer、sim_question、url；否 支持解析的文件格式.pdf/.docx/.txt/.md/.html；解析字段为默认字段，固定全选...
one-hot编码
当 inputModelTable 非空时，其对应的表应该为非空的模型表。编码字段列中，离散值个数可以支持至千万量级。当训练的模型作为下次编码使用的模型时，由于 dropLast、ignoreNull 和 reserveCols 编码参数的效果已封装到模型中，无法进行调整...
文本向量场景快速入门
向量索引 OpenSearch会对主键与向量字段自动构建索引，索引名与字段名相同，只需要在控制台配置向量索引：说明 主键字段、向量字段必须填写，命名空间字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。命名空间字段：实例引擎...
通用版快速入门
OpenSearch会对主键与向量字段自动构建索引，索引名与字段名相同，只需要在控制台配置向量索引：高级配置，向量索引需要单独配置参数，详情可参考 向量索引通用配置 说明 主键字段、向量字段必须填写，命名空间字段非必填，可以为空。...
图搜场景快速入门
OpenSearch会对主键与向量字段自动构建索引，索引名与字段名相同，只需要在控制台配置向量索引：高级配置，向量索引需要单独配置参数，详情可参考 向量索引通用配置 说明 主键字段、向量字段必须填写，命名空间字段非必填，可以为空。...
向量索引最佳实践
为向量字段添加包含字段：说明 主键字段、向量字段必须填写，标签字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。3.2.高级配置，向量索引需要单独配置参数，可以参考如下配置，详情可参考 向量索引：更多参数：其中build_...
单节点快速入门
OpenSearch会对主键与向量字段自动构建索引，索引名与字段名相同，只需要在控制台配置向量索引：高级配置，向量索引需要单独配置参数，详情可参考 向量索引通用配置 说明 主键字段、向量字段必须填写，命名空间字段非必填，可以为空。...
文本向量场景快速入门
为向量字段添加包含字段：说明 主键字段、向量字段必须填写，标签字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。3.2.高级配置，向量索引需要单独配置参数，可以参考如下配置，详情可参考 向量索引：更多参数：其中build_...
API 数据源
多值分隔符默认使用ha3分割符^]进行切分（其对应utf编码为\x1D），也可以输入自定义多值分隔符 索引结构配置，配置完成后，点击下一步：此处主要针对向量索引进行配置：主键字段、向量字段必须填写，命名空间字段非必填，可以为空。...
索引结构
为向量字段添加包含字段：说明 主键字段、向量字段必须填写，标签字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。4.2.高级配置，向量索引需要单独配置参数，可以参考如下配置，详情可参考 向量索引：更多参数：其中build_...
图搜场景快速入门
为向量字段添加包含字段：说明 主键字段、向量字段必须填写，标签字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。3.2.高级配置，向量索引需要单独配置参数，可以参考如下配置，详情可参考 向量索引：更多参数：其中build_...
通用版快速入门
为向量字段添加包含字段：重要 主键字段、向量字段必须填写，标签字段非必填，可以为空。仅支持选择固定的三个字段，不支持新增。3.2.高级配置，向量索引需要单独配置参数，可以参考如下配置，详情可参考 向量索引：更多参数：其中build_...
- 产品推荐
- 这些文档可能帮助您