数据开发

更新时间:2025-02-10 01:45:48

本文为您介绍数据开发的相关问题。

在配置维度逻辑表的调度参数时,无法添加上游依赖节点?

请您从以下两方面排查:

  • 上游节点的名称是否规范。上游节点的输出名称的命名规范为项目名.数据表名

  • 上游节点是否已提交。系统仅支持添加已提交状态的节点作为上游依赖节点。

如果以上两种情况均已排查,依然无法添加上游依赖节点,则请您提交工单

维度已提交,但事实逻辑表无法以该维度逻辑表作为关联维度

事实逻辑表成功关联维度包括以下两个条件:

  • 系统仅支持普通维度和普通(层级)维度自动生成维度逻辑表。

  • 维度逻辑表处于已提交的状态。

查询数据表报错

您通过以下两种方式,查询数据表:

  • 如果您需要查询逻辑表,则执行以下命令。

    SELECT * FROM LD_newretail.dws_xnwd_03 WHERE ds='${bizdate}';

    其中:

    • dws_xnwd_03为逻辑表。

    • LD_newretail为业务板块的英文名称。

  • 如果您需要查询物理表,则执行以下命令。

    SELECT * FROM beijing_ast.ads_perform_taok_all_goods_day WHERE ds='${bizdate}';

    其中:

    • ads_perform_taok_all_goods_day为物理表。

    • beijing_ast为项目的英文名称。

发布维度逻辑表报错

维度逻辑表和维度需要同时发布。

代码任务中的变量如何编写?

目前,代码任务中引用变量的格式如下:

  • 如果您的开发模式为Dev-Prod,且代码任务需要发布到Prod项目,则变量的引用格式为:${Prod项目英文名}.物理表${Prod业务板块英文名}.逻辑表

  • 如果您的开发模式为Dev-Prod,并且通过即席查询编写任务,则变量引用的格式包括以下两种情况:

    • 如果引用Prod项目中的表,则变量的引用格式为:${Prod业务板块英文名}.逻辑表${Prod项目英文名}.物理表

    • 如果引用Dev项目中的表,则变量的引用格式为:${Dev业务板块英文名}.逻辑表${Dev项目英文名}.物理表

  • 如果您的开发模式为Basic,并且通过即席查询编写任务,则变量引用的格式为:${Basic项目英文名}.物理表${Basic业务板块英文名}.逻辑表

添加事实逻辑表的事实属性时,能引用已有事实逻辑表的属性吗?

目前,不支持。

Dataphin是否支持通过执行一条SQL语句,能够清空一张数据表的多个分区?

不支持。您可以通过执行删除分区的命令(alter table table_name drop [IF EXISTS] PARTITION partition_space;),将分区逐个删除。如果需要删除大量的分区,建议重新建表。

Dataphin是否支持在已生成的派生指标中添加统计粒度?

不支持。您需要重新构建派生指标,详情请参见创建派生指标

系统是否支持维度逻辑表作为事实逻辑表的来源表?

不支持。事实逻辑表的来源主表为物理表。

衍生原子指标可以写where表达式,对数据进行过滤吗?

不可以,衍生原子指标的表达式就是分子分母这样的方式。

错误信息

错误原因

解决方案

错误信息

错误原因

解决方案

DPN.Bbox.Any

系统内部错误。

请提交工单

DPN.Bbox.MetaCenterServiceError

元数据服务不可用。

DPN.Bbox.ModelNotFound

根据模型ID查询不到对应的模型。

DPN.Bbox.ServerError

系统内部错误。

DPN.Commons.InternalError

系统内部错误。

DPN.Os.InternalError

DPN.Os.InternalError

DPN.TaskScheduler.Api.AccessTokenNotFound

系统内部错误。

DPN.TaskScheduler.Global.UncategorizedError

调度系统内部错误。

DPN.TaskScheduler.Util.GsonDeserializeError

使用Gson反序列化时发生错误。

DPN.Bbox.AttributeMissing

原子指标的统计周期标识字段被删除了。导致系统根据统计周期标识字段的ID查询不到对应的逻辑字段。

请重新设置原子指标的统计周期标识字段,请参见创建原子指标

DPN.Bbox.CatalogNotFound

业务板块的公用英文名或项目的公用英文名错误。

检查SQL代码中的业务板块或项目的公用英文名,是否拼写错误。项目公用英文名的占位符为${项目公用英文名},业务板块公用英文名的占位符为${业务板块公用英文名}

DPN.Bbox.DimensionNotFound

系统根据维度ID查询不到维度。

请检查维度是否存在:

  • 如果该维度已删除,请修改当前的任务对象并重新提交或发布。

  • 如果该维度已下线,请重新发布或提交该维度。

如果通过上述操作后,仍然无法根据维度ID查询到维度,请提交工单,或联系Dataphin的支持人员协助处理,

同时也欢迎您使用钉钉扫描下面的二维码加入钉钉群进行反馈。

DPN.Bbox.FieldNotFound

系统根据字段名查询不到对应的字段。

请检查对应模型中是否有该字段。

DPN.Bbox.IllegalSql

SQL代码段不合法。

检查错误信息中的SQL片段,在整段SQL中是否合法。Dataphin支持的MaxCompute的语法,请参见常用命令

DPN.Bbox.LogicModelException

逻辑模型的定义违反规则。

根据系统的错误信息提示,修改模型。

DPN.Bbox.MetadataNotFound

根据表名没有查询到对应的元数据。

检查表名是否拼写错误,且检查表是否存在,请参见搜索数据

DPN.Bbox.PublishFail

任务发布失败。

请根据发布记录中的错误信息进行排查。

DPN.Bbox.UnsupportedCatalogVariable

系统自动替换的业务板块或项目的公用英文名错误。

修改SQL中的变量名,使用业务板块或项目公用英文名。项目公用英文名占位符为${项目公用英文名},业务板块公用英文名占位符为${业务板块公用英文名}

DPN.ComputeEngine.ConfigRepeat

创建或编辑的计算源配置与系统内的已有的计算源配置重复。

建议修改计算源配置,请参见计算源

DPN.ComputeEngine.MaxComputeAkNotMatchCurrentTenant

MaxCompute计算源的AccessKey不属于当前Dataphin所在的主账号。

请检查配置的MaxCompute计算源的AccessKey是否正确。

重要

MaxCompute空间和Dataphin实例应属于同一个主账号。

DPN.ComputeEngine.MaxComputeAkQueryMainAccountError

获取MaxCompute计算源的AccessKey主账号异常。

请检查配置的MaxCompute计算源的AccessKey是否正确。

DPN.DataSource.UrlSsrfCheckFailed

不允许访问内部系统。

请检查数据源的URL配置信息。

DPN.Os.CatalogNotFound

未查询到表前的Catalog。

请从以下两方面排查:

  • 检查是否存在该Dataphin项目或业务板块。

  • 检查查询语句中的变量引用格式${项目公用英文名}.物理表${业务板块公用英文名}.逻辑表

DPN.Os.ColumnAmbiguous

SQL代码中的字段存在二义性。

请在字段名前增加所属的表名或修改SQL代码。

DPN.Os.ColumnAuthCheckFailed

没有字段权限。

请申请该字段权限,请参见申请、续期和交还表权限

DPN.Os.ColumnNotFound

未找到字段。

请从以下两方面分析报错原因:

  • 如果提交任务时报错,请检查开发环境的表是否存在。

  • 如果发布任务时报错,请检查生产环境的表是否存在。

DPN.Os.SqlParserFailed

SQL解析失败。

请检查SQL是否有存在语法错误。Dataphin支持的MaxCompute的语法,请参见常用命令

DPN.Project.DisplayNameDuplicated

创建或编辑的项目名称与系统内的项目名称重复。

建议修改项目名称,请参见添加项目成员

DPN.Project.NoPermission

当前成员没有任何一个项目的管理员权限。

请联系超级管理员或其他项目管理员,将该成员添加为某个项目的管理员。

DPN.Project.ParameterError

项目参数错误。

请根据系统返回错误参数进行判断。

DPN.Project.ProjectComputeEngineValidateFailed

创建项目时校验计算源失败。

请从以下两方面分析报错原因:

DPN.Search.GetDocumentError

写入的代码搜索数据时报错。

该报错如果影响任务主流程,则您无需关注。如果影响了任务主流程的运行,则需要排查任务代码。

DPN.Search.GetDocumentError

DPN.Search.GetIndexError

DPN.Search.SaveDocumentError

DPN.Search.SearchDocumentsError

DPN.TaskScheduler.Api.RequestError

发送远程请求时出错。

可能是服务端网络问题,建议重试。如果重试后仍然报错,则需要联系Dataphin的支持人员协助处理。

DPN.TaskScheduler.Client.ApiError

调用调度系统API出错,具体原因请查看错误详情。

请根据错误详情中的错误码寻找对应的解决方案。

DPN.TaskScheduler.Node.IllegalNodeIdFormat

传入的节点ID格式不正确,应该是[n_数字]

请检查节点ID格式后重新发起调用。

如果仍然报错,请提交工单

DPN.TaskScheduler.Node.NodeNotFoundByIdAndTenantId

查询不到节点ID对应的节点。

请检查节点ID是否正确,或节点ID对应的节点是否已删除或下线。

DPN.TaskScheduler.Node.NodeNotFoundByNodeId

DPN.TaskScheduler.Node.NodeNotFoundByOutputName

根据输出名称查询不到对应的节点。

请检查节点输出名是否正确,或检查节点输出名对应的节点是否已删除或下线。

DPN.TaskScheduler.Node.NodeNotFoundByOutputNameAndTenantId

DPN.TaskScheduler.Node.NodeOutputNameEmpty

节点输出名称为空。

请指定节点输出名称。对于SQL任务,建议输出名的格式为[项目名].[表名]

重要

节点输出名称在系统内是唯一的。

DPN.TaskScheduler.Node.NodeOutputNameOccupied

当前节点输出名称被占用。

指定的节点输出名已在其他任务中使用。对于SQL任务,建议输出名的格式为[项目名].[表名]

重要

节点输出名称在系统内是唯一的。

DPN.TaskScheduler.Node.NodeToDeleteContainsDownstreams

删除节点前检测到节点存在下游依赖。

请去除下游节点对当前节点的依赖后重试。

DPN.TaskScheduler.Node.OutputNameToUpdateContainsDownstream

修改节点输出名称时,检测到当前输出名称存在下游依赖。

请去除下游节点对当前节点输出名称的依赖后重试。

DPN.TaskScheduler.Resource.ResourceNotFoundByResourceCode

根据资源名称查询不到对应的资源,可能原因包括无效的资源名称、资源已删除或资源服务不可用。

请确保资源名称对应的资源在当前项目存在,且资源引用的格式正确。资源引用的格式为@resource_reference{"[resourcecode]"};

DPN.TaskScheduler.Task.IllegalTaskIdFormat

传入的Task ID的格式不正确。

请检查Task ID格式是否为[t_数字]后,重新发起调用。

DPN.TaskScheduler.Task.TaskNotFoundByTaskId

根据实例ID查询不到对应的实例,请检查实例是否已删除或传递参数是否正确。

请确认实例存在后再进行操作,如果在页面上的操作,可以尝试刷新页面后再进行操作。实例会被定期删除,

实例保留的策略:

  • 周期实例及其运行日志保留时间为15天。

  • 手动实例和补数据实例及其运行日志为永久保留。

DPN.TaskScheduler.Task.TaskNotFoundByTaskIdAndTenantId

DPN.TaskScheduler.Task.TaskRunning

不支持重跑正在运行中的实例。

请在实例运行结束的情况下重跑实例。系统仅支持重跑状态为成功或失败的实例。

DPN.TaskScheduler.Task.TaskToKillHasFinished

不支持终止非运行状态的任务。

实例已运行完成,不需要终止实例。

DPN.TaskScheduler.Task.TaskToResumeNotPaused

不支持恢复非暂停状态的实例。

当前任务状态未暂停,无需恢复调度。

DPN.TaskScheduler.Tenant.DatasourceNotFoundById

根据数据源ID查询不到对应的数据源,可能数据源已删除。

请检查数据源是否存在,或联系任务负责人检查任务的数据源配置。

DPN.TaskScheduler.Tenant.FetchProjectDatasourceError

获取项目计算源失败,可能Dataphin计算源服务暂时无法访问。

获取项目计算源失败,可能Dataphin计算源服务暂时无法访问,请联系Dataphin支持人员协助处理。

DPN.TaskScheduler.Tenant.FetchTenantDatasourceError

DPN.TaskScheduler.Tenant.InvalidTenantId

当前租户状态不可用,可能到期未续费或未开通Dataphin。

请开通或续费Dataphin,详情请参见开通Dataphin续费

  • 本页导读 (0)
  • 在配置维度逻辑表的调度参数时,无法添加上游依赖节点?
  • 维度已提交,但事实逻辑表无法以该维度逻辑表作为关联维度
  • 查询数据表报错
  • 发布维度逻辑表报错
  • 代码任务中的变量如何编写?
  • 添加事实逻辑表的事实属性时,能引用已有事实逻辑表的属性吗?
  • Dataphin是否支持通过执行一条SQL语句,能够清空一张数据表的多个分区?
  • Dataphin是否支持在已生成的派生指标中添加统计粒度?
  • 系统是否支持维度逻辑表作为事实逻辑表的来源表?
  • 衍生原子指标可以写where表达式,对数据进行过滤吗?