进入数据质量概览（新版）
质量问题表数 当日质量检测实例运行完成并出现非「通过」状态的表数，包含质量阈值校验不通过及系统校验异常情况。已检测表数：当日存在质量检测实例且实例运行已完成的表数量。运行完成包含质量校验通过、校验不通过和系统校验异常状态。...
使用日志服务收集Presto作业日志
背景信息 由于EMR on ACK使用虚拟容器运行作业，作业运行完成后，相关的容器会被销毁以释放集群资源。对于弹性伸缩或分时调度，相关的容器资源也会被销毁。因此，当EMR on ACK上的作业或者服务运行有异常时，如果容器运行时的日志没有被...
编辑作业
本文介绍如何通过OpenAPI的方式创建作业、运行作业以及查看结果。前提条件 已创建集群，详情请参见 创建集群。已获取集群ID，详情请参见 查看集群列表与详情。已创建AccessKey，详情请参见 获取AccessKey。已获取相应的SDK，Java SDK请参见...
Apache Log4j 0Day安全漏洞公告说明
近日，阿里云计算有限公司发现阿帕奇Log4j2组件存在远程代码执行漏洞，并将漏洞情况告知阿帕奇软件基金会。本文为您介绍该漏洞的影响范围及相应的客户侧和云服务侧的安全建议。影响范围 更多有关漏洞的详细信息，请参见【漏洞通告】Apache ...
作业智能诊断
运行 Checkpoint检查 作业当前状态虽正常，但检测到由于产品老版本存在Checkpoint异常的稳定性隐患。作业当前状态虽正常，但检测到Checkpoint已长时间未做成功。停止速度分析 作业当前状态虽正常，但检测到由于产品老版本存在停止作业慢的...
Spark常见问题
作业报错 运行Spark作业时，报错User signature dose not match，如何解决？运行Spark作业时，报错You have NO privilege，如何解决？运行Spark作业时，报错Access Denied，如何解决？运行Spark作业时，报错No space left on device，如何...
RerunJobs-重新运行脚本作业
调用RerunJobs重新运行一个或多个作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
统计信息
自动采样默认采样4194304（2^22）行，以降低对系统造成的负担并尽快完成收集作业。如果希望采样更多的行以获得更准确的数据分布信息，可通过调整参数 huge_table_default_sample_rows 增大采样行数。此外，对于数据量大于（huge_table_...
创建Serverless集群
作业运行完成后，ECI实例会停止计费并自动释放。使用Serverless集群，您无需提前规划容量，也无需管理底层服务器，只需提供打包好的容器镜像，即可使用ECI实例来运行作业。说明 弹性容器实例（简称ECI）是阿里云结合容器和Serverless技术为...
ListJobs-查询作业列表
finished Rerunable string 否 是否支持重新运行作业。取值范围：true：支持。false：不支持。默认值：false。false PageNumber integer 否 当前页码。起始值：1。默认值：1。1 PageSize integer 否 分页查询时设置的每页行数。最大值：50...
生命周期策略
在停止产品形态或引擎版本服务之前，我们愿意帮助您一起评估作业运行风险并商讨解决方案。相关文档 Flink产品的平台侧和引擎侧每个版本的变更点及相关文档，请参见 功能发布记录。如果您需要了解企业级状态后端存储GeminiStateBackend，...
操作流程
流程图 流程说明 操作 说明 配置逻辑表质量规则 引用标准自动生成质量规则 通过设置质量规则并运行质量检测计划或者场景画布中引用配置规则的物理表后，您可以查看质量检查结果，方便用户掌握当前物理表的质量状况。具体操作，请参见 设置...
查看物理表质量检查任务
前提条件 质量检测计划已完成运行，具体操作，请参见 新建并启用物理表质量检查计划。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 质量评估。在左侧导航栏，...
查看物理表质量检查任务
前提条件 质量检测计划已完成运行，具体操作，请参见 新建并启用物理表质量检查计划。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 质量评估。在左侧导航栏，选择 ...
在DataWorks运维中心查看作业运行信息
当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等操作。本文为您介绍如何通过DataWorks运维中心查看MaxCompute作业的运行信息。周期作业 查看周期作业运行信息请参见 查看...
同城高可用
当未开启跨可用区时，仅支持创建并使用单可用区CU类型的项目空间，单可用区故障后，作业将无法正常运行。开启跨可用区后，支持根据需要创建两种CU类型的项目空间；当使用跨可用区CU类型的项目空间时，当主可用区出现故障时，作业将在您选择...
计算成本优化
计算公式为：作业延迟=作业实际运行完成时间预测值-评估时间点 第一批作业：30min 第二批作业：0min 资源配置优化方案相关术语：术语 术语说明 上述示例中的取值 产出目标 希望资源配置优化后作业完成运行的时间点，默认为评估时间点，您也...
SparkSQL自适应执行
SparkSQL自适应框架可以根据预先的配置在作业运行过程中自动检测是否出现倾斜，并对检测到的倾斜进行优化处理。优化的主要逻辑是对倾斜的partition进行拆分由多个task来进行处理，最后通过UNION进行结果合并。支持的JOIN类型如下。JOIN类型...
产品架构
您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并管理作业生命周期（比如停止已提交的作业，释放已完成的作业等）。运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制，可以...
查看作业结果
本文介绍作业运行完成后如何查看作业性能指标和作业运行结果。前提条件 已创建作业并且作业已运行完成，具体操作，请参见 创建作业。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能...
功能发布记录
2022-6-16 客户端功能概述 监控作业 新增 支持查看作业监控数据，包括运行、提交、排队和完成作业数。2022-06-07 监控作业 2022年5月 功能名称 变更类型 功能描述 发布时间 相关文档 创建集群 优化 为加快集群创建速度，使用控制台向导创建...
HTTP触发器节点
业务流程创建完成并正常运行后，若您想重跑触发器节点，则需重新运行该节点并同时在外部调度系统中下发触发指令。重新运行HTTP触发器节点不会触发已处于运行成功状态的下游节点运行。业务流程创建完成正常运行后，如果您想获取触发器节点的...
错误码
E50 Docker镜像拉取失败 在运行 build-enclave 子命令时Enclave CLI尝试拉取-docker-uri 参数指定的Docker镜像出错，请更新docker到社区版再重新运行命令，若仍出现此错误码则请检查-docker-uri参数是否有效。具体操作，请参见 部署并使用...
配置作业日志输出
除直接在Flink控制台作业探查页面查看作业日志外，您还可以将作业日志配置输出至外部存储（OSS、SLS或Kafka）后进行查看。本文为您介绍如何配置作业日志输出，配置后您可以在对应存储中查看作业日志。注意事项 配置日志到其他存储后，如果...
如何检查云备份客户端运行状态
若客户端仍然没有正常运行，您可以卸载客户端并重新安装。具体操作，请参见 如何卸载云备份客户端 和 下载并激活Windows客户端。如何查看备份客户端日志，请参见 如何查看云备份客户端默认安装路径和日志。查看Linux系统客户端运行状态 ...
使用成本优化功能实现降本增效
典型场景二：包年包月计算资源不足，作业完成时间不达预期 某公司在数仓建设初期购买了预留60CU的包年包月计算资源供作业使用，每天有520个作业固定运行在这些资源上，其中有一批较为重要的作业通常在凌晨五点陆续发起，业务侧希望在上午八...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业...对于提交作业数和完成作业数，统计的是作业提交时间和作业完成时间在5分钟窗口期内的作业数总和。对于运行作业数和排队作业数，统计的是5分钟窗口期内最终状态为运行中或排队中的作业数。
SQL作业开发
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。可选：单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果，...
Session集群管理概述
Session集群是一个适用于Flink任务快速启停...失败 系统进行Session集群初始化失败，或Session集群运行中无法检测到Session集群健康状态，以及停用集群时无法正常停止集群上运行的作业时，将被视为失败。具体原因，您可以单击 查看具体详情。
运维中心入门
步骤三：周期任务补历史数据 周期任务开发完成并提交发布后，会按照调度配置定时运行。如果您希望重新计算历史时间段内的数据，则可通过补数据功能实现。进入补数据。您可通过如下两种方式进入补数据页面。方式一：在周期任务列表，单击...
安全概览
容器服务ACK提供安全概览功能，支持对节点、容器镜像、容器运行时、工作负载配置进行风险识别及安全加固，可以帮助您提升云上资源和业务应用的安全治理效率。本文介绍如何使用容器服务ACK的安全概览功能。使用说明 安全概览功能仅支持ACK...
安全概览
容器服务ACK提供安全概览功能，支持对节点、容器镜像、容器运行时、工作负载配置进行风险识别及安全加固，可以帮助您提升云上资源和业务应用的安全治理效率。本文介绍如何使用容器服务ACK的安全概览功能。使用说明 安全概览功能仅支持ACK...
引擎运维
您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。使用限制 DataWorks目前仅支持对E-MapReduce计算引擎进行运维，并且您需要...
管理运行任务
已完成：运行任务成功完成。已终止：运行任务被用户主动停止。失败：运行任务发生错误。作业列表 运行任务按照应用定义，解析生成的不同计算作业，每个作业属于一个分析步骤，并提供具体的执行信息。输入 用户提交运行任务时，使用的所有...
任务类型
['count1','count2'],'count1':['merge'],'count2':['merge']} job_desc.DAG=task_dag 整个作业的任务执行顺序是：split 运行完成后，count1 和 count2 同时开始运行，count1 和 count2 都完成后，merge 才开始运行。merge 运行完成，整个...
JAR作业开发
作业开发 说明 JAR作业需要您在线下完成开发，再在Flink全托管控制台上部署并运行。开发参考 Apache Flink简介，以及它的体系架构、应用程序和特性功能等，请参见 Apache Flink介绍。Apache Flink V1.17业务代码开发，请参见 Flink ...
管理工作流实例和节点实例
重新运行：重新运行该节点。支持选择 为后续节点执行相同操作，重新运行后续所有节点。置成功：将失败的节点状态置为成功以跳过该节点。支持选择 为后续节点执行相同操作，后续所有节点均置为成功。终止运行：您可以终止运行中的节点实例。...
查询作业
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
新建层级维度逻辑表
您可根据未通过的 检查结果，检查配置信息并完成配置。检查结果全部通过后，填写提交备注，并单击 确定并提交。系统将再次对 计算逻辑、参数配置检查、权限校验、变更兼容检查、调度依赖检查 和 操作执行 进行校验。校验流程完成后，即可...
新建层级维度逻辑表
您可根据未通过的 检查结果，检查配置信息并完成配置。检查结果全部通过后，填写提交备注，并单击 确定并提交。系统将再次对 计算逻辑、参数配置检查、权限校验、变更兼容检查、调度依赖检查 和 操作执行 进行校验。校验流程完成后，即可...
- 产品推荐
- 这些文档可能帮助您