作业运维（新版）
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
2020年
2020-09-10 全部区域 使用Logview 2.0查看作业运行信息 备份与恢复功能商业化发布 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，...
作业智能诊断
全量实时分析Flink作业全生命周期过程中产生的日志、事件、指标以及配置，并依据阿里云技术专家排查Flink作业高频问题的运维经验，提供作业开发态报错日志诊断、运行态健康分及异常态根因诊断。针对诊断结果给出相应的优化和建议，减少您的...
配置自动调优
参数 说明 调优策略 平稳策略：通过应用该策略，系统会寻找适合整个运行周期的固定资源或定时计划，并根据整个周期作业的运行情况来调整作业资源，从而减少启停行为对作业的影响。这样做可以使作业的运行趋于稳定，减少不必要的变动和波动...
DataStream的Timer使用最佳实践
通常，Flink作业是事件驱动计算的，但在一些场景下，Flink作业需要基于处理时间（ProcessingTime）或者事件时间（EventTime）驱动计算和发送数据，这时便需要使用Timer。算子可以注册一个Timer，当时间达到指定的处理时间，或事件时间水印...
迁移方案
进一步确认与处理，完成作业转化。对于SQL作业 类别 处理方案 使用了自定义函数（UDF）或自定义Connector（UDC）根据迁移目标集群的Flink（VVR）引擎版本依赖对应的LIB包和接口，手动重写UDF或UDC并上传至Flink开发控制台。详情请参见 ...
功能与优势
问题分析与诊断 动态修改作业的配置，无需启停即可对日志Level、火焰图是否开启等配置进行在线调整。对于反压、Job异常、TM失联等常见问题提供智能化诊断和快速日志定位分析，给出调优或者修改建议，并连动自动调优能力帮助您定位问题。高...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
运维中心概述
运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为您提供任务操作与状态、引擎、资源等多方位的运维能力。运维中心功能模块 当您在DataStudio中完成节点开发，并提交...
工作原理
场景二：从某个历史时间点开始执行时序预测作业 在指定的时间点创建时序预测作业后，按照作业规则对历史数据进行处理，算法模型会快速消费历史数据，并逐渐追上当前时间。场景三：修改调度配置 修改调度配置后，下一个实例按照新配置生成。...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
公告
中国香港、海外地域 2024年04月15日~2024年04月18日 华东1（金融云）、华东2（金融云）2024年04月22日~2024年04月25日 在服务升级期间可能会影响当前正在运行的PyODPS作业，若您遇到独享资源组PyODPS作业失败问题，或其他任何相关问题需要...
开通实时计算Flink版
修改虚拟交换机 您可以修改虚拟交换机，解决虚拟交换机IP不足带来的作业启动失败的问题。释放资源 您可以单击目标工作空间的 更多>释放资源，释放后该Flink工作空间将不再进行计费，相关的ARMS会同步释放。说明 账单流水数据相对于实际费用...
数据导入常见问题
导入作业长时间没有结束等问题应该如何处理？如何配置以访问高可用(HA)模式下的Apache HDFS集群？如何配置Hadoop ViewFS Federation？访问Kerberos认证的集群时，报错“Can't get Kerberos realm”，该如何处理？INSERT INTO 使用INSERT ...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
视频边缘智能服务的审计事件
视频边缘智能服务已与操作审计服务集成，您可以在操作审计中查询用户操作视频边缘智能服务产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录...
自动化
从应用程序发布周期、客户服务到故障管理以及其他内部支持流程，一切都需要更快，而所有这些流程都依赖于基础设施。基础设施自动化不仅仅是加速基建，也加速了业务应用的部署过程，加速了整个业务转型的启动，进而提升了企业探索和发现机会...
产品生命周期策略与版本
本文为您介绍Hologres的产品生命周期策略及产品终止策略、产品版本号及含义、版本对应关系和产品生命周期重要事件点。背景信息 产品的更新换代是基础技术软件领域的普遍规律。Hologres正在处于快速发展中，新版本带来了更加丰富强大易用的...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
Flag参数列表
ALL 安全与权限 Project odps.forbid.fetch.result.by.bearertoken 设置是否禁止Logview的Result页签显示作业运行结果。该参数主要用于保护数据安全。True：禁止显示作业运行结果。False：允许显示作业运行结果。ALL 安全与权限 Project ...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
SETPROJECT
ALL 安全与权限 Project odps.forbid.fetch.result.by.bearertoken 设置是否禁止Logview的Result页签显示作业运行结果。该参数主要用于保护数据安全。True：禁止显示作业运行结果。False：允许显示作业运行结果。ALL 安全与权限 Project ...
导出开源引擎任务
Conditions节点依赖配置的最外层逻辑关系会使用两个归并节点（Join）来判断是采用Success还是Failure路径处理。说明 Conditions依赖配置的跨周期依赖暂不支持转换。若存在跨周期依赖，则会将其转换为DataWorks的同周期依赖关系。Depend节点...
mPaaS 框架介绍
mPaaS iOS 框架直接接管应用的生命周期，负责整个应用启动托管、应用生命周期管理、处理与分发 UIApplication 的代理事件、统一管理各业务模块（微应用和服务）等。本文将对 mPaaS iOS 框架进行详细的介绍。启动托管 通过程序 main 函数的...
2021年
在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为客户节省了费用的同时提高了作业的运行...
计费常见问题
本文为您介绍MaxCompute计费的常见问题。问题类别 常见问题 计费方式 MaxCompute如何计费？如果按月购买MaxCompute还会额外收取费用吗？购买MaxCompute后未执行操作，是否会产生费用？存储费用 MaxCompute会存储三个副本，如何计费？已删除...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
计费项
处理场景 处理能力 简单的流式压测处理 例如，过滤、清洗等操作。1 CU每秒可以处理40000~55000条数据。复杂的流式压测处理 例如，聚合操作、复杂UDF计算等。1 CU每秒可以处理5000~10000条数据。说明 上述计算能力估值仅限于实时计算内部...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
2020年
新功能 MC-Hologres 是为大数据设计的实时交互式分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议，可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务...
- 产品推荐
- 这些文档可能帮助您