通过控制台提交作业
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
2023-04-13版本
支持了作业失败的告警。配置监控告警 支持角色账号登录 支持您使用角色账号登录Flink控制台，不支持对角色账号设置权限，默认使用owner权限。角色授权 支持网络探测能力 支持您通过输入IP或者域名的方式检测Flink作业运行的环境与您的上...
功能发布记录
2022-05-16版本 2022.03.04 提升了日志查看和设置的易用性、优化了作业诊断界面、新增了模板中心等。2022-03-04版本 相关文档 作业引擎版本查看方法，请参见 如何查看当前作业的Flink版本？作业引擎版本升级方法，请参见 作业引擎版本升级...
配置监控报警
DTS为数据同步作业提供了监控报警功能，您可以通过控制台对重要的监控指标设置报警规则，让您第一时间了解同步作业的状态。前提条件 已完成数据同步作业的配置流程，详情请参见 配置数据同步作业。操作步骤 登录 数据传输控制台。在左侧...
认识MaxCompute Studio
连接MaxCompute项目 使用Studio的大部分功能前需要您先连接MaxCompute项目，连接后即可通过Studio进行编辑SQL脚本、提交作业、查看Job信息、打开MaxCompute控制台等。Studio会自动为每一个项目连接建立一个本地的元数据备份，以提高对...
截图
视频截图是指对视频截取指定时间、指定尺寸的图片，用于生产视频封面、雪碧图、播放器进度条缩略图等场景，截图作业支持指定时间点、时间间隔、截图数量、类型以及是否拼图等。您可以通过媒体处理控制台、API或SDK提交截图作业。本文提供了...
Routine Load
job_properties 参数说明 PROPERTIES("key1"="val1","key2"="val2")说明 参数 max_batch_interval、max_batch_rows、max_batch_size，三个参数，用于控制一个子任务的执行时间和处理量。当任意一个达到阈值，则任务结束。参数名称 示例值 ...
查看资源组监控
查看作业的计算资源用量 作业使用统计记录了每个离线作业（包括XIHE BSP作业、Spark作业、湖仓版控制台的数据同步和迁移任务）所使用的计算资源。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，...
作业引擎版本升级
升级流程 步骤一：备份作业状态 您可以在 作业运维 页面，单击目标作业，在作业详情中的 状态集管理 页签查看作业状态集，详情请参见 查看状态生成总览。如果您的作业属于有状态计算，那么在升级版本时，首要考虑的是状态能否复用。升级前...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
计算成本控制
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
注册Hive Kerberos集群
如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，即可访问支持了Kerberos的Hive。使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个...
配置多语言管理
多语言管理用于配置App界面中展示的产品名称和产品的功能名称。当您的产品需要销往国外，您需要配置英文或当地语言的产品名称和功能名称。当您切换App语言时，产品名称和功能名称展示设置的多语言信息。仅自有品牌项目下的产品需要配置App...
告警与打标反馈
前提条件 已创建智能巡检作业。具体操作，请参见 通过消费组拉取指标数据进行智能巡检 或 通过SQL聚合指标数据进行智能巡检。已创建并获取钉钉机器人的Webhook链接。具体操作，请参见 钉钉-自定义。背景信息 创建智能巡检作业后，日志服务...
开通实时计算Flink版
使用实时计算Flink版需要开通工作空间，每个工作空间的计算资源隔离，开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤，以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号，请先完成注册，详情...
查看作业运行历史
本文介绍在 云原生多模数据库 Lindorm 控制台上开通History Server服务和查看历史作业信息的方法。前提条件 已开通 云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见 开通与变配。计费方式 按照Lindorm实例占用资源和时长计费...
SQL作业开发
本文为您介绍Flink全托管SQL作业开发的操作步骤。使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 ...
使用成本优化功能实现降本增效
MaxCompute为您提供成本优化（计算资源优化推荐）功能，可基于实际作业请求量和资源配置期望，对包年包月一级Quota类型的计算资源生成更优的资源配置方案，帮助您进一步优化计算成本。本文通过典型场景案例介绍如何通过成本优化（计算资源...
使用Kafka连接器进行Kerberos认证
只有在Flink开发控制台正确配置Kerberos和Kafka服务的信息，Flink作业才能访问开启Kerberos认证服务的Kafka集群。本文为您介绍如何为Kafka客户端开启Kerberos认证。使用限制 云消息队列Kafka版 暂不支持Kerberos认证。步骤一：准备工作 在...
DLA Spark快速入门
熟悉Spark的开发者都了解SparkPi，...在 作业编辑 页面，单击 创建作业模板，填写以下作业信息：新创建的作业中包含了SparkPi作业的默认配置，在 作业编辑 页面，单击 执行 即可。说明 关于作业提交的详细说明，请参见 创建和执行Spark作业。
从Flink SQL导入
操作步骤 登录Flink全托管控制台，新建作业。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 SQL开发 页面，单击 新建。单击 空白的流作业草稿。Flink全托管为您提供了丰富的SQL代码模板和数据同步...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
管道概述
10 智能生产管道 适用于智能生产作业（如：视频摘要、字幕提取等所有生产作业）系统已为您分配了1个默认的智能生产管道（默认管道在控制台暂不展示、也不支持修改和创建）。通过SubmitIProductionJob接口提交智能生产作业时，如果不传入...
查看历史作业实例日志
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
数据库实时入仓快速入门
此时，如果您希望开发一个数据同步的作业，将这些表和数据都同步到Hologres中，其中user分库分表能合并到Hologres的一张表中，则可以按照以下步骤进行：步骤一：创建Catalog 步骤二：开发数据同步作业 步骤三：启动作业 步骤四：观察全量...
产品简介
云控制API（CloudControl API）是一款面向开发者的资源化API开发者工具。云控制API降低了开发者集成阿里云的学习和维护成本。并能够在云产品新特性发布时，通过简单新增资源属性即可完成新特性集成。产品优势 选择云控制API，您可以轻松...
Table/SQL JAR迁移至SQL
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
基本概念
层次结构 您可以了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。概念说明 基本概念 说明 相关文档 工作空间（Workspace）...
作业启动
完成作业开发和部署后，您需要在作业运维页面启动作业至运行阶段。此外，作业在停止后需要恢复、更新了非动态生效的参数配置需要生效时，也需要启动作业。本文为您介绍如何启动作业。前提条件 已完成作业部署，详情请参见 部署作业。使用...
什么是弹性高性能计算E-HPC
用户管理 节点管理 自动伸缩 提交作业 通过控制台即可提交作业，小型作业脚本可以在控制台直接编辑提交，大型作业可通过OSS上传提交。您也可以直接通过远程SSH命令行的方式访问集群提交作业。作业管理 作业提交 性能分析 通过E-HPC优化器...
自然语言处理2.0的审计事件
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，自然语言处理2.0支持在操作审计中查询的事件如下表所示，部分事件缺少的事件含义后续将逐步完善。事件名称 事件含义 CountUsage 统计调用量。Create 登录产品售卖...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
新增同步对象
重要 本文为旧版控制台的操作流程，若您使用的是新版控制台，操作流程请参见 修改同步对象。前提条件 数据同步作业处于 同步中 或 同步失败 的状态。为保障DTS可以正常连接源和目标库、读取源库的库表信息，在配置数据同步作业时，请勿对源...
准备工作
使用控制台：适合初、中级用户，使用网页可视化界面管理作业和集群，使用控制台需要对批量计算的程序包部署逻辑以及 JSON 格式有一定的了解，参考 控制台快速开始示例。使用SDK：适合高级用户，需要编程基础。官方提供Java 版和 python 版...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
- 产品推荐
- 这些文档可能帮助您