Streaming如何看配置-Streaming如何看配置文档介绍内容-阿里云

离线同步常见问题

读取PostgreSQL数据报错：org.postgresql.util.PSQLException:FATAL:terminating connection due to conflict with recovery 写入/读取MySQL报错：Application was streaming results when the connection failed.Consider raising value ...

FE参数配置

命令结果中的IsMutable列查看是否支持动态配置。如果是修改MasterOnly的配置项，则该命令会直接转发给Master FE并且仅修改Master FE中对应的配置项。通过该方式修改的配置项将在FE进程重启后失效。更多该命令的帮助，可以通过 HELP ADMIN ...

Spark Streaming作业配置

本文介绍如何配置Spark Streaming类型的作业。前提条件已创建好项目，详情请参见项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部...

Spark Streaming消费

日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...

Stream Load

系统默认的最大Stream Load导入数据量为10 GB，所以导入超过10 GB的文件需要修改BE的配置项 streaming_load_max_mb。例如，待导入文件大小约为15 GB（15360 MB），则可以修改BE的配置项 streaming_load_max_mb 大于15 GB即可。curl-...

Streaming SQL作业配置

本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，...

数据源支持概述

[hadoop@emr-header-1~]#streaming-sql-master yarn-client-jars emr-datasources_shaded_2.11-${version}.jar-driver-class-path emr-datasources_shaded_2.11-${version}.jar 工作流方式详情请参见 Streaming SQL作业配置。

Stream Load

由于默认的最大Stream Load导入数据量为 10 GB，所以导入超过10 GB的文件就需要修改BE的配置 streaming_load_max_mb。例如，如果待导入文件大小为15 GB，则需修改BE配置 streaming_load_max_mb 为16000即可。Stream Load的默认超时为300秒...

BE参数配置

如果想持久化修改结果，请用如下命令：curl-X POST http://{be_ip}:{be_http_port}/api/update_config?streaming_load_max_mb=1024\&persist=true配置项列表 alter_tablet_worker_count 默认值：3 说明：进行schema change的线程数。...

直播时移

通过直播时移功能，在直播过程中可以任意回看过去的直播内容，能够让观众在错过精彩内容时进行回放，提供更加全面和深入的直播观看体验。本文介绍配置直播时移的操作步骤。使用限制直播时移最大支持直播观看人数为10万人，如果需要支持更...

UpdateFile

当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数，并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下：true：发布后立即启动。false：发布后暂不启动。该参数与 DataWorks控制台中，...

CreateFile

当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数，并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。该参数与 DataWorks控制台中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑...

RunOptions

ALL mode string 消息数据推送到函数计算时的底层应用模式：event-streaming：事件流模式，按照数组格式推送事件，会根据用户推送配置将一个或多个消息事件以批的形式推送到函数中进行处理，适合端到端的流式数据处理场景。event-driven：...

RunOptions

名称类型描述示例值 object EventBridge 触发器运行环境参数配置 batchWindow BatchWindow 攒批窗口配置。deadLetterQueue DeadLetterQueue 是否启用死信队列。配置该参数即为启用死信队列，默认不启用死信队列，超过重试策略后的消息将...

DeliveryOption

名称类型描述示例值 object 事件推送配置。mode string 注意该参数已废弃。消息数据推送到函数计算时的底层应用模式：event-streaming：事件流模式，按照数组格式推送事件，会根据用户推送配置将一个或多个消息事件以批的形式推送到...

GetFile

当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数，并且参数为JSON格式。FileId Long 100000001 文件的ID。NodeConfiguration Object 文件的调度配置。RerunMode String ALL_ALLOWED 重跑属性。取值如下：ALL_ALLOWED：...

通过OpenAPI创建、修改、删除离线同步任务

当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数，并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下：true：发布后立即启动。false：发布后暂不启动。该参数与 DataWorks控制台中，...

通过OpenAPI创建、修改、删除离线同步任务

当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数，并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下：true：发布后立即启动。false：发布后暂不启动。该参数与 DataWorks控制台中，...

Spark对接DataHub

DataHub核心配置参数重要 Structured Streaming消费DataHub不需要填写参数 subId。主要是因为DataHub的消费offset由Spark管理，不需要DataHub管理，所以不需要提供 subId。参数描述是否必选 access.key.id 创建DataHub的阿里云AccessKey...

创建作业

clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置，仅SPARK_STREAMING类型作业支持监控配置。...

查询作业列表

[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置，仅SPARK_STREAMING类型作业支持...

查询作业信息

支持：SPARK_SQL、SPARK_STREAMING、MR、SQOOP、PIG、FLINK、STREAMING_SQL、IMPALA_SQL、PRESTO_SQL、SPARK、Hive_SQL、Hive、SHELL及SPARK_SHELL。mode String YARN 模型模式。支持：YARN和LOCAL。示例请求示例 http(s):/[Endpoint]/?...

创建数据开发作业

[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置，仅SPARK_STREAMING类型的作业...

作业模板

查询语句块类似 streaming.query.name 等作业参数无法通过SQL表达，因此需要在SQL查询语句前使用SET进行必要的参数配置。合法的查询语句块如下。SET streaming.query.name=${queryName};queryStatement 作业模板-创建数据库。dbName：数据...

基础使用

本文为您介绍E-MapReduce中DeltaLake的配置信息及其常用命令的示例。DeltaLake配置信息 EMR中DeltaLake的默认配置信息如下：Spark 2.X环境 spark.sql.extensions io.delta.sql.DeltaSparkSessionExtension Spark 3.X环境 spark.sql....

DeleteSkillGroupConfig-删除配置

删除配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 JsonStr string ...

DeleteWarningConfig-删除预警配置

删除预警配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 JsonStr ...

UpdateWarningConfig-更新预警配置

更新预警配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 JsonStr ...

DeletePolicyV2-删除策略

变更历史变更时间变更内容概要操作 2024-02-23 API 内部配置变更，不影响调用看变更集变更项变更内容 API 内部配置变更，不影响调用。2024-02-23 API 内部配置变更，不影响调用看变更集变更项变更内容 API 内部配置变更，不影响...

CreateSkillGroupConfig-新建配置

新建配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 JsonStr string ...

CreateWarningConfig-新建预警配置

来新建预警配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 JsonStr ...

UpdateSkillGroupConfig-更新配置

调用UpdateSkillGroupConfig更新配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前API暂无授权信息透出。请求参数名称类型必填 ...

DeleteClient-删除客户端

变更历史变更时间变更内容概要操作 2024-02-23 API 内部配置变更，不影响调用看变更集变更项变更内容 API 内部配置变更，不影响调用。2024-02-23 API 内部配置变更，不影响调用看变更集变更项变更内容 API 内部配置变更，不影响...