诊断应用卡顿问题
日志不全或质量欠佳 应用日志是排查线上问题的主要方法，但出现问题的位置往往无法预期，而且“慢”通常是偶发现象，要真正找到“慢”的原因，需要在每个可能出现问题的地方打印日志，记录每一次调用，但是成本太高。监控不足 业务发展过快...
分析实例简介
使用场景 随着企业业务发展，精细化实时运营诉求越来越强烈，RDS MySQL用户经常会遇到以下问题：进行复杂分析查询时，经常会出现查询卡顿。只读实例只能分担读压力，无法从根本上解决复杂分析慢的问题。构建实时数仓成本太高，公司留给数据...
迁移操作
因此，Blink迁移至Flink时，需要在 实时计算开发控制台 的 安全中心 添加aliyunstreamdefaultrole RAM角色，否则会出现权限不足的报错，添加角色的操作如下图所示。具体成员添加及角色区别详情请参见 项目空间授权。操作步骤 申请项目Owner...
云消息队列 RocketMQ 版
重要 由于阿里云网络安全策略动态变化，实时计算连接公网服务MQ时可能会出现网络连接问题，推荐您使用内网服务MQ。内网服务无法跨域访问。例如，您所购买的实时计算服务的地域为华东1，但是购买的RocketMQ服务的地域为华东2（上海），则...
查看实时日志
如果Pod出现问题，您可以参考常见的Pod处理方法。具体信息，请参见 如何处理常见的Pod问题？您可以在 实时日志刷新频率区域 选择实时日志的刷新频率，SAE目前支持 5s、10s、15s 及 不刷新。在SLS中查看实时日志 除了登录 SAE控制台 查看...
修改运行作业日志级别
WARN 系统可能会出现的潜在错误信息。ERROR 系统出现错误和异常的信息。使用限制 只支持设置为INFO或DEBUG，不支持设置为其他级别，以避免级别设置太高导致在日志中定位不到原因的问题。支持修改整个JM的日志级别。支持修改单个TM日志级别...
运维中心概述
实时监控的数据会每分钟刷新，并且可以对问题进行配置预警推送条件及预警消息查看。在监控详情页面可以对数据按照区域与时间来快速分类接口返回的状态码。预警记录查看 可以查看所有历史的预警时间、预警内容及上下文。预警规则配置 可以在...
查看运行异常日志
背景信息 类型 详情 Job Manager异常 如果作业出现Failover，导致作业运行失败，则需要查看Job Manager异常。关于如何查看Job Manager异常的详情，请参见 查看Job Manager异常。说明 如果Job Manager都没启动起来，不属于Job Manager异常，...
实时诊断
实时诊断功能适用于在短时间内密切监控应用性能和定位问题原因的场景。本文介绍实时诊断功能的使用方法。背景信息 当您需要密切监控一小段时间内的应用性能时，例如发布应用或者对应用进行压测时，可以使用实时诊断功能。开启实时诊断后，...
动态扩缩容与参数动态更新
背景信息 传统的Flink参数更新方式需要重新启动作业，可能会出现业务中断、数据回追延迟和资源占用高峰等问题，导致作业停止时间变长，影响业务连续性。动态更新参数功能通过REST请求发送至运行中的作业，它允许作业复用现有的JobManager和...
管理自定义函数（UDF）
Flink开发控制台会解析自定义函数文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。注册成功后，您可以在左侧 函数 列表看到所有注册成功的UDF，注册成功的UDF左侧会有黄色字体的fx标识。说明 ...
安全白皮书
这些都会导致作业出现延迟或阻塞，一段时间内无法正常消费数据等问题，恢复正常运行所需的时间会更长。Task快速重启配置可以有效缓解上述问题，详情请参见 Task快速重启配置。操作审计 操作审计（ActionTrail）可以帮助您监控并记录阿里云...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
查看血缘关系
提升故障排查效率 当数据在处理过程中出现问题时，通过血缘关系，您可以追踪到问题的根源，快速定位和解决故障，避免业务损失和高昂的人力成本。提升数据分析效率 当数据资产变更或者出错的情况下快速定位所影响的线上作业，及时进行处理，...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
配置监控告警
创建的告警规则模板会出现在告警规则模板列表中，您可以进行 编辑 或 删除。在ARMS控制台配置 说明 使用RAM用户、RAM角色等身份访问时，需要具有访问应用实时监控服务权限，详情请参见 访问控制概述。登录 实时计算控制台。单击目标工作...
生命周期策略
重要 如果遇到某个小版本出现重大缺陷，会造成用户的重大损失（例如安全问题或数据准确性等），阿里云Flink产品有权对此小版本进行紧急下线操作，并提供保证兼容的新版本给对应用户升级。EOFS 阿里云Flink停止为引擎版本开发新补丁，同时...
诊断服务端报错问题
网页抛错是互联网应用最常见的问题之一，但其错...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用ARMS的告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
提供服务
将应用数据上报至 可观测链路 OpenTelemetry 版 后，...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
作业智能诊断
全量实时分析Flink作业全生命周期过程中产生的日志、事件、指标以及配置，并依据阿里云技术专家排查Flink作业高频问题的运维经验，提供作业开发态报错日志诊断、运行态健康分及异常态根因诊断。针对诊断结果给出相应的优化和建议，减少您的...
启动实时检测与分析
EMR Doctor实时检测按5分钟为粒度对集群的实时状态进行检查，您可以通过实时检测了解集群当前的状态、出现的问题，以及发生问题的原因，并对相关问题进行修复，保证集群运行的稳定性。注意信息 如果未开通EMR Doctor，则会缺失实时检测的...
作业引擎版本升级
注意事项 实时计算Fllink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情请参见 引擎版本号及其含义。切换作业版本时，需注意：小版本升级时State兼容，可使用...
同城高可用
请在开启前，确认已将备可用区的交换机网段 添加到上下游系统白名单 中，避免出现网络访问受限问题。为实现Flink工作空间的同城高可用性，必须确保所选的OSS Bucket为 同城冗余存储 类型。如果该OSS Bucket未配置为 同城冗余存储类型，在...
页面分析无数据
出现上述问题，需要排查页面相关自动化埋点日志是否正常上报。可按照以下步骤进行问题排查：登录移动分析控制台，前往 移动分析>日志管理>配置上传开关>埋点配置 页面，检查日志自动上传开关是否开启（默认开启），如未开启，可打开上传...
2023年
无 缺陷修复 修复带SORT KEY的内存攒批任务执行后可能会出现的查询报错问题。修复Serverless实例读取字符串类型数据可能出错的问题。修复WHERE子句中过滤条件过多可能出错的问题。修复SQL包含like语句时可能出现报错的问题。修复扩缩容等锁...
作业启动
请谨慎启动存在不兼容情况的作业，因为启动后可能会出现启动失败或者运行结果等不符合预期的问题。详情请参见 Flink State兼容性参考。操作步骤 进入作业启动界面。具有owner角色的成员登录Flink开发控制台。在页面顶部，选择目标项目空间...
设置可维护时间窗口
注意事项 如果开启了小版本自动升级，实时数仓Hologres会在您设置的可维护时间窗口内自动进行实时数仓Hologres小版本升级，在小版本升级过程中可能会出现Query失败的情况，请尽量将可维护时间窗口设置为业务低峰期。默认可维护时间窗口为 ...
实时日志查询
重置日志索引字段 查询实时日志时，可能会出现字段变动（例如新增字段或者将某个字段变为索引等），但实时日志分析页面配置并非自动同步。您需要通过以下两种方式手动刷新实时日志索引字段。重要 以下两种方式会将索引恢复到内置索引的最新...
实时分析链路数据
如果您的应用遇到流量不均、单机故障、慢接口...相关文档 为避免在出现问题后被动诊断错误原因，您还可以使用ARMS的告警功能针对一个接口或全部接口创建告警，即可在出现问题时向运维团队发送通知。如何创建告警，请参见 应用监控告警规则。
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
查看历史作业实例日志
在作业探查界面查看 登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏上，选择 作业运维。单击目标作业名称。单击 作业探查。在左侧 运行日志 页签，单击 作业 右侧的下拉框，选择历史运行...
高额账单风险警示
DCDN 产品属于按量付费产品，其账单金额受计费周期（如按小时出账，按天出账、按月出账等）和账单处理时延（阿里云 DCDN 产品出账存在3~4小时延迟）等因素的影响，无法做到账户余额为0的情况下立即停机，因而可能会出现欠费金额大于0，或者...
Task快速重启配置
目前，配置Task快速重启后，如果发生作业Failover，将会出现数据丢失或重复。因此请您一定要先请确保您的业务可以允许出现数据的丢失或重复，再配置Task快速重启。启用Task快速重启后，您可以忽略Flink UI页面上显示的Checkpoint一致性语义...
Java应用监控和诊断方案
以淘宝网（www.taobao.com）践行分布式架构与微服务实践的过程为例，遇到的主要挑战有：定位问题难 客服人员接到用户反馈商品购买出现问题后，会交由技术人员排查解决。而微服务分布式架构中的一个网站请求通常要经过多个服务/节点后返回...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
配置自动调优
自适应策略：应用该策略后，系统会根据实时作业资源和指标信息动态修改资源配置，更加关注当前作业的延时和资源使用情况，并根据相关指标的变化更快速地优化资源适配。这样做可以使系统更加敏锐地响应作业需求，提高资源配置的效率和适应性...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
- 产品推荐
- 这些文档可能帮助您