小文件优化及作业诊断常见问题
如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心无法查看失败的原因，如何解决？创建的Shell任务执行失败，在ECS...
客户端版本更新日志
功能优化 关闭写信页时提示保存草稿 问题修复 解决 Windows 邮件列表中使用上下键切换邮件失效的问题 解决预览 Word 文件出现错误提示的问题 桌面端 2.1.0(2023.02.27)功能更新 支持自动升级 支持邮件列表中使用上下键切换邮件 支持移动...
项目空间运维与监控
实例信息展示 当需要监控工作流生产时，可以通过运维中心的工作流实例来监控，可以看到工作流的运行阶段与作业的运行状态，当出现问题作业时，可以通过点击 详情，查询的日志报错信息，后续和上文中 日志监控 的内容类似。操作界面如下图：...
在线预览.txt文件出现乱码问题怎么办？
本文介绍通过OSS控制台在线预览.txt文件出现乱码问题的原因及解决方法。问题原因 文件错误编码。解决方法 登录 OSS管理控制台。单击 Bucket 列表，然后单击目标Bucket名称。在左侧导航栏，选择 文件管理>文件列表。在目标Object右侧选择>...
MySQL系统文件导致实例空间满的解决方法
说明 对于RDS MySQL 8.0，系统会自动清理undo文件，不会出现此问题。解决方法 步骤一：解锁实例。扩容实例存储空间后可解锁实例。扩容存储空间的详细操作请参见 变更配置。步骤二：清理undo文件。对于 RDS MySQL 5.7：连接RDS MySQL实例并...
MySQL系统文件导致实例空间满的解决方法
说明 对于RDS MySQL 8.0，系统会自动清理undo文件，不会出现此问题。解决方法 步骤一：解锁实例。扩容实例存储空间后可解锁实例。扩容存储空间的详细操作请参见 变更配置。步骤二：清理undo文件。对于 RDS MySQL 5.7：连接RDS MySQL实例并...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据...解决方案 检查确保挂载正确的文件系统后，暂时停止挂载，5分钟...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
Java SDK常见问题
出现上述报错，是因为您在引入包时，没有引入与其相关的依赖包或重复引入某个包，请排查本地环境配置。如果您是在MaxCompute上执行MapReduce作业时出现此错误，请检查是否已通过-resources 参数引入依赖的包。MaxCompute运行代码时，报错...
云虚拟主机无法删除文件
如果文件删除成功，问题解决。如果文件无法删除，请继续执行步骤 2。停止站点。在左侧导航栏，选择 站点信息。在 站点信息 页面，单击 网站信息 区域的 运行状态 右侧的 停止站点。站点停止后，等待3~5分钟，再执行步骤 3。再次强制删除...
SDK概述
v1.1.2 解决作业慢读写OSS出现的 ConnectionClosedException 问题。解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$...
Jupyter交互式作业开发
说明 启动Jupyter环境时如果出现报错，您可以查看 proxy_{timestamp}.log 日志记录文件，排查并解决问题。修改Spark应用配置参数 用Jupyter服务直连 AnalyticDB for MySQL Spark后，可直接在Jupyter Notebook开发页面执行Spark作业，此时...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
压缩文件失败
如果压缩文件成功，问题解决。如果压缩文件失败，请继续执行步骤 4。可用网页空间足以保存压缩文件：继续执行步骤 4。在 网站信息 区域，单击 运行状态 右侧的 停止站点。等待10分钟后，尝试再次压缩文件。如果文件仍然压缩失败，请 提交工...
上传代码包到函数计算后文件显示乱码如何处理？
压缩过程编码问题 如果您选择上传ZIP包的方式上传代码，可能是压缩过程出现了问题，例如，您的操作系统的默认编码与ZIP文件中的文件名编码不一致，或者压缩工具的编码设置问题，有些压缩工具可能在压缩文件时没有正确设置文件名编码，导致...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
访问OSS出现InvalidArgument Part number问题
一般情况Spark或Hive作业不会写入超过80 G的文件，可能是作业出现数据倾斜导致文件超大，建议您进行作业调参或优化规避数据倾斜问题。JindoSDK 4.5.2(EMR-3.43.1或EMR-5.9.1)及以上版本支持配置 fs.oss.blocklet.size.mb 进行调整，默认为8...
管理自定义函数（UDF）
此时，您可以根据作业需要使用的引擎版本来实现UDF代码，并通过作业级自定义函数的方式解决此问题。详情请参见 作业级自定义函数。作业级自定义函数 重要 仅VVR 8.0.3及以上版本支持注册作业级Python自定义函数。当使用作业级Python自定义...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
CDC问题
MySQL CDC全量阶段读取时间过长，导致最后一个分片数据量过大，出现OOM问题，作业Failover后卡住。增加MySQL Source端的并发，加快全量读取的速度。在MySQL CDC在做全量读到增量读的切换时，如果全量读是多并发，则在进入增量前要多等一个...
作业开发问题
本文为您介绍作业开发有关的常见问题。使用Entrypoint Main Args配置参数时，传入参数包含空格，作业无法运行起来，应该如何处理？使用Entry point Main Arguments传参数时，需要传特殊字符，应该如何处理？为什么相同JAR包在经过多次修改...
Spark作业异常排查及处理
本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...
通过文件URL无法正常访问文件怎么办？
出现以上问题，请按以下步骤排期可能的原因，并通过对应的解决方法进行处理：签名错误 可能原因：文件URL中的字符未按照要求进行URL编码，导致服务端接收到的内容与客户端发送的不一致。解决方法：请参考URL编码规则对文件URL进行正确的...
作业智能诊断
作业运行环境分析 作业所在机器出现异常导致作业Failover，平台会自动修复，您无需手动处理。作业所在机器升级过程，可能存在分钟级的Failover，Failover成功后会自动恢复，您也可以在升级前手动重启（停止后再启动）作业，来提前规避。...
写入文件提示无法满足最小写入副本要求
解决方案 如果【X】为0，说明集群DataNode上报NameNode路径出现问题，需要检查以下方面：检查DataNode节点是否可以连通NameNode节点。如果连通的命令长时间或超时不返回信息，则可通过以下命令，检查NameNode节点和DataNode节点是否在同一...
写入HDFS出现无法close文件的异常
本文介绍写入HDFS出现无法close文件的异常的解决方案。具体报错 java.io.IOException:Unable to close file because the last block xxx:xxx does not have enough number of replicas.问题原因 一般是由于DataNode写入负载过大引起的，...
Hive作业异常排查及处理
读取Snappy文件出现OOM 原因分析：LogService等服务写入的标准Snappy文件和Hadoop生态的Snappy文件格式不同，EMR默认处理的是Hadoop修改过的Snappy格式，处理标准格式时会报错OutOfMemoryError。解决方法：对Hive作业配置如下参数。set io....
媒体处理常见问题
如果转码失败，可能是因为源文件本身问题导致，例如：视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等。通过阅读本文，您可以了解转码异常、转码格式支持及其他常见问题及对应解决方案。转码异常问题 使用SubmitJobs API提交...
数据库实时入仓快速入门
如果CTAS/CDAS同步期间发生了不支持的表结构变更，导致作业报错同步失败，该怎么解决？相关文档 CREATE TABLE AS(CTAS)语法功能介绍，请参见 CREATE TABLE AS（CTAS）语句。CREATE DATABASE AS(CDAS)语法功能介绍，请参见 CREATE DATABASE ...
大数据上云及巡检服务内容说明
数据迁移整体流程不熟悉，缺少实操经验，包括流程管控和迁移实施经验，迁移前后的数据的一致性，以及迁移工具使用出现问题，不知如何定位和排查，缺少技术指导和支持。任务迁移整体流程不熟悉，缺少实操经验，包括流程管控和迁移实施经验，...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
Jupyter交互式作业开发
AnalyticDB for MySQL 相关使用文档，请参见 Jupyter交互式作业开发。注意事项 DLA Spark当前支持python3，Scala 2.11的Jupyter可交互作业。新版Jupyter Lab对Python的最低版本要求是Python 3.6。推荐 使用Docker快速启动环境 方式来使用本...
Tunnel SDK常见问题
本文为您介绍使用Tunnel SDK过程中的常见问题。问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用...
常见问题
本文介绍在使用ossutil时可能出现的问题及处理方法。说明 本文各命令行示例均基于Linux 64位系统，其他系统请将命令开头的./ossutil64 替换成对应的Binary名称。详情请参见 命令行工具ossutil命令参考。低频存储或标准存储的文件是否支持...
MaxCompute UDF（Java）常见问题
解决措施：原因一的解决措施：使用 maven-shade-plugin 解决版本不一致问题并修改Import路径，重新打包为JAR包并上传至MaxCompute项目。更多打包上传操作，请参见 打包、上传及注册。原因二的解决措施：请参见 Java沙箱限制问题。Java沙箱...
常见问题
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
Spark FAQ
本文汇总了使用DLA Spark的常见问题及解决方案。常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
常见问题
说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取了小文件？Reduce Task任务耗时，...
- 产品推荐
- 这些文档可能帮助您