大数据分析工具的常见问题解决方法

在使用大数据分析时可能会碰到DataWorks或MaxCompute的权限问题,您可以参考以下内容解决问题。重要 建议使用主账号开通本功能,如需通过RAM子账号使用本功能时,需要给RAM子账号分配 AliyunBSSFullAccess 权限,否则RAM子账号无法正常使用...

关于我们

阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践,所以她的提出是基于解决实际的数据安全问题大数据场景需要,这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名,研究型密码学博士实习...

收费常见问题

本文为您介绍数据集成收费相关问题解决方案。数据集成是怎么收费的?数据集成收费包含三种途径,详情请参见 独享数据集成资源组计费说明:包年包月、公共数据集成(调试)资源组:按量计费、公网流量计费说明。

实时同步常见问题

写端延迟 目标数据库性能、负载等问题 当数据库负载较高时,单一的调整同步任务并发并不能解决问题,您需要联系数据库管理员寻求相关帮助。读写端延迟 使用公网同步,网络问题导致同步任务延迟。公网同步无法保障实时同步时效性,建议...

运行失败

可以尝试使用MaxCompute的SQL UDF过滤出doc表和query表中的问题数据。多类目情况下,某个类目doc数目为0,query数目不为0导致的jni调用异常 报错信息 解决方法 这种情况被认为是用户输入问题,在设计时发现这样的情况时通过报错终止来提示...

常见术语

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop方案...

什么是云原生数据湖分析

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB\NoSQL)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统...

数据治理

数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游?哪些类型的Hive表支持在数据地图中预览?数据保护伞 数据保护伞为什么有时候查询脱敏有时候查询不脱敏 为什么数据地图数据总览页存储量和存储趋势图相差较...

数据服务

本文为您汇总数据服务的相关问题。为什么数据服务无法连接ECS自建的数据库?是否必须开通API网关?如何配置数据源?数据服务是否支持MaxCompute(ODPS)数据源?向导模式生成API与脚本模式有何功能差异?数据服务中的API分组的作用是什么,...

数据

本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效?为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?为什么补数据选择业务时间昨天和今天,也会出现等待时间的情况...

常见问题

以下为您介绍实时同步数据至Hologres操作失败的常见问题解决方案。PolarDB数据源网络联通性测试失败怎么办?Oracle数据源网络联通性测试失败怎么办?MySQL数据源网络联通性测试失败怎么办?实时任务,运行报错:...

SparkSQL自适应执行

解决问题 SparkSQL自适应执行解决以下问题:Shuffle partition个数 目前SparkSQL中reduce阶段的task个数取决于固定参数 spark.sql.shuffle.partition(默认值200),一个作业一旦设置了该参数,运行过程中的所有阶段的reduce个数都是同一个...

等待资源

解决措施:检查日志(任务配置)中concurrent参数值,如果并发任务设置过,需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。如果单个任务并发设置超过了机器支持的最大并发数,请将这些并发任务全部停掉,修改任务并发数...

任务运行失败

本文汇总介绍任务运行失败的相关问题。通用参考 已配置失败重跑的任务在运行失败后未重跑,并报错 Task Run Timed Out,Killed by System!任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access ...

Kafka常见问题

本文介绍使用Kafka时可能遇到的问题解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...

与标准SQL的主要区别及解决方法

本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务(不支持Commit和Rollback,不推荐使用INSERT INTO)。建议代码具备幂等性,支持重新...

常见问题

查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息,如果比其他的Task处理的数据很多,则说明出现了倾斜问题。如何预估Hive作业并发量的上限值?Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...

Python SDK常见问题

这一操作需要较的时间开销,同时过多的文件会降低后续的查询效率,还可能造成服务端内存不足。因此,建议在使用 write_table()方法时,一次性写入多组数据或者传入一个Generator对象。使用 write_table()方法示例请参见 写入表数据。open...

ROUND函数精度问题案例

解决措施 如果需要保证手工输入数据的精度,可以通过 CAST 函数将手工输入的数据转换为DECIMAL类型,DECIMAL类型不会存在精度问题。命令示例如下。当 set odps.sql.hive.compatible=false;时:select round(cast(0.25375 as decimal),4);...

常见问题

如果以上方法还是无法解决您的问题,请 购买 专家服务 处理。报错提示Memory limit(for total)exceeded时,该如何处理?问题原因:内存超过了server可使用的总内存。处理方法:在EMR控制台ClickHouse服务的 配置 页面,单击 server-config ...

大数据用户画像解决方案

进入互联网,特别是移动互联网时代,用户随时随地都会在...多维度&复杂查询:原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见:基于Lindorm的大数据用户画像解决方案 任何问题,欢迎联系 技术支持。

问题汇总

数据数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效?为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?为什么补数据报错调起的节点运行时间不在所选业务时间范围内?为什么有节点选择了补数据...

其他问题

本文汇总介绍运维中心其他常见问题。任务与实例 周期任务与周期实例、补数据实例、测试实例是什么关系?资源组 日志和实例保留多长时间?为什么不能在调度资源组上进行大数据计算?其他 如何设置任务优先级?如何查看任务优先级?周期任务...

Zeppelin常见问题

org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式:您可以参照以下命令解决问题。rm-f/usr/lib/zeppelin-current/interpreter/zeppelin-interpreter-shaded-0.10...

资源组操作及网络连通

如果以上排查无法解决问题,请执行下述命令重启服务。su-admin/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart 如何查看资源组对外IP,以便用于加白放行?如果您使用独享数据集成资源组走公网同步数据,请在数据库...

账单数据订阅及查询分析

您可在用户中心订阅不同类型的账单数据,例如,计费项明细账单、计费项账单按天汇总等。订阅成功后,账单数据将会定时同步至MaxCompute,您...相关文档 大数据分析工具的常见问题解决方法,详情请参见 大数据分析工具的常见问题解决方法。

排查Redis实例内存使用率高的问题

如果发现Redis内存占满或收到内存告警,可参考本文判断内存占用是否长期过高、内存占用是否突然上升、是否发生内存倾斜,并通过拆分Key,设置过期策略,升级规格等方法解决问题。内存使用率高的现象分类 内存使用率高,通常分为以下三种...

任务冻结与解冻

本文介绍冻结解冻的相关问题。冻结周期任务和周期实例的影响 冻结周期任务对补数据、测试操作产生的实例影响 冻结的实例解冻后如何重新运行?为什么做了冻结操作,任务还是执行?如何查看哪些用户对任务做过哪些操作?冻结周期任务和周期...

任务实例状态异常

本文为您介绍实例异常排查的相关问题。运维中心周期任务没有找到该任务 有周期任务,但是周期实例一个都没有 有周期任务,有其他周期实例,但是这个任务没有产生周期实例 有周期任务,有周期实例但未运行 任务运行必须满足的条件有哪些?运...

任务运行成功没有数据

本文汇总介绍任务执行成功没有数据的相关问题。场景一:节点状态成功,有执行日志 场景二:节点状态成功,无执行日志 场景一:节点状态成功,有执行日志 节点运行完成说明节点里面的逻辑完成了,但是周期实例自动调度时,节点没有取到上游...

下线节点

本文汇总介绍下线节点的相关问题。如何下线节点 如何确认生产任务已下线成功?如何恢复已下线节点 报错:请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错:节点存在子节点,导致任务删除或下线失败 如何下线节点 ...

场景:节点孤立

本文为您介绍什么是孤立节点,节点孤立的原因及解决方法。什么是孤立节点?孤立节点指节点在 周期任务 或 周期实例 处展开父节点时,没有依赖任何父节点,这类型节点在自动调度时不会被调起,所以孤立节点不会自动调度运行,如果该孤立节点...

常见问题

本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量?终止Flume进程时出现DeadLock报错,如何处理?如何处理强制退出后,FileChannel偶发性异常?Hive日志数量少于实际日志数量?问题现象:通过Flume将日志写入Hive,发现Hive...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

常见问题

造成服务不稳定的情况可能有很多,最常见的情况是znode数量过或者snapshot过,由于ZooKeeper将所有的znode维护在内存中,并且需要在节点间进行数据同步,因此过的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...

ODPS-0110061

xxxx 错误码描述 当前项目默认不允许表结构变更(Schema Evolution),如新增struct类型的子列、删除列、修改列顺序和更改列数据类型。解决方案 若您需要开通表结构变更(Schema Evolution),请运行 setproject odps.schema.evolution....

权限问题

本文为您介绍权限问题导致任务不能正常执行的报错信息及解决方法。Project Owner常见赋权脚本如下:方法1:直接赋权 use project_xxx;使用某project,开发环境带_dev后缀 grant CreateResource to user_xxx@aliyun.com;阿里云子账号-方法2:...

JindoSDK访问OSS出现NoSuchUpload问题

本文介绍JindoSDK访问OSS出现NoSuchUpload问题的原因和解决方案。问题详情[RequestId]:638xxxxxx[HostId]:oss-xxxx-internal.aliyuncs.com [ErrorMessage]:[E1010]...

常见问题

本文汇总了Spark使用时的常见问题。Spark Core 在哪里可以查看Spark历史作业?是否支持Standalone模式提交Spark作业?如何减少Spark2命令行工具的日志输出?Spark SQL 如何使用Spark3的小文件合并功能?如何处理SparkSQL数据倾斜?PySpark ...

客户案例

解决方案 天弘基金基于阿里云MaxCompute构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定。MaxCompute服务将原本需要清算8小时的用户交易数据缩短至1.5小时,同时减少了本地服务器部署压力...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用