账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
配置任务时测试连接失败的排查及解决方法
如果数据库正常存活且连接信息没有问题，那么通过下面的方法解决问题：有公网IP的自建数据库 根据以下不同的测试结果，进行相应的处理。测试结果一 问题现象 测试连接时，使用 ping 命令测试网络不通，使用 telnet 命令测试端口不通，且...
混合存储型（已停售）
在正常业务请求中，活跃的商品数据会保留在内存，不活跃的商品数据会逐渐交换到磁盘上，从而解决内存不够的问题。在线教育 在线教育类的场景有大量的课程、题库以及师生交流信息等数据，通常只有热门课程和最新题库会被频繁访问。使用混合...
管理敏感数据
功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳管问题。数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，及时发现、有效管理企业资产中的...
混合存储型（已停售）
场景分类 混合存储型实例 社区版实例 数据量与预算 数据量大，有降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用大容量的主备或者集群Redis。数据量小，或者预算充足且暂时无需降低存储成本。冷热数据分布 业务中冷热数据区分明显。...
数据开发常见问题
问题描述：集群的HDFS容量被写满，发现/spark-history 下有大量的数据。解决方法：在Spark 配置 页面的 服务配置 区域，查看是否有 spark_history_fs_cleaner_enabled 参数：是：修改参数值为 true，可以周期性清理已经完成的作业的日志...
Tunnel SDK常见问题
如何使用TunnelBufferedWriter规避使用Tunnel SDK进行批量数据上传出错的问题？Tunnel SDK Download 使用Tunnel SDK下载数据时，报错You need to specify a partitionspec along with the specified table，如何解决？其他问题 BlockId是否...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
处理CPU使用率高问题
CPU作为数据库最核心的资源，是日常运维中重点关注的对象。当实例CPU使用率持续较高时，很容易导致数据库访问响应慢，从而导致业务受损。操作视频 异常检测 异常检测：基于机器...自动SQL优化：及时发现并优化慢SQL，解决数据库的性能问题。
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
Presto FAQ
大查询功能并不能让您查询任意大小的数据量和任意复杂的SQL，如果big_query还解决了不了您的问题请联系DLA答疑同学。Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源...
Tunnel命令常见问题
通常是因为数据源文件的行分隔符有问题，将多条记录当成了一条记录。您需要查看是否存在此问题，并重新设置-rd 参数。多线程上传数据时，报错ODPS-0110061，如何解决？问题现象 在多线程上传数据场景，返回报错如下。FAILED:ODPS-0110061:...
数据扫描和识别
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
PyODPS常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
Python SDK常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
如何处理Tair集群数据倾斜
同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的改造才能解决。建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请...
如何处理Redis集群数据倾斜
同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的改造才能解决。建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请...
常见问题
数据作为客户重要的信息资产，需要得到有效保护，确保有一个明确定义的、技术可实现的数据分类与保护策略，解决业务逻辑在分类和保护级别上不一致的问题。作为数据保护的基础，数据安全保护应先聚焦于自动化的数据分类。数据分类使用预先...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
常见问题
此时需要通过扩容或升级配置来增加CPU资源，以解决 compaction 积压的问题。说明 是否出现 compaction 积压可以通过查看实例监控信息中的 宽表引擎指标——集群负载>Compaction队列长度(个)来确定。如果持续大于0且个数不断增加，则说明已...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
性能调优
如果以上方案均不能解决问题，可以尝试关闭统计信息自治功能（set adb_config O_CBO_AUTONOMOUS_STATS_ENABLED=false;但是关闭自动收集统计信息后，可能会出现查询性能回退。后续如果需要统计信息，需要您手动维护。详情请参见 手动收集...
DQL操作常见问题
问题现象 执行如下MaxCompute SQL语句后，查询返回结果的条数大于 table1 的数据条数。select count(*)from table1 a left outer join table2 b on a.ID=b.ID;产生原因 示例SQL是table1通过ID字段和table2的ID字段做左外关联，所以会出现...
常见问题
为什么Redis内存报警与监控的内存使用率不一致 如何解决Redis内存使用率突然升高 如何搜索大Key 查看Redis集群实例的架构图和监控数据 查看Redis集群子实例内存 查看当前账号所有实例内存的使用信息 使用memtier-benchmark测试Redis集群版...
- 产品推荐
- 这些文档可能帮助您