SmartData常见问题
数据存放在OSS上，JindoFS支持机器学习训练吗？基于MaxCompute数仓上的数据，JindoFS如何帮助机器学习训练？基于Hive数仓上的数据，JindoFS如何帮助机器学习训练？如何处理Bigboot日志占用过大的问题？升级和迁移 如果使用JindoFS，如何...
常见问题
本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问：什么是图数据库GDB？答：GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...
Tair开发运维规范
由于大括号（{}）为 Tair 的hash tag语义，如果使用的是 集群架构 的实例，Key名称需要正确地使用大括号避免 引发数据倾斜，更多信息，请参见 keys-hash-tags。说明 集群架构下执行同时操作多个Key的命令时（例如 RENAME 命令），如果被...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
连接方式概述
使用 C 语言连接 OceanBase 数据库的具体操作示例请参见 C 驱动连接 OceanBase 数据库。ORM 框架 ORM 对象关系映射（Object Relational Mapping，简称 ORM），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
常见问题
所以您只需要会使用SQL、Python、Java等开发语言就可以使用MaxCompute进行数据分析。如何理解开源与云原生的大数据技术与产品？推荐您阅读 从开源到云原生，你不得不知的大数据实战。MaxCompute作为大数据平台，对业务数据是否有好的监控...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
Serverless Spark概述
传统Spark集群版的方案架构图如下所示：但是对于传统Spark集群版，用户首先需要部署一套开源大数据基础组件：Yarn、HDFS、Zookeeper等，可能会存在以下问题：使用门槛高：开发者需要同时熟悉多种大数据组件，才能完成开发与运维相关工作，...
常见问题
假设一个表的主键列为p1，p2，非主键列为c1，c2，某一行为p1=row1，p2=2023.1.28日，c1=”c1“，c2=”c2“，冷热分界线CHS=1天，当前时间为2023.1.30日，此时这一行为冷数据。如果更新这一行中的c1，c2列的值，那么这一行仍然为冷数据；...
命令行界面介绍
包括支持Go语言风格的正则表达式，例如：>SELECT*FROM/.*/LIMIT 1->SELECT*FROM“cpu_load_short”->SELECT*FROM“cpu_load_short”WHERE“value”>0.9 这就是你在入门指南里需要知道的将数据写入TSDB For InfluxDB®并进行查询的全部内容...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
从Amazon RDS for PostgreSQL全量迁移至阿里云
不支持迁移使用C语言编写的function。如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
组件开发快速入门
设置语言环境 DataV开发工具默认的语言环境是 English，如果您需要使用其他语言环境，可以在命令行界面执行 datav locale 命令切换语言环境。执行成功后，返回以下结果。What is your language?(Use arrow keys)>English Chinese Japanese ...
组件开发快速入门
设置语言环境 DataV开发工具默认的语言环境是 English，如果您需要使用其他语言环境，可以在命令行界面执行 datav locale 命令切换语言环境。执行成功后，返回以下结果。What is your language?(Use arrow keys)>English Chinese Japanese ...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
深度解析Lindorm搜索索引（SearchIndex）特性
那么在第二次写入c2的值时，需要读出原始的c1值，才能够拼接出完整的索引数据c1，c2。MUTABLE_ALL（成本最高）写入数据时，业务自定义时间戳（User-Defined Timestamp）。例如：全量任务和增量并存的场景，往往需要在全量任务时携带时间戳...
DQL操作常见问题
原因二的解决措施：如果分区过大，需要调整分区个数，详情请参见 分区。原因三的解决措施：如果是由于小文件较多导致，请参见 小文件优化及作业诊断常见问题。在执行JOIN操作时，报错Both left and right aliases encountered in JOIN，...
从Amazon RDS for PostgreSQL全量迁移至阿里云
不支持迁移使用C语言编写的function。如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该...
按自定义时间列冷热分离
假设一个表的主键列为p1，p2，非主键列为c1，c2，某一行为p1=row1，p2=2023.1.28日，c1=”c1“，c2=”c2“，冷热分界线CHS=1天，当前时间为2023.1.30日，此时这一行为冷数据。如果更新这一行中的c1，c2列的值，那么这一行仍然为冷数据；...
从Amazon RDS for PostgreSQL增量迁移至阿里云
说明 不支持迁移使用C语言编写的FUNCTION。全量数据迁移 将迁移对象的存量数据全部迁移到阿里云RDS PostgreSQL数据库中。增量数据迁移 DTS在全量数据迁移的基础上，将迁移对象的增量更新迁移到阿里云RDS PostgreSQL数据库中。通过增量数据...
从自建PostgreSQL全量迁移至RDS PostgreSQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
DML操作常见问题
本文为您介绍对表执行DML操作过程中的常见问题。...insert overwrite table table1 select c1,c2,c3 from table1 group by c1,c2,c3;说明 建议您在执行此操作前，做好数据备份工作并根据数据量评估此方式的代价是否比重新导入的代价低。
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
赋值节点
当您需要将上游节点任务的查询或输出结果提供给下游节点使用时，可通过赋值节点实现。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
Python 3 UDAF
此时，您需要自己编写代码判断输入的个数和参数类型，然后对它们进行相应的操作（您可以对比C语言里面的 printf 函数来理解此操作）。说明*用在返回值列表中时，表示的是不同的含义。UDAF的返回值可以使用*，表示返回任意个STRING类型。...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
从自建PostgreSQL（10.1~13版本）增量迁移至RDS ...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
- 产品推荐
- 这些文档可能帮助您