应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
事务隔离
像大部分其他数据库系统，本数据库中的谓词锁基于被一个事务真正访问的数据。这些谓词锁将显示在 locks pg 系统视图中，它们的 mode 为 SIReadLock。这种在一个查询执行期间获得的特别的锁将依赖于该查询所使用的计划，并且在事务过程中多...
2021年
新功能 Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。基于DLF、RDS、OSS支持Delta Lake或Hudi存储机制 2021-08-...
客户端连接
psql psql是Greenplum中比较常用的命令行工具，提供了丰富的命令，其二进制文件在Greenplum安装后的BIN目录下。下载方式：对于RHEL（Red Hat Enterprise Linux）和CentOS版本的6和7版本的平台，可以通过以下地址进行下载，解压后即可使用：...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
Tair（Redis企业版）与Redis社区版特性对比
掉电数据不丢失：强大的命令级持久化保障，每个写操作持久化成功后返回，可将其作为内存数据库（非缓存）使用。需要高性能且高数据持久化要求，且成本作为次要考虑因素的数据缓存与存储场景。磁盘型 低成本：最低为Redis社区版的15%。性能...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
Tunnel命令常见问题
在系统的命令行执行窗口，您可以通过指定参数快速执行上传操作，上传数据至MaxCompute表的命令如下。\odpscmd\bin>odpscmd-e"tunnel upload"$FILE"project.table"更多命令行启动信息，请参见 使用本地客户端（odpscmd）连接。导入文件夹中...
通过HDFS Shell连接并使用文件引擎
常用命令 数据上传 下表为将本地数据上传至文件引擎的常用命令。命令 说明 put 从本地文件系统中复制单个或多个源路径到目标文件引擎。也支持从标准输入中读取输入写入目标文件引擎。copyFromLocal 限定源路径为本地文件，其他功能实现和 ...
通过SQL导入向量数据
以下示例为Linux系统的服务器下载测试数据的命令。wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20230606/uzkx/vector_sample_data.csv 导入数据 本教程将使用 \COPY 命令导入本地数据。登录数据库。创建...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
通过 OBClient 连接 OceanBase 租户
OceanBase 客户端 OBClient 是 OceanBase 数据库专用的命令行工具，通过 OBClient 您可以连接 OceanBase 数据库的 MySQL 模式和 Oracle 模式租户。本文主要介绍连接方式的前提条件和操作步骤。前提条件 请确认已下载并安装了 OBClient 应用...
OSS存储
将查询、更新较少的冷数据转移到成本更低的OSS中存储是一个常用的方案。可以使用如下的命令将轨迹导出到OSS中。UPDATE trajectory_table SET traj=ST_exportTo(traj,'OSS:/<access key>:<access secret>@oss-...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
通过 OBClient 连接 OceanBase 租户
OceanBase 客户端 OBClient 是 OceanBase 数据库专用的命令行工具，通过 OBClient 您可以连接 OceanBase 数据库的 MySQL 模式和 Oracle 模式的租户。本文主要介绍连接方式的前提条件和操作步骤。前提条件 请确认已下载并安装了 OBClient ...
Tair选型指南
掉电数据不丢失：强大的命令级持久化保障，每个写操作持久化成功后返回，可将其作为内存数据库（非缓存）使用。大存储、低访问密度、低访问延迟要求，且成本作为首要考虑因素的数据存储场景。磁盘型 低成本：最低为Redis社区版的15%。性能...
由于数据文件过多导致集群存储空间被占满的解决办法
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间，且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
Roaring
TairRoaring简介 Bitmap（又名Bitset）是一种常用的数据结构，使用少量的存储空间来实现海量数据的查询优化。尽管Bitmap相比常规基于Hash结构的实现节省了大量内存空间，但是常规Bitmap对于稀疏场景下的数据存储仍不够友好，因此有了各种...
Terraform常用命令
其他常用命令 除了资源和状态的管理命令外，还有一些常用的应用在模板，Provider等多种场景下的命令。terraform init：初始化加载模块 init 用来初始化加载所需的模块，包括Provider，Provisioner，Module等。terraform graph：输出当前...
云数据库Redis版产品选型必读
掉电数据不丢失：强大的命令级持久化保障，每个写操作持久化成功后返回，可将其作为内存数据库（非缓存）使用。需要高性能且高数据持久化要求，且成本作为次要考虑因素的数据缓存与存储场景。磁盘型 低成本：最低为Redis社区版的15%。性能...
通过Copy命令迁移
本文介绍通过 Copy命令 数据的方法。操作步骤：从源集群导出数据到csv文件：连接源集群，在cqlsh中执行如下语句：COPY table_name[(column_list)]TO 'file_name'[,'file2_name',.];语句执行完成后，数据被导出到语句中指定的文件中。2.将...
RDS SQL Server空间不足问题
常用的查看SQL Server数据库空间使用信息的命令如下。系统视图或命令 说明 sp_helpdb 查看所有数据库各自的总空间大小（数据文件与日志文件大小之和）。sp_spaceused 查看当前数据库的名称、已使用空间大小和未分配空间大小。DBCC SQLPERF...
如何查看表和数据库的数据量大小？
执行以下命令，查询一张表的总大小（单位为MB，包含表的索引和数据）：select pg_size_pretty(pg_total_relation_size('<schemaname>.<tablename>'));执行以下命令，查询表的数据大小（单位MB，不包括索引）：select pg_size_pretty(pg_...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
ADD TO PACKAGE
后续资源数据变更时，通过Package访问的是资源的最新数据。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。命令格式 add<object_type><object_name>to package[with privileges];参数说明 参数名称 是否必填 说明 object_type 是 ...
时延洞察
FastCommand清单 说明 清单中列举了常用的命令，更多命令请在 Commands|Redis 官网中查看。ACL类中带有@fast 标记的命令均属于FastCommand。ACCOUNT ADMINAUTH ASKING AUTH BKLIST BZPOPMAX BZPOPMIN DBSIZE DECR DECRBY DISCARD ECHO ...
基本语句
在另一种语句类型（通常被称为实用语句）中，即使值是数据值，你也必须将它们以文本形式插入。在上面第一个例子中，带有一个简单的常量命令字符串和一些 USING 参数的 EXECUTE 命令在功能上等效于直接用PL/SQL写的命令，并且允许自动发生PL...
时延洞察
FastCommand清单 说明 清单中列举了常用的命令，更多命令请在 Commands|Redis 官网中查看。ACL类中带有@fast 标记的命令均属于FastCommand。ACCOUNT ADMINAUTH ASKING AUTH BKLIST BZPOPMAX BZPOPMIN DBSIZE DECR DECRBY DISCARD ECHO ...
时延洞察
FastCommand清单 说明 清单中列举了常用的命令，更多命令请在 Commands|Redis 官网中查看。ACL类中带有@fast 标记的命令均属于FastCommand。ACCOUNT ADMINAUTH ASKING AUTH BKLIST BZPOPMAX BZPOPMIN DBSIZE DECR DECRBY DISCARD ECHO ...
Insert Into
背景信息 Insert Into命令是MySQL等数据库中常用的数据导入方式。云数据库 SelectDB 版 兼容标准SQL语法，支持通过Insert Into 命令导入数据。包含以下两种：Insert Into tbl SELECT.Insert Into tbl(col1,col2,.)VALUES(1,2,.),(1,3,.);...
使用须知
快速入门 常用命令列表 介绍MaxCompute的常用命令。您可以进一步熟悉如何操作MaxCompute。工具 您需要在分析数据前掌握MaxCompute涉及的客户端、MaxCompute Studio等工具。Endpoint 介绍MaxCompute各地域支持的连接方式及Endpoint信息，并...
- 产品推荐
- 这些文档可能帮助您