MaxCompute表的高级功能
本文为您介绍MaxCompute表的生命周期、避免全表扫描、小文件以及Hash Clustering表等高级功能。生命周期 MaxCompute为表和分区提供数据生命周期管理功能。表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有...
维度建模
本实验使用默认分层结构，并且为了规范模型的命名，将同一分层中表名称的命名格式统一，系统为每个数仓分层配置对应的表名“检查器”，开启并设置默认检查器，在进行模型设计时，表名会按照检查器设置自动填充，设计师仅需补充自定义内容...
功能更新动态（2022年）
2022年10月25日 华北2（北京）创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表 2022年10月27日 华东1（杭州）2022年11月01日 华南1（深圳）2022年11月03日 华东2（上海）SQL任务支持cost、reload function、...
性能洞察（新版）
数据库实例的地域为：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国（香港）、新加坡、马来西亚（吉隆坡）和印度尼西亚（雅加达）。计费 性能洞察功能为DAS经济版和...
性能洞察（新版）
数据库实例的地域为：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国（香港）、新加坡、马来西亚（吉隆坡）和印度尼西亚（雅加达）。计费 性能洞察功能为DAS经济版和...
海康人行设备接入
说明 海康支持的型号 对接型号支持 DS-K1T6XYZUVW-ABC 接入模式 门禁设备 支持功能 人脸/二维码/刷卡/蓝牙/可视对讲/人体测温（可选）系统版本 V3.2.32 人脸识别方式 端侧识别 人脸建模算法端口 80（说明：融创北京的端口号是9000）门禁...
性能洞察（新版）
数据库实例的地域为：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国（香港）、新加坡、马来西亚（吉隆坡）和印度尼西亚（雅加达）。计费 性能洞察功能为DAS经济版和...
性能洞察（新版）
数据库实例的地域为：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国（香港）、新加坡、马来西亚（吉隆坡）和印度尼西亚（雅加达）。计费 性能洞察功能为DAS经济版和...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
数据迁移链路规格说明
469 华东1（杭州）华北1（青岛）26 medium 4,856 华东1（杭州）华北1（青岛）26 large 5,439 华东1（杭州）华北2（北京）26 small 2,533 华东1（杭州）华北2（北京）26 medium 5,038 华东1（杭州）华北2（北京）26 large 6,829 华东1（杭州...
时序分析存储概述
分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果业务压力过大，分析存储会优先保证存储稳定性，同步延迟会略微增加。功能特性 分析存储支持的功能特性说明请参见下表。功能特性 说明 ...
使用限制
国家或地区 地域（Region）按量付费标准版计算资源CU上限 中国地区 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、华东2金融云（上海）、华北2政务云（北京）、华南1金融云（深圳）...
功能概述
目标数据库：源数据库的克隆数据库，和源数据库拥有同样的表结构和数据，将源数据库捕获的流量回放的数据库。功能介绍 传统的压测方案大部分基于现有的压测工具（如sysbench、TPCC等），给定场景，改变数据写入和读取速度，观测压力变化对...
多接入方式构建企业级混合云
北京CPE 目标网段 下一跳 路由类型 10.1.1.0/24 BGP邻居（北京VBR）BGP路由 10.1.2.0/24 BGP邻居（北京VBR）BGP路由 10.1.4.0/24 BGP邻居（北京VBR）BGP路由 192.168.1.0/24 BGP邻居（北京VBR）BGP路由 192.168.2.0/24 BGP邻居（北京VBR）...
多接入方式构建企业级混合云
北京CPE 目标网段 下一跳 路由类型 10.1.1.0/24 BGP邻居（北京VBR）BGP路由 10.1.2.0/24 BGP邻居（北京VBR）BGP路由 10.1.4.0/24 BGP邻居（北京VBR）BGP路由 192.168.1.0/24 BGP邻居（北京VBR）BGP路由 192.168.2.0/24 BGP邻居（北京VBR）...
数据问答最佳实践
解决方案：将“研究方向”和“招生人数”拆在两张表中，具体如下表所示：大学 专业 招生人数 北京工业大学 数学 12 北京工业大学 物理 11 大学 专业 研究方向 北京工业大学 数学 应用数学 北京工业大学 数学 基础数据 北京工业大学 物理 ...
Tablestore外部表
说明 如果MaxCompute表内数据本身有一定的顺序，例如已经按照Primary Key做过一次排序，则在写入到OTS表时，会导致压力集中在一个OTS分区上面，无法充分利用分布式写入的特点。因此，当出现这种情况时，建议您通过 distribute by rand()先...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
访问列存数据
如果您的普通分区表达式取值过于离散，例如时间戳，将导致列存元数据压力过大。示例 创建表时同时指定普通分区和bucket分区。示例一：USE lindorm_columnar;CREATE TABLE mydb.mytable(id INT NOT NULL,year STRING NOT NULL,month STRING ...
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
大数据计算服务MaxCompute
类别 详情 支持类型 源表、维表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn：源表当前读取到的数据总条数。numRecordsInPerSecond：源表当前每秒读取的数据条数。numBytesIn：源表当前读取到的...
观远BI连接MaxCompute
步骤四：确认数据表信息 在 确认数据表信息 面板中，对选中的表以及表数据进行预览确认，同时输入 数据集名称，并选择保存数据的目录。数据确认完成后单击 确认新建。步骤五：使用观远BI查询及分析数据 在观远BI主界面顶部菜单栏单击 仪表...
字符串相似度-topN
col0-DmapAppendColNames=col0-DmapAppendRenameColNames=map_col0-Dmethod=simhash_hamming_sim 输出结果 input_col0 map_col0 output 北京 北京 1.0 北京 北京上海 0.90625 北京 北京上海深圳 0.796875 北京上海 北京上海 1.0 北京上海 ...
外部表自动加载（Auto Load）
该GUC建议仅在Session级别按需开启，不要DB级别开启，否则会产生大量表结构变更检查作业，增大系统压力。set hg_experimental_enable_auto_load_check_schema_evolution=on;说明 外部表自动加载暂不支持OSS外部表的Schema Evolution。外部...
测试模型
Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载均衡机制能够根据表下各个分区的数据量、访问压力对...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）创建Hologres数据源、新建元表 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据源权限管控升级，增加对链接地址的查看权限控制，您可以更有效地提升数据源安全性。2021年08月19...
使用PostGIS
案例二：智慧交通场景 某智慧交通场景，数据库包含线型轨迹表和其他业务表，一业务功能为查找历史轨迹表中曾经驶入过某一区域的轨迹ID，相关轨迹表结构：CREATE TABLE vhc_trace_d(stat_date text,trace_id text,vhc_id text,rid_wkt ...
版本发布说明
优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程的校验速度。缺陷修复 修复XRPC下使用流式早停，小概率导致实例级连接池切库失败的问题。修复子查询...
数据同步链路规格说明
RPS：表示每秒增量同步至目标表的数据行数，如每秒增量同步源库5000行数据至目标表，则RPS为5000。数据同步规格说明 数据同步根据同步链路的同步性能上限，定义了四种规格：micro、small、medium、large，当满足以下条件时，各个规格的同步...
字符串相似度
执行成功后，pai_ft_string_similarity_topn_input表数据如下：id col0 col1 0 北京 北京 1 北京 北京上海 2 北京 北京上海深圳 运行PAI命令 您可以使用 SQL脚本 执行如下PAI命令，也可以使用 ODPS SQL节点 执行如下PAI命令。PAI-name ...
逻辑表
当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。本文介绍逻辑表的定义、应用场景、配置说明等信息。注意事项 逻辑表的操作必须在对应的逻辑库下进行。说明 逻辑表可当做单表直接...
数据传输规格说明
表对象：表示数据迁移或数据同步项目建议迁移或同步的最大表数量，以每张表对象最多 50 个字段数量计算。规格说明 OceanBase 数据传输服务根据迁移或同步的性能上限，定义了五种规格：MICRO、SMALL、MEDIUM、LARGE 和 XLARGE。当满足以下...
管理报警联系组的排班表
当报警联系组中有多个报警联系人时，您可以为该报警联系组设置排班表。设置排班表后，报警联系组中的报警联系人自动根据排班表的设置接收报警通知。前提条件 请确保您已创建报警联系人和报警联系组，且已将报警联系人加入报警联系组。具体...
Flink/Blink实时消费Hologres Binlog
region取值对应表（单击展开）地域 取值 华北2（北京）北京 华东2（上海）上海 华东1（杭州）杭州 华南1（深圳）深圳 华北3（张家口）张家口 中国（香港）香港 新加坡 新加坡 德国（法兰克福）德国 印度尼西亚（雅加达）印度尼西亚 ...
Lindorm外部表（云原生多模数据库）
在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时，MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将...
CREATE DATABASE AS（CDAS）语句
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。背景信息 CDAS是 CTAS 语法的一个语法糖，用于实现整库同步、多表同步的功能。...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
数据导入性能优化
然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法。通用外表导入数据调优 检查分布键 分布键决定着数据导入的一级分区，每个表在导入时以一级...
- 产品推荐
- 这些文档可能帮助您