限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大超过 1 KB,Value 最大超过 1 MB,过大的数据不适合存储。事务支持 云数据库 Memcache 版支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

入门概述

快速入门简要介绍了如何快速上手数据资源平台,包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作:在使用数据资源平台前,需要完成的准备工作,具体操作,请参见 创建阿里云账号 和 购买及登录...

准备数据源和计算源

准备数据源 Dataphin支持对接的数据包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

准备数据源和计算源

准备数据源 Dataphin支持对接的数据包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

FeatureStore概述

FeatureStore作为PAI产品中心化的数据管理和共享平台,用于组织、存储和管理机器学习和AI训练中使用的特征数据。FeatureStore可以方便地向多人、多团队共享特征,保证离线在线特征数据的一致性,并提供高效的在线特征访问。什么是...

简介

HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,...

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段,扫描MaxCompute、OSS、阿里云数据库服务(RDS、PolarDB-X、PolarDB、OceanBase、表格存储等)和自建数据库中的数据,通过敏感数据规则,判断和打标敏感数据,为数据安全审计、...

什么是PolarDB MySQL企业版

产品架构 云原生数据库PolarDB 基于Cloud Native设计理念,既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、快速迭代的优势。产品架构如下:图 1.产品架构图 PolarDB MySQL版 的产品架构具有如下特点:一...

X-Engine简介

对性能影响比较大的Compaction过程做了大量优化:拆分数据存储粒度,利用数据更新热点较为集中的特征,尽可能的在合并过程中复用数据。精细化控制LSM的形状,减少I/O和计算代价,有效缓解了合并过程中的空间增大。同时使用更细粒度的访问...

常见问题

什么数据写入后可见?为什么optimize任务很慢?为什么optimize后数据仍未主键合并?为什么optimize后数据TTL仍未生效?为什么optimize后更新删除操作没有生效?如何进行DDL增加列、删除列、修改列操作?为什么DDL执行慢,经常卡住?...

基于向量分析的个性化推荐系统

insert into news(news_id,create_time,title,content,keywords,click_times,two_hour_click_times)values(1,now(),'什么是云原生数据仓库AnalyticDB MySQL版','云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

互联网、电商行业离线大数据分析

通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品,可以实现互联网、电商网站的离线数据分析,且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是现实的,...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台,即可实现数据...

数据质量教程概述

数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前,请您首先完成 搭建互联网在线运行分析平台 教程,详情请参见 业务场景与开发流程。业务场景 ...

数据质量教程概述

数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前,请您首先完成 搭建互联网在线运行分析平台 教程,详情请参见 业务场景与开发流程。业务场景 ...

MySQL数据

支持 支持 支持 MULTILINESTRING 支持 支持 支持 支持 MULTIPOLYGON 支持 支持 支持 支持 GEOMETRYCOLLECTION 支持 支持 支持 支持 数据同步前准备:MySQL环境准备 在DataWorks上进行数据同步前,您需要参考...

概述

PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据特征和模型的割裂状态,实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积,数据驱动的智能应用(例如:搜索、...

数据页面管理

在管理数据页面中,数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据

数据页面管理

在管理数据页面中,数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据

非结构化分析

功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征,然后利用特征向量唯一标识非结构化数据,向量间的距离用于衡量非结构化数据之间的相似度。AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建,帮助用户实现基于SQL...

概述

AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征,并利用特征向量作为非结构化数据的唯一标识,帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中,绝多数的数据都...

实时同步常见问题

写端延迟 目标数据库性能、负载等问题 当数据库负载较高时,单一的调整同步任务并发并能解决问题,您需要联系数据库管理员寻求相关帮助。读写端延迟 使用公网同步,网络问题导致同步任务延迟。公网同步无法保障实时同步时效性,建议...

库表结构优化

数据特征差异 用户的数据分布和查询特征会随着业务特征的变化而变化,若一直按照最初的建模方式和SQL语句,将无法保障SQL引擎发挥出最大优势,而数据特征或业务模型的变化,都会导致SQL性能回退。基于以上问题,AnalyticDB MySQL版 为用户...

ClickHouse概述

用户画像 可以将各种用户特征进行数据加工,制作成包含全部用户的一张或多张用户特征表,提供灵活的用户画像分析、支撑广告和圈人等业务需求。实时BI报表 根据业务需求,可以实时制作一些及时产出的查询灵活的BI报表,实现秒级查询,绝...

数仓规划概述

功能介绍 数仓规划包括逻辑空间与物理空间的全局架构,以实现业务划分、资源管控、项目管理等目的:逻辑空间:基于业务特征划分命名空间及其核心对象,包括数据板块、数据域和公共定义模块。说明 如果您购买的Dataphin实例为基础研发版,则...

特征管理

特征工程可能包括选择最相关的特征、将原始数据转换为更适合机器学习算法的格式、创建从原始数据派生的新特征等。以下是一些常见的特征使用场景:分类问题:邮件分类:使用邮件内容的单词和短语作为特征来识别垃圾邮件。图片识别:使用像素...

常见问题

什么Redis内存报警与监控的内存使用率一致 如何解决Redis内存使用率突然升高 如何搜索Key 查看Redis集群实例的架构图和监控数据 查看Redis集群子实例内存 查看当前账号所有实例内存的使用信息 使用memtier-benchmark测试Redis集群版...

数据归档常见问题

对普通表和分区表执行冷数据归档操作后,您可以通过以下方法查询归档后的冷数据:普通表:执行冷数据归档后,查询冷数据的方法和查询热数据的方法一致,需要修改访问方式。分区表:执行冷数据归档后,查询冷数据的操作方法请参见 查询...

名词解释

TAG ✖️ 〇 Tag(标签)描述产生时序数据数据特征,通常随时间变化。Tag由Tag Key、Tag Value组成,两者均为字符串(STRING)类型。在时序表的主键列中,时间戳列以外的列默认被视作标签列。为贴合业务场景并进一步提升查询性能,您...

索引优化

并且对于BI报表类查询,通常会返回很大的数据集,使用索引在这种场景并一定有加速查询的效果。在使用 AnalyticDB PostgreSQL版 时,首先应该尝试在没有增加任何索引的情况下执行您的查询。索引通常都是更适合于TP场景的,只返回一条记录...

JindoFS介绍和使用

HDFS有Java onheap限制,而Block模式没有Java onheap和内存限制,可以支持更大的数据规模。Block模式轻运维,不用担心坏盘或坏节点,数据1备份放置在OSS上,支持上下线节点。支持对冷数据做透明压缩和归档,使用多种手段进行成本优化,对接...

Logview诊断实践

写表的数据分布情况主要取决于写表的阶段(对应上图的R12)是如何Shuffle和排序的,上图给出的SQL最后的操作是Join,Join Key为如下代码:on t1.query=t2.query and t1.item_id=t2.item_id 研究一下数据的特征部分列都是item的属性,也...

数据倾斜诊断

智能诊断数据倾斜功能在系统后台以库为维度进行诊断,但不包括系统库(postgres、template0、template1、adbpgadmin和aurora 5个系统库),建议您将业务数据放在新建库中,不要将数据放在上述5个系统库中,否则无法诊断数据。智能诊断数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用