功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
读写外部数据文本文件（oss_fdw）
encoding 文件中数据的编码格式，支持常见的pg编码，如utf8。parse_errors 容错模式解析，以行为单位，忽略文件分析过程中发生的错误。delimiter 指定列的分割符。quote 指定文件的引用字符。escape 指定文件的逃逸字符。null 指定匹配对应...
概述
密钥介绍及处理机制 密钥介绍 用户主密钥（MEK）用户主密钥（Master Enryption Key，简称MEK）是一种高级别的加密密钥，用于加密和保护某个系统或某组数据中的其他密钥。在多层次的密钥管理结构中，用户主密钥位于顶层，不直接用于日常的...
使用OSS外表高速导入OSS数据
DELIMITER用于定义列的分割符：当用户数据中包括DELIMITER时，则需要和QUOTE参数一同使用。推荐的列分割符有,、\t、|或一些不常见的字符。QUOTE用于包裹有特殊字符的用户数据（以列为单位）：包含有特殊字符的字符串会被QUOTE包裹，用于...
分析外部OSS上的数据
示例如下：CREATE TABLE `test`(.)COMMENT='columnar=1' CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/orders/2022-09-01/' 上述配置用于读取OSS上 orders/2022-09-01/目录下所有符合条件的文件中的数据。...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
重要 如果Redis配置文件（redis.conf）中指定的目录（dir）中已有RDB文件，请先备份已有的RDB文件，再移动新的RDB文件，防止意外丢失现有数据。如果自建Redis开启了AOF，重启服务时，会优先使用AOF文件恢复数据，可能导致RDB文件的数据不能...
案例介绍
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标等，帮助您更好的理解Dataphin的核心概念。案例场景简介 某公司是一家横跨多个行业领域的大型企业，以零售商超起家，逐步...
使用OSS Foreign Table导出数据
当导出到OSS的文件大小超过该值时，系统会切分到新的文件，向新文件中继续写入数据。说明 表中同一行记录在导出时不会跨文件存储。实际导出文件的大小可能略大于该参数的设定。OPTIONS参数中CSV和TEXT格式特有选项请参见下表：参数 类型 ...
服务协议
自2021年1月31日起，新版数据库文件存储（DBFS）服务条款生效。请参考《阿里云数据库文件存储服务协议》。
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
OSS-HDFS数据源
类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 字符串类 STRING、CHAR、VARCHAR 日期时间类 DATE、TIMESTAMP 布尔类 BOOLEAN 说明 LONG：OSS-HDFS文件中的整型类型数据，例如 123456789...
HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。} ...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
数据量
数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储空间。ECS中为：购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库的数据文件在...
极速型NAS
如果您想体验高级型升级后的性能，建议您在支持高级型文件系统的地域和可用区中新建极速型NAS高级型文件系统并将存量文件系统中的数据迁移至新文件系统中。更多信息，请参见 数据迁移。项目 高级型 标准型 带宽 带宽随文件系统容量规格增长...
通过外表导入至数仓版
ORC文件中的数据类型 AnalyticDB MySQL版 3.0中的数据类型 BOOLEAN BOOLEAN BYTE TINYINT SHORT SMALLINT INT INT或INTEGER LONG BIGINT DECIMAL DECIMAL FLOAT FLOAT DOUBLE DOUBLE BINARY STRING VARCHAR VARCHAR STRING JSON（如果已知...
产品规格
如果您想体验更好的性能，建议您新建CPFS文件系统并将存量文件系统中的数据迁移至新文件系统中。指标 100 MB/s/TiB基线 200 MB/s/TiB基线 智算版400 MB/s/TiB基线（公测）文件系统版本号 v2.3.4及以上版本 v2.3.4及以上版本 v1.0.0 支持的...
SaaS应用场景
如下图所示：该产品支持在消费者进入咨询后，先通过新零售智能客服（机器人）智能应答，解决不了转接人工，人工客服可登录新零售在线客服工作台快速应答，工作台会提供相应的辅助功能，提升客服回复效率。新零售智能客服 能力包括但不仅...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
PyMySQL 连接 OceanBase 数据库示例程序
test_sql.py 代码介绍 本文获取的 test_sql.py 文件中的代码定义了数据库操作的 SQL 语句，包括创建表、插入数据、查询数据和删除表，这些 SQL 语句可以通过 PyMySQL 连接数据库后执行，以实现相应的功能。该文件中的代码主要包括以下几个...
mysqlclient 连接 OceanBase 数据库
示例如下：obclient-hxxx.xxx.xxx.xxx-P3306-utest_user001-p*-Dtest 步骤四：修改 config.py 文件中的数据库连接信息 根据 步骤三：获取 OceanBase 数据库连接信息 中的信息修改文件 python-mysqlclient/config.py 中的数据库连接信息。...
常见问题
3 什么是知识、答案、答案约束与知识类目 在新零售智能助理中，除规则文本外，任何一个可能被机器人应答给消费者的数据都被定义为“知识”。答案指对消费者的响应行为。MVP版本支持“知识库答案”、“转人工答案”及规则文本答案。答案约束...
整体架构
数据优化服务 主要由MaxCompute的Storage Service来负责智能地自动管理增量数据文件，其中包括小文件合并 Clustering、数据 COMPACTION、数据排序等优化服务。对于其中部分操作，Storage Service会根据数据特征、时序等多个维度综合评估，...
概述
如果您需要从NAS文件系统中下载数据到本地，弹性公网IP会收取出方向流量费用。关于弹性公网IP的计费详情，请参见 弹性公网IP按量付费。操作流程 在将非阿里云数据迁移至阿里云文件存储NAS中时，需要配置一个ECS实例挂载NAS作为数据传输的...
数据处理
说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、...
删除文件系统
本文主要说明阿里云数据库文件存储服务删除功能。进入“数据库文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮，单击“删除”，弹出“删除数据库文件系统”窗口。单击“我已知晓风险，确认删除”按钮后，提交删除申请。
快照链
快照链是一个数据库文件系统中所有快照组成的关系链。一个数据库文件系统（以下简称文件系统）对应一条快照链，快照链有以下信息：快照容量：快照链中所有快照占用的存储空间。快照个数：文件系统当前快照数量。每个文件系统最多只能创建...
在线扩容
本文主要说明阿里云数据库文件存储服务DBFS的在线扩容功能。进入“数据库文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮，弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”，单击“开始扩容”按钮后提交扩容申请。
申请与创建
申请创建DBFS的步骤：进入“阿里云控制台”->“登录数据库文件系统控制台”。如果未开通服务，需要先点击“立即开通”开通数据库文件存储服务后，才能进入购买页面。单击“创建数据库文件系统”按钮，会打开购买页面。填写相关信息，单击...
功能特性
目录配额 生命周期管理 阿里云文件存储通用型 NAS 推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储中，并采用低频存储计费方式，从而减少文件系统的存储费用。配置生命周期 数据安全和保护能力 功能集 ...
产品功能
数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件或压缩包文件）、从数据库SQL表导入。未来还将支持直接从阿里云对象存储服务OSS中导入数据或借助DataWorks工具进行各种格式的数据导入。数据解析 GDB ...
整库离线同步至OSS
null值 文本文件中无法使用标准字符串定义null（空指针），数据同步系统提供该参数定义可以表示为null的字符串。例如，您配置 null值 为 null，如果源头数据是null，数据同步系统会视作null字段。时间格式 定义写入时间类型数据时的格式。...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
一般性问题
数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2.挂载点是什么概念、有什么作用？挂载点是...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
配置数据传输中转节点
使用新购ECS作为数据传输中转节点 上传下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据的上传与下载，避免占用业务带宽。新购ECS挂载NAS文件系统有以下限制：镜像：仅支持ECS官方自营镜像配置自动挂载NAS。如果...
- 产品推荐
- 这些文档可能帮助您