常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
基本概念
数据库 database 表示数据访问代理的逻辑数据库。以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个...
API概览
IoT设备端生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。UploadDataToBlockchain 适用于业务系统（数据）上链。业务系统生成数据唯一标识，数据通过队列异步上链，后续可通过数据唯一标识进行查询确认。...
产品优势
异构兼容 UDAG全栈跨链协议对异构链兼容性友好，支持蚂蚁区块链与其他类型联盟链，私有链，公链双向互通，促进多机构跨行业的生态融合 互操作性强 远程与其他同构/异构区块链进行双向消息通讯，通过叠加业务中间层协议，完成链与链之间的...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
成员接入
本文介绍了成员接入流程，管理方可以邀请其它成员共同使用IoT区块链Hub，成员接受邀请之后，管理方可以授予该成员相应的区块链访问权限，以使成员可以在被授权的业务链上进行数据上链。进入成员接入授权页 1.登录 IoT安全中心控制台。2.在...
内容安全
由于区块链的不可篡改特性，如果上链的数据存在违法违规信息则难以单独清除。为防范此类问题，您可以将区块链和阿里云内容安全服务集成。在通过REST API调用智能合约时，指定特定参数，阿里云内容安全服务会自动审查调用参数信息，避免违法...
数字农业可信上链最佳实践
本文档以数字农业场景，通过IoT区块链Hub把IoT设备数据中转到阿里云BaaS-Fabric区块链为示例，介绍完成的IoT设备上链流程。场景描述 在该场景中会涉及两类角色：数字农业-管理方。自身拥有区块链物理资源，需要接入其他参与方到IoT区块链...
存证数据写入
业务系统根据具体场景使用不同的交易类型写数据上链，具体参考 存证交易模型。数据格式规范 为维护数据的可读性，区块链预先配置了不同业务场景下对应的数据格式规范，以约定统一的存证数据格式。上链数据必须满足规范要求，您可以在 ...
申请区块链
您可以申请创建联盟链部署属于您自己的区块链，成为区块链的 管理员，管理员可以 邀请用户 成为区块链的联盟方，还可以通过 配置数据分类 约定联盟内上链数据的格式。如果您是受邀请加入区块链的 联盟方，可以跳过上述步骤，直接 申请加入...
功能更新动态（2022年）
支持离线周期和补数据实例运行异常原因诊断。重跑、强制重跑、补数据、Sql任务资源分配逻辑优化。支持配置多种业务规则实现限流功能。2022年10月25日 华北2（北京）概述 2022年10月27日 华东1（杭州）2022年11月01日 华南1（深圳）2022年11...
UTL_RAW
UTL_RAW内置包提供了用于操作RAW类型数据的函数。UTL_RAW子程序总览 子程序 说明 BIT_AND Function 对RAW r1和RAW r2的值按位进行逻辑“与”运算，并返回RAW类型的计算结果。BIT_COMPLEMENT Function 对输入的RAW类型数据的值按位进行逻辑...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
MongoDB 4.0
阿里云数据库MongoDB迁移至自建MongoDB数据库：逻辑备份恢复至自建数据库 物理备份恢复至自建数据库 单节点实例不支持通过逻辑备份或物理备份将阿里云数据库MongoDB实例数据迁移至自建MongoDB数据库。同步数据 功能 通用型云盘版 功能影响...
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
文档更新动态（2022年之前）
新增实时元表的资产质量监控规则，包括统计趋势监测、实时多链路对比和实时离线数据核对。通用功能 新建数据源规则 新建实时元表规则 2020-11-17 数据安全 功能拓展 新增数据安全增值功能包。数据安全支持定义数据的业务分类和安全等级，并...
功能更新动态（2022年之前）
新增实时元表的资产质量监控规则，包括统计趋势监测、实时多链路对比和实时离线数据核对。2020年11月17日 华北2（北京）新建数据源规则 新建实时元表规则 2020年11月26日 华南1（深圳）2020年12月15日 华东2（上海）资产安全 新增资产安全...
常见问题
断网后sdk error日志量太大/进程挂掉怎么处理 问题背景 链节点断开后，SDK不断重连，导致进程挂掉。日志量很大。解决方案 SDK从2.23开始，可以设置重连的频率，但是2.23之前的版本没法处理，可升级SDK版本。参数说明 示例一：...
Hyperledger Fabric 性能篇
本文主要从减少网络带宽消耗和降低链码背书延迟这两个方面，介绍如何通过优化链码及SDK应用来提高Fabric区块链应用的吞吐量。设计高性能的BaaS应用程序 这里首先为大家介绍Fabric中交易的基本概念，再从链码设计、SDK应用使用两个方面解析...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
元数据仓库共享模型（Hadoop）
v3.2.4~dim_dataphin_physical_index和dim_dataphin_index_catalog表废弃，原因是上挂物理指标在3.2.4版本后合并至dim_dataphin_derived_index表。添加建模/物理运维中关于status字段的详细注释信息。新增文档。所有table_id，column_id...
元数据仓库共享模型（MaxCompute）
v3.2.4 dim_dataphin_physical_index和dim_dataphin_index_catalog表废弃，原因是上挂物理指标在3.2.4版本后合并至dim_dataphin_derived_index表。v3.2.4 所有table_id，column_id相关字段全部废弃，置空。v2.9.7 添加建模/物理运维中关于...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
周期任务补数据
说明 下游逻辑表字段只能整体选中补数据，不能只过滤掉暂停的字段。海量模式：如果列表模式无法满足您对下游节点选择的要求（例如节点数量过多，或者需要批量选择某些制定节点），您可以选择海量模式，海量模式将按照筛选条件从当前节点向...
周期任务补数据
说明 下游逻辑表字段只能整体选中补数据，不能只过滤掉暂停的字段。海量模式：如果列表模式无法满足您对下游节点选择的要求（例如节点数量过多，或者需要批量选择某些制定节点），您可以选择海量模式，海量模式将按照筛选条件从当前节点向...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
基本概念
一个集群可以有一个物理数据库和多个逻辑数据库。物理库 物理库，是数据库在物理存储设备上的物理表示和存储方式，包括数据文件、日志文件、索引文件等。创建 AnalyticDB for MySQL 集群时，会自动创建一个物理库。每一个物理库被切分为...
- 产品推荐
- 这些文档可能帮助您