数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
数据流管理
当正在写数据的后备索引关闭写入托管能力，待触发下次Rollover，最新创建的后备索引将处于写入托管中，可以在控制台数据流下查看最新的后备索引。业务上建议配置索引生命周期管理（ILM）滚动策略，实现云端托管空间最优化。如果不配置，...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
通过弹性伸缩管理阿里云实例和托管实例
场景二：伸缩组中仅含3台托管实例且托管实例CPU使用率维持在90%左右 通过压测工具（例如lookbusy工具）对伸缩组中的托管实例进行压测时，如果伸缩组中当前3个托管实例的CPU使用率维持在90%左右，即伸缩组中实例的CPU平均使用率大于60%，...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
网站从弹性Web托管迁移到云虚拟主机
步骤三：（可选）备份弹性Web托管中的数据库数据 如果弹性Web托管中使用到数据库，请您 提交工单 获取弹性Web托管中数据库的备份数据。说明 如果弹性Web托管中未使用到数据库，可跳过此步骤。步骤四：迁移网站数据到云虚拟主机 通过...
SDK 使用说明
在BaaS数据导出服务控制台中，导出任务ID即为下行数据流ID private static String streamId="WG6qO8WQ;public boolean worker(MQMessage message){/消息处理逻辑，会保证消息至少被处理一次 System.out.println("Received"+message....
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
日志实时入仓快速入门
本文为您介绍如何在Flink全托管控制台上快速构建一个从Kafka到Hologres的数据同步作业。背景信息 假设消息队列Kafka实例中有一个名称为users的Topic，其中有100条JSON数据，代表通过日志文件采集工具或者应用写入Kafka的日志数据，其数据...
防勒索托管服务
您将通过控制台中预设的通知设置接收异常事件，并且云安全中心的托管服务专家会在钉钉群内及时通报任何异常情况。我们强烈建议您密切关注钉钉群内的消息，并确保您的通知设置正确无误，以防错过任何关键的通知信息。关于通知设置的更多信息...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
基于Indexing Service实现数据流管理
参数 说明 仅查看托管中的索引 系统默认展示集群中的所有索引（不包括系统索引），选择 仅查看托管中的索引 后，系统仅展示托管中的索引，帮助您快速获取处于托管的数据。云端托管索引总大小 当前时刻，正处于云端写入托管中的索引总大小。...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
搭建基础环境
步骤一：使用云速搭CADT创建资源 步骤二：在RDS中，创建数据库账号和测试数据库 步骤三：在Kafka中，准备测试数据 步骤四：创建Flink SQL作业并上线后测试数据生产 步骤五：在Kafka控制台查看测试数据 步骤一：使用云速搭CADT创建资源 登录...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
手动配置伸缩组实例
您可以将已购买的ECS实例、ECI实例或托管实例手动添加至伸缩组，也可以手动移出或删除伸缩组内不再需要的ECS实例、ECI实例或托管实例，根据业务需求及时调整资源，低成本地利用计算资源。本文为您介绍添加、查看、移出或删除伸缩组实例的...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
将云消息队列 Kafka 版的数据迁移至MaxCompute
步骤四：同步数据 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，右键单击 业务名称，选择 新建节点>数据集成>离线同步。在 新建节点 对话框，输入...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
名词解释
阿里云AIoT能力中心 阿里云AIoT能力中心基于阿里云卓越的物联网与AI技术，面向行业客户、生态伙伴及开发者丰富的AIoT能力，并提供拥有强大的应用开发、托管、集成的控制台工具，全面助力物联网应用的创新和发展。AIoT开放能力 对行业垂直...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
数据表-数据概况
指标说明 指标名称 指标说明 指标来源说明 表存储大小 当前表中存储的所有数据大小 如托管Location给DLF，来源于对OSS数据的统计；否则来源于E-MapReduce引擎stats数据；表文件总数 当前表中存储的所有文件数量总和 如托管Location给DLF，...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
OAuth2.0对接
本章主要介绍应用托管中托管型应用免登及用户信息获取相关流程 页面流程 用户输入三方应用域名 应用跳转IoT oauth验证地址，同时携带认证后跳转的callback地址 IoT认证后，携带授权码oauthcode跳转第2步callback的地址 应用获取到oauthcode...
创建索引模板
如果源数据中没有@timestamp 字段数据，可使用 ingest pipeline 指定_ingest.timestamp 获取元数据值，从而引入@timestamp 字段数据。建议在索引模板中为@timestamp 字段指定映射。如果不指定，该字段会映射为Elasticsearch中的 date 或者 ...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
集群
Databricks数据洞察是全托管的服务。用户在创建集群后，不能登录集群的ECS。用户不需要承担对集群环境的运维。Q：Spark库、表可以在多集群之间共享么？可以。Databricks数据洞察中的元数据是账号维度的，可以在同一个阿里云账号下的多集群...
DBS
进入运维页面 登录 IoT控制台，单击 应用托管>应用管理，并选择需要运维的应用实例，进入该应用的运维界面。目前支持DBS开放的中间件节点有：MySQL、SQL Server。打开入口 在运维界面中，打开DBS开启的入口，如下所示。访问入口 单击 打开...
步骤五：规范建模
在Dataphin中采用OneModel方法论将数据建模过程分为以下四层：主题域建模：在数据中台,主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右...
- 产品推荐
- 这些文档可能帮助您