数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
数据流管理
当正在写数据的后备索引关闭写入托管能力，待触发下次Rollover，最新创建的后备索引将处于写入托管中，可以在控制台数据流下查看最新的后备索引。业务上建议配置索引生命周期管理（ILM）滚动策略，实现云端托管空间最优化。如果不配置，...
网站从弹性Web托管迁移到云虚拟主机
步骤三：（可选）备份弹性Web托管中的数据库数据 如果弹性Web托管中使用到数据库，请您 提交工单 获取弹性Web托管中数据库的备份数据。说明 如果弹性Web托管中未使用到数据库，可跳过此步骤。步骤四：迁移网站数据到云虚拟主机 通过...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
通过弹性伸缩管理阿里云实例和托管实例
场景二：伸缩组中仅含3台托管实例且托管实例CPU使用率维持在90%左右 通过压测工具（例如lookbusy工具）对伸缩组中的托管实例进行压测时，如果伸缩组中当前3个托管实例的CPU使用率维持在90%左右，即伸缩组中实例的CPU平均使用率大于60%，...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
日志实时入仓快速入门
本文为您介绍如何在Flink全托管控制台上快速构建一个从Kafka到Hologres的数据同步作业。背景信息 假设消息队列Kafka实例中有一个名称为users的Topic，其中有100条JSON数据，代表通过日志文件采集工具或者应用写入Kafka的日志数据，其数据...
基于Indexing Service实现数据流管理
参数 说明 仅查看托管中的索引 系统默认展示集群中的所有索引（不包括系统索引），选择 仅查看托管中的索引 后，系统仅展示托管中的索引，帮助您快速获取处于托管的数据。云端托管索引总大小 当前时刻，正处于云端写入托管中的索引总大小。...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
配置Hive输出组件
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
配置StarRocks输出组件
如果您的数据中本身包含 \t，则需自定义使用其他字符作为分隔符。CSV导入行分隔符 使用StreamLoad CSV导入，此处可配置CSV导入行分隔符，默认，如使用默认值请不要在此显式指定。如果您的数据中本身包含，则需自定义使用其他字符作为分隔符...
配置StarRocks输出组件
如果您的数据中本身包含 \t，则需自定义使用其他字符作为分隔符。CSV导入行分隔符 使用StreamLoad CSV导入，此处可配置CSV导入行分隔符，默认，如使用默认值请不要在此显式指定。如果您的数据中本身包含，则需自定义使用其他字符作为分隔符...
搭建基础环境
步骤一：使用云速搭CADT创建资源 步骤二：在RDS中，创建数据库账号和测试数据库 步骤三：在Kafka中，准备测试数据 步骤四：创建Flink SQL作业并上线后测试数据生产 步骤五：在Kafka控制台查看测试数据 步骤一：使用云速搭CADT创建资源 登录...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
手动配置伸缩组实例
托管实例 在 托管实例 页签下，列出了ECS类型伸缩组中已添加的托管实例（托管实例ID均以 mi-开头）。不同于阿里云实例，托管实例不支持配置生命周期挂钩、关联到负载均衡和健康检查功能。托管实例加入ECS类型伸缩组后，该伸缩组不会管理...
OAuth2.0对接
本章主要介绍应用托管中托管型应用免登及用户信息获取相关流程 页面流程 用户输入三方应用域名 应用跳转IoT oauth验证地址，同时携带认证后跳转的callback地址 IoT认证后，携带授权码oauthcode跳转第2步callback的地址 应用获取到oauthcode...
将云消息队列 Kafka 版的数据迁移至MaxCompute
步骤四：同步数据 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，右键单击 业务名称，选择 新建节点>数据集成>离线同步。在 新建节点 对话框，输入...
名词解释
阿里云AIoT能力中心 阿里云AIoT能力中心基于阿里云卓越的物联网与AI技术，面向行业客户、生态伙伴及开发者丰富的AIoT能力，并提供拥有强大的应用开发、托管、集成的控制台工具，全面助力物联网应用的创新和发展。AIoT开放能力 对行业垂直...
授权与回收数据源权限
个人账号 用于生产环境中数据的建模研发，并通过发布的方式将开发的数据发布到生产环境。如果您选择 个人账号，则需要选择 有效期至。生产账号 用于管理和运行提交到生产环境的任务。如果您选择 生产账号，则需要选择 归属项目。用户组 ...
授权与回收数据源权限
个人账号 用于生产环境中数据的建模研发，并通过发布的方式将开发的数据发布到生产环境。如果您选择 个人账号，则需要选择 有效期至。生产账号 用于管理和运行提交到生产环境的任务。如果您选择 生产账号，则需要选择 归属项目。用户组 ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
创建索引模板
如果源数据中没有@timestamp 字段数据，可使用 ingest pipeline 指定_ingest.timestamp 获取元数据值，从而引入@timestamp 字段数据。建议在索引模板中为@timestamp 字段指定映射。如果不指定，该字段会映射为Elasticsearch中的 date 或者 ...
- 产品推荐
- 这些文档可能帮助您