应用间迁移
本文将为您介绍在OpenSearch中，如何快速的将旧应用的应用...若用户的应用无数据源，则该文档只能迁移应用结构，旧应用中的数据源需要用户通过API的方式重新导入新应用。若应用有数据源，模板默认是没有数据库信息的，这个需要手动再配置下
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
技术架构选型
MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
Contextual Bandit 算法
LinUCB算法的优势：计算复杂度与arm的数量成线性关系 支持动态变化的候选arm集合 参考资料 Contextual Bandit算法在推荐系统中的实现及应用 在生产环境的推荐系统中部署Contextual bandit算法的经验和陷阱 Using Multi-armed Bandit to ...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
调用Dataphin数据源
调用Dataphin数据源即应用调用生产环境中的Dataphin数据源。Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足...
配置Hologres输出组件
加载策略 向目标数据源（Hologres数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
配置Hologres输出组件
加载策略 向目标数据源（Hologres数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
配置Hive输出组件
加载策略 向目标数据源（Hive数据源）写入数据时，数据写入表中的策略。加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新...
AIoT客流分析算法优势
面向数据安全管控严格场景如：金融、政府类场景，提供边缘计算一体机，将算法、应用、数据部署到客户的网络环境中，完成智能化升级；2、算法优势：高效性、高精度、高可用的多任务监测算法模型。国内首家通过权威机构FIDO认证的生物特征...
配置StarRocks输出组件
同步其他数据源的数据至StarRocks数据源的场景中，完成源数据源的信息配置后，需要配置StarRocks输出组件写入数据的目标数据源。本文为您介绍如何配置StarRocks输出组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
管理数据分级
查看数据分级 在 数据分级 页面，查看系统中的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字，快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
实时研发基本流程概述
步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的表数据。步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
添加成员并设置角色
用户类型 用户类型即角色，数据服务中的用户类型包括 开发用户、业务应用用户、服务项目管理员 和 运维用户，不同角色的权限范围说明如下：服务项目管理员：用于管理服务项目、及管理服务项目内的资源和成员。开发用户：用于开发API和...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
计费概述
无 数据智能算法实例 最迟需要在到期后的15天内完成数据智能算法实例的资源续费，否则数据智能算法实例会被释放，数据丢失，不可恢复。续费说明 IoT孪生引擎 最迟需要在到期后的15天内完成IoT孪生引擎版本的资源续费，否则IoT孪生引擎版本...
申请、续期和交还数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。账号类型 根据业务场景，您可以同时给 个人账号、生产账号...
- 产品推荐
- 这些文档可能帮助您