计算设置概述

在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...

创建Hologres计算

Dataphin支持使用Hologres为MaxCompute计算引擎作为加速计算源或单独作为离线计算源,作为加速源使用时可加速数据服务中的Dataphin数据源的查询速度,以满足对查询速度有要求的业务场景。本文为您介绍如何创建Hologres计算源。操作步骤 请...

计算设置概述

在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...

创建Hologres计算

Dataphin支持使用Hologres为MaxCompute计算引擎作为加速计算源或单独作为离线计算源,作为加速源使用时可加速数据服务中的Dataphin数据源的查询速度,以满足对查询速度有要求的业务场景。本文为您介绍如何创建Hologres计算源。前提条件 在...

步骤三:创建实时计算

本文为实时研发基本流程的创建实时计算表步骤,在准备工作中,订单系统MySQL中的oms_order包含了订单的信息,实时任务就需要从这张表中实时的抽取增量数据计算GMV。现在我们需要创建一个订单表对应的实时元表,可以从订单表中读取增量...

准备数据源和计算

准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

准备数据源和计算

准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

使用流程

本文介绍如何使用城市视觉智能引擎管理控制台快速进行视频数据的接入、计算及搜索。使用流程 通过阿里云管理控制台来完成城市视觉智能引擎的基本操作流程如下:开通城市视觉智能引擎服务。创建接流工作组。创建视频点位。创建并启动计算...

设置Dataphin实例的计算引擎

在开始使用Dataphin前,您需要完成Dataphin实例计算引擎的设置...后续步骤 完成设置Dataphin实例的计算引擎后,您就可以准备后续数据研发过程中用于读取和写入数据数据源、用于提供计算资源的计算源。具体操作,请参见 准备数据源和计算源。

数据导入概述

Quick Audience接入数据源后,您就可以将要导入的数据表存储在计算源,然后在Quick Audience声明数据表的表结构,执行调度任务,将表中的数据导入到Quick Audience,准备用于后续的分析、应用。数据导入流程 进行 ID类型管理,设置Quick ...

什么是Dataphin

数据服务 告警中心 告警中心是基于Dataphin构建的监控告警平台,为您展示资产质量、实时计算数据服务模块的告警事件和推送记录。告警中心 为什么选择Dataphin Dataphin可以屏蔽不同计算与存储环境的差异,助您快速引入数据并规范化地构建...

产品概述

智能计算优化:支持从业务视角进行逻辑建模。逻辑模型发布后,系统自动化进行物理建模、编码,从而降低对开发人员的技术能力依赖。一站式研发体验:一站式地完成数据引入、建模、研发、运维、数据查找及探查等过程,研发链路统一且高效。...

计算源概述

功能概述 您可根据业务需求添加相应计算源,各计算源描述及创建说明如下:计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源:离线计算源 MaxCompute计算源:绑定MaxCompute计算源的项目,支持规范建模、即席查询...

新建实时计算模板

实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板,可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下,实时计算任务需24小时不间断运行,以保证数据产出的实效性。在该要求下实时任务的...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...

新建实时计算模板

实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板,可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下,实时计算任务需24小时不间断运行,以保证数据产出的实效性。在该要求下实时任务的...

新建ArgoDB计算

能够使用标准的SQL语法进行业务的建设,并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多详情,请参见 ArgoDB官网。操作步骤 请参见 数仓规划入口,进入数仓 规划 页面。在数...

计算源概述

Hologres加速计算源:Dataphin支持为已绑定MaxCompute计算源的项目添加Hologres加速计算源,加速业务数据的查询速度。创建Hologres加速引擎,请参见 创建Hologres计算源。实时计算源 Blink计算源:绑定Alibaba Blink计算源的项目,支持...

云计算资源类型

计算资源是 企业数据智能平台 中数据标准字段使用的基础,通过了解数据标准支持的云计算资源类型,并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源,以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...

创建StarRocks计算

Dataphin支持使用StarRocks作为Dataphin的离线计算引擎,为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建StarRocks计算源。背景信息 StarRocks是一款高性能分析数据库,支持实时、多维和高度并发的数据分析。StarRocks...

新建MaxCompute计算

MaxCompute计算源用于绑定Dataphin项目空间和MaxCompute项目,为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为MaxCompute,则只有项目空间添加了MaxCompute计算源,才支持规范建模、即席查询、MaxCompute ...

E

返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数,更多数据计算数据转换的相关函数请参见 数学函数。

PI

返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数,更多数据计算数据转换的相关函数请参见 数学函数。

新建SHELL任务

操作步骤 请参见 数据开发入口,进入数据 开发 页面。按照下图操作指引,进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框,配置参数。参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符,不支持特殊字符...

NEGATIVE

返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr:...相关函数 NEGATIVE函数属于数学函数,更多数据计算数据转换的相关函数请参见 数学函数。

告警事件

来源系统 包括:数据质量 实时计算 数据服务 离线计算 告警原因 告警事件发生的原因,详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括:电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 该告警...

数据源配置概述

在开始进行用户洞察相关操作前,您需要向Quick Audience添加两种数据源,分别是计算源、分析源:计算源:原始数据首先被存储在计算源中,Quick Audience接入计算源后,每当拉取数据时,计算源将对原始数据进行用户身份识别和跨渠道数据整合...

ATAN2

计算 expr1/expr2 的反正切函数。命令格式 double atan2(,)参数说明 expr1:必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时,会隐式转换为...相关函数 ATAN2函数属于数学函数,更多数据计算数据转换的相关函数请参见 数学函数。

SQL增强操作

功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...

迁移方案

数据正确性验证 数据质量是实时计算数据产出对业务的重要保障,和实时计算任务日常变更一样,迁移工作也需要对新任务产出的数据质量进行验证。通常,建议您采用迁移新任务和原有任务并行双跑的方式,在新运行一段时间,满足数据对比条件后...

什么是视觉计算服务

阿里云视觉计算服务Visual Compute Service(简称VCS)是一款弹性可伸缩的视觉智能计算服务。提供视觉数据接入、AI算法训练、计算资源调度的能力,通过API支撑开发业务应用,同时帮助开发者提升视觉AI创新效率,专注核心业务创新。VCS支持...

新建MaxCompute计算

MaxCompute计算源用于绑定Dataphin项目空间和MaxCompute项目,为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为MaxCompute,则只有项目空间添加了MaxCompute计算源,才支持规范建模、即席查询、MaxCompute ...

计算

计算源提供数据来源,Quick Audience接入计算源后,每当拉取数据时,计算源将对原始数据进行用户身份识别和跨渠道数据整合,然后导入分析源。当前Quick Audience仅支持接入 阿里云大数据计算服务MaxCompute 类型的计算源,且仅支持接入一个...

新建MAX_COMPUTE_SQL任务

背景信息 SQL离线计算任务适用于对已有数据进行加工处理,生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引,进入 新建MAX_COMPUTE_SQL任务 对话框。新建编写并...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

创建PYTHON计算任务

为了满足丰富的Python应用场景,Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7,无法直接升级历史的Python 2任务。2.9.3版本后,...

新建Flink计算

Flink计算源用于承载Dataphin项目下基于Flink的计算资源,只有绑定了Flink计算源的项目,才支持基于Flink引擎研发计算任务。本文将为您介绍如何新建Flink计算源。操作步骤 在Dataphin首页,单击顶部菜单栏的 规划。进入数仓 规划 页面。...

创建Blink计算

本文为您介绍如何创建Blink计算源。背景信息 阿里云实时计算Blink版独享/共享集群(原产品线)支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充,具备更加丰富的功能。更多关于Blink的内容请参见 实时计算Blink产品公告...

创建Blink计算

本文为您介绍如何创建Blink计算源。背景信息 阿里云实时计算Blink版独享/共享集群(原产品线)支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充,具备更加丰富的功能。更多关于Blink的内容请参见 实时计算Blink产品公告...

快速入门

如果您是首次使用智能数据建设与治理Dataphin,您可以参考快速入门文档,了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用