准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
告警事件
来源系统 包括：数据质量 实时计算 数据服务 离线计算 告警原因 告警事件发生的原因，详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括：电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 该告警...
告警事件
来源系统 包括：数据质量 实时计算 实时集成 数据服务 离线计算 告警原因 告警事件发生的原因，详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括：电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 ...
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送...来源系统 告警事件的来源模块，包括数据质量、实时计算、数据服务。
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于...来源系统 告警事件的来源模块，包括数据质量、实时计算、数据服务。icmsDocProps={'productMethod':'created','language':'zh-CN',};
CREATE VIEW
CREATE VIEW 用于创建视图。...select_stmt：视图中的数据来源。示例 创建视图finished_orders_v1，视图数据来源为tpch Schema中的finished_orders表数据。CREATE VIEW tpch.finished_orders_v1 AS SELECT*FROM finished_orders;
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
构建数据仓库
场景说明 用户数据来源丰富，包括来自云端的数据、外部数据源，数据统一沉淀，完成数据清洗、建模。用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
新建注册上挂指标
在 选择数据来源 页面，配置参数后，单击 下一步。区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作...
新建注册上挂指标
在 选择数据来源 页面，配置参数后，单击 下一步。区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作...
开发Dataphin数据源并加速数据查询
数据来源 支持 MaxCompute 和 Hologres 两个数据来源。MaxCompute（默认）：支持选择 逻辑表 和 物理表，计算空间只能选择绑定了MaxCompute计算源的项目。Hologres：仅支持选择 物理表，计算空间只能选择绑定了Hologres计算源的项目。说明 ...
我的看板
本文介绍可视化应用中心下我的看板模块的数据来源和使用步骤。说明 可视化应用中心功能为7.0版本产品新增功能，请根据 可视化应用中心 环境进行操作。数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
离线同步能力说明
提供限流功能控制同步流量，避免同步速度过快对数据来源端或者数据去向端造成太大的压力。说明 不限流的情况下则会提供现有硬件环境下最大的传输性能。分布式执行任务 部分数据源支持分布式执行任务，分布式执行模式可以将您的任务切片分散...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
管理全局变量
测试数据 来源 全局变量的来源，包括 静态值 和 数据源请求。静态值 初始值 全局变量选择变量类型时的默认值。datav"过滤器 可选，通过添加数据过滤器进一步筛选所需数据。详情请参见 使用数据过滤器。数据响应结果 在全局变量的参数设置...
快速入门
创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。选择RDS MySQL所在的VPC、交换机和安全组。详细操作请参见 数据源管理。创建入湖模板 创建入湖模板，可以定时...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
支持的数据库类型与功能
图数据库GDB 数据仓库、Hologres、OSS：云原生数仓AnalyticDB MySQL版 云原生数仓AnalyticDB PostgreSQL版 云原生数据湖分析DLA ClickHouse：云数据库ClickHouse、其他来源ClickHouse 云原生大数据计算服务MaxCompute 实时数仓Hologres ...
日志服务通过数据集成投递数据
通过向导模式配置同步任务 在离线节点编辑页面，选择数据来源和数据去向。参数 描述 数据来源 选择 LogHub。数据源名称 选择以添加的日志服务数据源名称。资源组 选择独享数据集成资源组。数据去向 选择MaxCompute。数据源名称 选择以添加...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
应用场景
痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据准确性难以保障，传统政务服务需要老百姓多次递交多份纸质材料提供给不同服务部门，服务效率低。解决方案：数据同步：通过数据...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
一键创建OSS数据仓库
数据来源 服务器 设置一键建仓中RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库数据源。端口 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库的连接端口。用户名 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库的...
IoT数据自动化同步至云端解决方案
选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute Writer 为例，您也可以使用 支持的数据源与读写插件。配置自动化流程 使用OSS读取CSV文件时，需要配置读取的文件名（Object前缀）。通常IoT会...
全量数据同步
参数 说明 示例 数据源 数据来源端的数据源类型以及该类型下已添加的数据源。MySQL/dataq_dws_rds 数据表 数据源中数据实际来源表。ys_yhkh（未上云）同步模式 数据进行同步的方式，默认全量。全量 自定义条件 支持输入自定义SQL查询条件，...
- 产品推荐
- 这些文档可能帮助您