什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
Notebook概述
DataInsight Notebook是基于Web的交互式数据分析Notebook，提供了作业编辑、数据分析、数据可视化等功能。全面兼容Apache Zeppelin，您可以使用Scala、Python、Spark SQL、R等语言编写Spark程序。相关操作 有关Notebook的更多操作，请参见...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
典型使用场景
典型的查询分析场景包括数据类业务应用，交互式分析，BI报表等。数据写入加载 AnalyticDB PostgreSQL版 的数据入库支持低延时的实时写入和高吞吐的批量加载。实时写入 实时写入的具体操作包括insert（on conflict）,delete，update，具备高...
使用创建反向任务功能
当业务数据库出现异常无法连接时，执行如下操作来恢复您的业务。暂停原实例。在 同步任务 列表页面，找到原实例。在目标实例右侧，选择>暂停任务。在弹出的 提示 对话框，单击 确定。在弹出的 暂停任务成功对话框，单击 确定。将业务切换至...
BI分析功能简介
DataV的BI分析功能是基于DataV6.0迭代更新后的数据映射能力，通过简便实用的数据模型构建、视觉绑定和交互式动态数据查询，向用户提供探索数据间关系的能力，可以丰富可视化视图的创作模式，完善可视分析循环。本文介绍BI分析的基本概念。...
查询加速（MCQA）
调度策略 交互式配额组不支持显式指定，由服务端根据规则自动进行调度，具体调度策略取决于租户下的交互式配额组数量：●只有一个交互式配额组，则租户下的所有查询加速作业都会调度到这个配额组上。如果租户开通了多个交互式配额组，自动...
将MySQL数据迁移到Redis
将业务中的热数据保存到Redis，用户通过应用直接从Redis中快速获取常用数据，或者在交互式应用中使用Redis保存活跃用户的会话，都可以极大地降低后端关系型数据库的负载，提升用户体验。使用Redis作为缓存首先需要将关系型数据库中的数据...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
数据开发与运行
目前MaxCompute不支持连接Power BI，建议您使用交互式分析（Hologres）进行连接，详情请参见 访问域名 Openapi调用报错 access is forbidden.Please first activate DataWorks Enterprise Edition or Flagship Edition.openapi需要...
实施步骤
本文档主要介绍如何使用OSS+DLA+Quick BI实现数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。步骤一：创建OSS Schema和表 在DLA中创建OSS Schema和表。示例如下：/创建OSS Schema。CREATE SCHEMA my_schema_name WITH ...
功能特性
计算引擎 功能集 功能 功能描述 参考文档 XIHE引擎 XIHE MPP执行模式 MPP计算过程采用pipeline流式计算，满足低延迟的交互式分析场景。XIHE BSP执行模式 BSP采用批计算架构，通过DAG进行任务切分，分批调度。BSP支持计算数据落盘，适用于...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
NL2BI：用自然语言实时查看BI报表
通过交互式地、启发式、迭代地提出问题或指令，如“找到所有购买了产品A的用户，并分析他们的购买行为”，NL2SQL会自动将问题转化为SQL查询，并返回相关数据。业务人员能够更灵活地理解分析数据，提高决策效率。影响 本解决方案不涉及生产...
NL2BI：用自然语言实时查看BI报表
通过交互式地、启发式、迭代地提出问题或指令，如“找到所有购买了产品A的用户，并分析他们的购买行为”，NL2SQL会自动将问题转化为SQL查询，并返回相关数据。业务人员能够更灵活地理解分析数据，提高决策效率。影响 本解决方案不涉及生产...
版本发布记录
无 支持MySQL数据迁移和实时同步导入 支持MySQL数据迁移和同步导入，实现业务数据实时加速分析，实现业务实时交互式运营分析。从MySQL导入数据。发布在线日志投递分析功能 企业用户只需要在 云数据库ClickHouse 中创建投递任务，将SLS中的...
功能特性
数据访问 作业管理 Lindorm计算引擎支持通过Lindorm管理控制台、DMS服务和DataWorks平台调度计算作业，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。作业管理 Ganos时空服务 时空索引 Lindorm宽表引擎在原有的...
RDS MySQL迁移至AnalyticDB MySQL 3.0
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 快速...
PolarDB-X 2.0迁移至云原生数据仓库 AnalyticDB MySQL...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 2.0 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB-X 2.0 实例，且需兼容MySQL ...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
多轮对话管理
概述 意图识别与交互：准确识别用户意图，根据用户的回答动态决策，区别于传统的一问一答模式，通过多轮人机交互来解决复杂场景的任务，比如保险推荐、保单查询、预约等场景。因子管理：因子是一段取数逻辑，负责参数的传递和数据获取，...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
数据服务
为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？...
典型场景
具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据...
准备工作
连接交互式分析（Lightning）服务。由于本案例使用的是Lightning数据源，故需要首先连接MaxCompute Lightning服务。开通API网关服务。根据界面提示，开通API网关服务，以确保您能够使用DataWorks数据服务的API功能。准备好本案例的数据表并...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
解决云数据库 OceanBase 连接问题
问题现象 无法连接公有云数据库。问题原因 数据库无法连接的可能原因如下：公网地址、私网地址设置错误。未在白名单中添加测试连接本地白名单 IP/IP 段。账号密码填写错误。连接租户模式不正确。ECS 客户端的实例网络类型不属于专有网络。...
设置连接池
您可以按照实际使用场景选择是否使用连接池，以及使用连接池的类型：连接池类型 使用场景 事务级连接池（推荐）业务侧多为短连接 连接创建频繁 连接数量很大（大于MySQL数据库的连接数限制）以上场景下，业务不涉及事务级连接池的 使用限制...
如何处理RDS MySQL连接数被打满的情况
问题描述 连接数满会导致客户端无法连接到RDS MySQL数据库。问题原因 空闲连接过多。活动连接过多。解决方案 说明 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、...
Apache Zeppelin连接
Apache Zeppelin是一款基于Web的Notebook产品，能够进行交互式数据分析。使用Zeppelin，您可以使用丰富的预构建语言后端（或解释器）制作交互式的协作文档，例如Scala、Python、SparkSQL、Hive等。本文为您介绍Apache Zeppelin如何连接 ...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
创建Hologres数据源
背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析产品。如果您使用的是Hologres，在对接Dataphin进行数据开发时，您需要先完成Hologres数据源的创建。更多Hologres信息，请参见 什么是实时数仓。使用限制...
FineReport
本文为您介绍交互式分析Hologres如何连接FineReport并可视化分析数据。前提条件 开通Hologres实例，详情请参见 购买Hologres。进入 帆软官网，根据项目需求选择 解决方案 并下载客户端工具。本次示例采用 FineReport报表。背景信息 ...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
绑定交互式分析实例
本文将为您介绍如何将交互式分析（Hologres）实例绑定至DataWorks工作空间。前提条件 使用HoloStudio服务前，请确保已经成功开通交互式分析实例，详情请参见 购买Hologres。实例创建成功后会默认生成一个名叫postgres的数据库，仅供管理...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
未来规划
传统数据库架构依赖于高端硬件，每套数据库系统服务器少，架构相对简单，但无法支持新业务的扩展需求。云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
- 产品推荐
- 这些文档可能帮助您