什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
组件与数据类型的兼容
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
ClickHouse数据源
支持的字段类型 支持阿里云ClickHouse以下常见的数据类型，阿里云ClickHouse的数据类型全集请参见 数据类型，开源ClickHouse官方数据类型集合中的其他类型暂不支持，开源ClickHouse数据类型全集请参见 ClickHouse Doc。数据类型 ClickHouse...
添加 MySQL 数据库的白名单
复制 OMA 控制台 选择源端数据库类型 对话框中显示的 OceanBase 数据评估服务器的 IP 地址段。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框...
添加 Oracle 数据库的白名单
复制 OMA 控制台 选择源端数据库类型 对话框中显示的 OceanBase 数据评估服务器的 IP 地址段。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框...
通过DataV展示数据
在 设置数据源 面板中，选择 数据源类型 为 数据库，已有数据源 为第一步中创建的数据源。在 SQL 脚本编辑区域，输入以下SQL语句。SELECT count(*)/100 as value FROM target_table where dts_operation_flag='I' 单击 数据响应结果 右侧的...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
公告
显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告，请参见 Dataphin更名通知。2020年...
Oracle数据源
NLS_CHARACTERSET 及 NLS_NCHAR_CHARACTERSET 为数据库字符集和国家字符集，表明Oracle中两大类字符型数据的存储类型。说明 前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。如果数据库中包含不支持的字符编码...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
OSS Foreign Table数据类型对照表
Parquet文件数据类型对照表 Parquet文件中没有提供Logical Types的情况下，数据类型对照如下：Parquet数据类型 AnalyticDB PostgreSQL版 数据类型 BOOLEAN bool INT32 int4 INT64 int8 INT96 timestamp FLOAT float4 DOUBLE float8 BYTE_...
添加开源Elastic Search数据源
在 设置数据源 页面中，选择 数据源类型 为 开源Elastic Search。在 选择已有数据源 列表中选择配置完成的开源Elastic Search数据源。在 index 输入框中填写查询索引。在 Query 输入框中填写查询体，查询体为JSON对象。单击 预览数据源返回...
配置DataV数据源
在 设置数据源 页面中，选择 数据源类型 为 数据库，已有数据源 为您前面步骤中创建的数据源。在SQL输入区域输入以下SQL语句。SELECT c1,c2 FROM mytable 单击 预览数据源返回结果，查看数据源返回结果。最终组件显示效果如下图所示。
添加开源Elastic Search数据源
在 设置数据源 模块中，选择 数据源类型 为 开源Elastic Search。在 选择已有数据源 列表中选择配置完成的开源Elastic Search数据源。在 index 输入框中填写查询索引。在 Query 输入框中填写查询体，查询体为JSON对象。单击 查看数据返回...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
修改数据库密码
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。根据实例类型，在左侧导航栏单击 数据迁移、数据同步 或 数据订阅。在页面顶部选择实例所属地域。找到目标实例，单击实例ID。根据...
添加ClickHouse数据源
可进入 云数据库ClickHouse控制台，在 集群列表>基本信息>网络类型 中获取。VPC实例ID VPC下数据库实例的ID，可在 云数据库ClickHouse控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。...
添加CSV文件
在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂不支持上传超出512KB的CSV文件。单击 确定，完成数据源添加。常见问题 CSV...
DataV
DataV数据可视化是使用可视化大屏的方式来分析并展示庞杂数据的产品，您可以在DataV中新建 AnalyticDB MySQL 数据源，通过DataV对 AnalyticDB MySQL 数据进行可视化分析。在DataV中新建AnalyticDB MySQL数据源 登录 DataV控制台。选择 我的...
添加阿里云Elastic Search数据源
本文介绍在DataV中添加并使用阿里云Elastic Search数据源的方法。通过Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。前提条件 已准备好待添加的Elastic Search数据源。添加阿里云Elastic Search数据源操作步骤 ...
DataWorks数据服务对接DataV最佳实践
选中基本折线图组件，切换到数据面板，在 数据源类型 中选择 DataWorks数据服务。选择刚刚创建的数据源和API，并设置查询参数，本示例将 pageSize 设置为31，以查询一个月的数据。单击 查看数据响应结果，即可查看API的查询结果。填写字段...
新功能发布记录
概述 名词解释 访问数据分析功能 管理数据集 仪表盘 08月 功能名称 变更类型 功能描述 相关文档 极简模式 新增 极简模式的控制台界面简洁、易上手、操作空间大，可以随时查找目标数据库实例，无需反复切换到控制台首页标签页。极简模式控制...
数据扫描和识别
DSC 扫描数据库类型和数据表类型数据源中的字段名称和字段值，同时根据字段名称和值综合判断该数据是否为敏感数据。例如：年龄数据。如果只通过字段值无法判断数据是否敏感，DSC 会结合数据源列中的字段名称和对应的数值来综合判断。首次...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
客户案例
打造离线实时一体化数据中台，构建统一、完整的大数据应用链路，服务内部几大核心业务。全链路数据治理提高数据可用性，让数据在中台进行自由流动，保证数据准确、准时、一致，成本削减1亿元。提高业务迭代效率，数据更新频率由1天变成10...
图层配置项说明
基底道路图层示例数据面板样式 数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置自己的数据源内容。图 2.数据图元三维图标图层数据面板示例 配置空间构建数据源 如果...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
更改实例环境类型
本文介绍数据管理DMS支持的实例环境类型以及更改实例环境类型的步骤。注意事项 建议您按照数据库实际环境选择实例环境类型。在安全协同管控模式下，测试环境在安全规则中默认免审批、弱管控。生产环境在安全规则中默认强管控。但您可以按需...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
使用DataV可视化应用展示数据返回结果
本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV可视化应用中。前提条件 在开始本案例前，您需要首先完成 准备工作，并已经 生成了数据服务API。背景信息 警告 您必须使用HTTP协议进入DataV控制台，...
添加TableStore数据源
本文档介绍在DataV中添加TableStore数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的TableStore数据源。添加TableStore数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表...
表
对于内部表，所有的数据都被存储在MaxCompute中，表中列的数据类型可以是MaxCompute支持的任意一种 数据类型版本说明。对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在 OSS 或 OTS 中。MaxCompute仅会记录表格的Meta信息，...
- 产品推荐
- 这些文档可能帮助您