Alink协议
对于透传格式（透传/自定义）数据，则会先调用数据解析脚本中的 protocolToRawData 方法，对数据进行数据格式转换，再将转换后的数据下发给设备。2 设备收到数据后，进行业务处理。说明 透传格式（透传/自定义）和非透传格式（Alink JSON）...
配置数据表资产目录
背景信息 将数据建模模块中创建的数据表进行编目及公开后，可在发现中查看和申请使用。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧菜单栏，选择 系统资产管理>数据表管理，...
配置数据表资产目录
背景信息 将数据建模模块中创建的数据表进行编目及公开后，可在发现中查看和申请使用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧菜单栏，选择 系统资产管理>数据表管理...
按单节点关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按线上API关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按线上场景关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按逻辑表关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按应用关联
根据应用关联对应资源信息，选中目标应用后，系统自动选中关联此应用的上线API、有产出关系的场景、场景下包含的所有场景节点以及场景节点包含的所有逻辑表以及数据标准、数据源和全局配置。说明 工作组若有创建数据标准、数据源和全局变量...
查看指标资产详情
背景信息 将数据标准模块中创建的指标进行编目和公开后，可在数据资产中心查看资产详情。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，单击 资产目录。在资产目录页面，单击 指标 页签，选择下面...
查看指标资产详情
背景信息 将数据标准模块中创建的指标进行编目和公开后，可在数据资产中心查看资产详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，单击 资产目录。在资产目录页面，单击 指标 页签，选择下面...
按指标关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
数据类型转换
功能说明 数据类型转换组件是将输入数据的数据类型转换成指定的数据类型，支持 int、double、string、datetime 四种类型转换。计算逻辑原理 int：将输入数据的类型转换成int类型。double：将输入数据的类型转换成double类型。string：将...
通过实时计算订阅数据
说明 如果数据格式不匹配，需要进行相应的 数据格式转换 工作，例如使用 from_unixtime 函数等。示例代码如下：INSERT INTO target_table SELECT t.dts_order_id,t.dts_buyer_id,t.dts_buyer_name,t.dts_product_id,t.dts_product_name,t....
JSON格式导入
Doris支持导入JSON格式的数据。本文为您介绍进行JSON格式数据导入时的参数说明和注意事项。支持的导入方式 目前只有以下导入方式支持JSON格式的数据导入：将本地JSON格式的文件通过 Stream Load 方式导入。通过 Routine Load 订阅并消费...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录 数据资源平台控制台。在页面左上角...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录企业数据智能平台。在页面左上角，...
操作示例
本文以 Tab列表 和 通用标题 组件为例，单击 Tab列表 中的某一列，将该列表项中的文本直接显示在 通用标题 组件上。前提条件 已登录DataV控制台 已进入画布编辑器 操作步骤 在画布编辑器页面，搭建所需要的 Tab列表 和 通用标题 组件。切换...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
入湖基础操作
OSS数据格式转换：可以实现对阿里云对象存储OSS中已有数据进行格式转换，如CSV转Parquet、Parquet转Delta等。Kafka实时入湖：可以实现将阿里云消息队列Kafka或EMR Kafka的数据实时同步到数据湖中，支持用户自定义预处理算子。配置数据源与...
查看增量迁移链路状态和性能
功能 说明 增量迁移链路拓扑 增量迁移链路展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS：...
格式转换
通过格式转换参数，您无需将图片下载到本地进行转换，只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台：不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
普通表转换为分区表
注意事项 普通表转换为分区表的过程中，所有的数据都需要重新进行读写，属于COPY DDL操作。因此，转换时间比较长，且整个转换过程会阻塞当前表上的所有DML操作。特殊场景下的普通表转换为分区表，如果按照时间做RANGE分区，并且需要将所有...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
按扫描量付费
当您通过DLA对本地或第三方数据源中的数据进行关联分析，DLA会根据扫描的数据量进行计费。本文主要介绍按扫描量付费DLA的计费规则 和计费示例。计费规则 计费时，DLA保证扫描的每条数据至少为32MB。DLA每小时生成一个收费订单，并从您的...
基于分箱组件实现连续特征离散化
特征离散是将连续的数据进行分段，使其变为多个离散化区间。针对该场景，PAI推出了分箱组件和数据转换模块组件。首先使用分箱组件将连续特征离散化，再使用 数据转换模块 将原始数据从连续值转换为离散值。本文为您介绍如何使用Designer...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
数据查询与分析管控
数据源查询结果的操作权限管控 DataWorks支持对查询结果进行展示、复制、下载、分享等操作，并设置数据分析模块中针对该类操作的管控策略，保障数据的操作安全。具体管控能力说明如下。默认权限 对查询结果相关操作的权限管控能力 所有用户...
概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
告警中心概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
概述
同一份数据以不同的格式保存，数据所占用的存储空间不同，使用DLA扫描数据时所花费的时间和费用也不同。通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
Python
本文介绍如何在Python中通过MySQLdb的module连接 AnalyticDB MySQL 集群。usr/bin/python#-*-coding:UTF-8-*-import MySQLdb#打开数据库连接。host是AnalyticDB MySQL集群的URL或IP。port是AnalyticDB MySQL集群的URL对应的端口。user是...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
文件格式转换方法和注意事项
转换方法 在DLA中创建两张表，然后通过 INSERT INTO target_table SELECT FROM source_table 以指定的格式将数据写入OSS中。注意事项 执行 INSERT.SELECT 语句时，不会覆盖OSS目标目录下已有的数据文件，而是在目录下生成新文件。由于DLA...
- 产品推荐
- 这些文档可能帮助您