使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
控制台的常见问题
设备调试 使用设备调试功能，提示脚本关系不存在 控制台设备调试查看设备上下行消息分析，点击蓝色字体的MessageID报“未查询到消息内容”编辑脚本后调试，模拟输入设备接收数据，提示“模拟输入不符合Alink协议格式”人机交互 选择公版App...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
DebugCollectedNumber
调试环境收号 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DebugCollectedNumber 系统规定...
LoRaWAN温湿度传感器方案
本文提供LoRaWAN温湿度传感器通过 Link WAN 接入，同时采用 阿里云物联网平台 实现端到端应用的方案。...LoRa节点设备接入 搭建与管理网络 参见 搭建...固件升级 LoRa节点设备可以通过本地端烧录方式升级固件，目前不支持网络在线升级（FUOTA）。
页面介绍
说明 调试预览 功能仅支持PC端数据看板，移动端数据看板不支持 调试预览。页面介绍 在进入 调试预览 界面后，即进入调试状态。详细功能介绍见下表。序号 说明 1 用户交互模块，您可以单击查看已设置的交互效果。2 蓝图日志逻辑模块，此处...
新增和使用独享调度资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
安装Agent
数据库审计系统的Agent程序是部署在用户终端或目标数据库服务器上的功能插件，用来转发数据库访问流量到审计系统。您需要根据数据库服务器的类型，选择合适的方式来安装Agent，才能使数据库审计服务收集目标数据库的访问流量信息。本文介绍...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
使用限制
数据库小版本 如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置或数据恢复等操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。数据库连接 不支持切换网络类型...
通过函数计算节点实现GitHub实时数据分析与结果发送
如果 选择文件夹 不为空，则会在选择文件夹的路径下创建与DataWorks工作空间同名的文件夹，用于存放加工后的数据。完整路径 显示存放加工后数据的OSS路径。函数计算配置 函数计算配置 首次配置时，单击 一键创建应用，本案例将在以下产品中...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
DescribeDataLimitDetail-查询连接授权单个实例
12300 NetworkType integer 否 设置要查询的实例、库或 Bucket 数据资产所属的网络类型。取值：1：VPC 专有网络 2：经典网络 1 FeatureType integer 否 该参数已废弃。2 返回参数 名称 类型 描述 示例值 object RequestId string 本次调用...
文档更新动态（2022年）
更新说明 数据服务概述 2022年02月18日 新增Dataphin出网IP地址 在连通业务数据库与Dataphin间的网络时，您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。新增说明 Dataphin出网IP地址 2022年02月18日 新增数据源...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
Java UDAF
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 在编写Java UDAF时，您需要...
网络类型
数据库之间不通过网络进行隔离，只能依靠数据库自身的安全策略来阻挡非法访问。VPC：是逻辑隔离的私有网络，用户可以自定义网络拓扑和IP地址，支持通过专线连接。相对经典网络而言，VPC具有更高的安全性和灵活性。新建专有网络 登录 分析型...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据...
问题排查
本文介绍在本地环境调试数据解析脚本的代码示例，和物联网平台不能正常使用脚本解析数据时的排错方法。本地环境调试脚本 目前，物联网平台数据解析支持在线测试脚本是否能解析数据，但不支持调试。建议先在本地编写脚本、调试完成后，再将...
管理Agent
如果该值设置过小，会导致审计数据不全面，建议您设置合理的值。最大内存使用量 设置最大内存使用量。Agent所占用的内存不会超过该设定值。如果该值设置过小，会导致审计数据不全面。建议您设置为200 MB。CPU使用率阈值 设置CPU使用率阈值...
云产品流转
使用物联网平台规则引擎的数据流转功能，可将Topic中的数据消息转发至其他Topic或其他阿里云产品进行存储或处理。重要 同一组数据请勿同时开通云产品流转和服务端订阅两种订阅模式，避免消息干扰。配置SQL 登录 物联网平台控制台，单击实例...
调试实时任务
调试方式说明 本地调试方式：即不通过集群进行调试，调试的数据非流式数据。该方式调试速度较快，但操作较为繁琐，需要手动上传或填写数据，仅支持特定的数据源进行自动采样。Session集群调试方式：即通过Session集群进行调试，调试的数据...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
调试实验
说明 调试模式的数据不会计入正式的实验数据。操作步骤 在实验室中点击实验卡片进入实验详情。选择实验方案：在 选择方案 下拉列表中，在多个方案中选择一个。选择目标人群：通过输入 设备 ID 或 用户 ID 的方式添加调试人群。点击 开始...
测试数据通信
本文介绍如何测试DTU代替设备上报数据到物联网平台和接收物联网平台下发的数据。测试上报数据 打开串口调试工具。本示例中使用sscom 4.2测试版。说明 在本地电脑上使用串口调试工具模拟收发数据前，请务必确保DTU配置工具已经关闭。设置...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为 专业版 及以上版本功能，如果您需要使用此功能...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为专业版及以上版本功能，如果您需要使用此功能，...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
添加白名单
保障资源组与数据源之间网络连通后，您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问，例如，部分数据源设置白名单后会不允许白名单外的IP访问，您需要将资源组的IP添加至数据源的白名单中。本文为您介绍白名单相关...
- 产品推荐
- 这些文档可能帮助您