文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
常用管理
错误信息提示 在 画布编辑器 页面右上角，通过单击 图标查看当前画布中的错误信息，包括但不限于 组件数据获取失败、过滤器执行错误。报错类型 说明 组件数据获取失败 组件请求数据源发生错误时，产生该报错。数据源的请求可能发生在组件...
API概览
GetSkillGroupServiceCapability 获取在线监控下技能组纬度服务能力数据 获取在线监控下技能组纬度服务能力数据。GetSkillGroupAgentStatusDetails 获取技能组服务状态量 获取技能组服务状态量。GetOnlineSeatInformation 获取在线监控下...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
用户价值
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
API概览
QueryInstanceMetrics 获取数据集加速实例监控指标 查询并获取数据集加速实例监控指标信息。DescribeInstance 获取数据集加速实例详情 获取指定数据集加速实例信息。数据集加速槽 API 标题 API概述 CreateSlot 创建数据集加速槽 创建并注册...
全量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
Navicat数据可视化
前提条件 根据客户端网络环境配置 云数据库 SelectDB 版 实例网络：客户端位于阿里云ECS服务器，且与 云数据库 SelectDB 版 实例位于同一VPC下，无需配置，获取 云数据库 SelectDB 版 实例的 VPC地址 即可。其他情况，请为 云数据库 ...
移动图标层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中移动图标的移动位置可在 coordinates 字段中配置。表 1.配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调...
API概览
巡检评分 API 标题 API概述 GetInstanceInspections 获取数据库实例巡检评分结果 调用GetInstanceInspections接口，获取数据库实例巡检评分的结果。事件通知 API 标题 API概述 SetEventSubscription 配置事件订阅设置 调用...
外部数据
不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程数据可能需要在外部数据源的授权。这些信息通过一个用户映射提供，它基于当前的本数据库角色提供了...
创建Impala数据源
元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库...
API概览
DescribeCustomizeRuleTest 获取模拟测试场景下的历史模拟数据 获取模拟测试场景下的历史模拟数据。DescribeCustomizeRuleTestHistogram 获取自定义规则业务测试结果图表 获取自定义规则业务测试结果图表。DescribeLogFields 获取自定义...
热力线层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中每条线的 value 值可在 properties 字段中配置。说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。表 1.配置项...
路网轨迹层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式 和基础平面地图的 地理边界geojson数据接口。配置字段说明 字段 说明 geometry 定义type类型为"LineString。coordinates 定义两个或多个经纬度坐标...
API概览
ListDataCorrectPreCheckDB 获取预检查环节的数据库列表 获取数据变更工单中预检查环节的数据库列表。ExecuteDataCorrect 执行数据变更工单 执行数据变更工单。RetryDataCorrectPreCheck 重新执行数据变更工单预检查 重新执行数据变更工单...
DTS订阅通道
本文档主要介绍如何添加DTS数据源以及配置数据源的参数获取。前提条件 已购买数据通道服务LTS，具体操作，请参见 开通LTS。操作步骤 登录 HBase控制台。在 集群列表 页，单击BDS目标实例ID。在 基本信息 页，单击 UI访问 区域中 BDS，进入 ...
使用SDK示例代码消费订阅数据
重要 您可以在Maven网站中获取最新的数据订阅SDK版本，详情请参见 数据订阅SDK的Maven页面。打开IntelliJ IDEA软件，然后单击 Open or Import。在弹出的对话框中，定位至SDK示例代码解压的目录，依次展开文件夹，找到项目对象模型文件：pom...
API列表
ListGatewayOnlineRecords 获取网关在线离线记录 ListActiveGateways 获取今日活跃网关 GetGatewayStatusStat 获取网关状态 GetGatewayPacketStat 获取网关维度数据有效数 事件通知相关API API 描述 GetNotification 获取通知信息 ...
轨迹层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。配置字段说明 字段 说明 geometry 定义 type 类型为"LineString。coordinates 定义两个或多个经纬度坐标位置。properties 定义轨迹起点和终点的...
添加数据
由于 处理接口 章节已经写好了对应的API，也已经测试了数据获取，所以修改 等值面层 组件的插值点的 数据源类型 为 API。URL：填写 处理接口 中测试的地址（本文测试 http://127.0.0.1:8888/aqi?date=2017012722 ）。单击 预览数据源返回...
通过Spark SQL读Lindorm数据
访问Lindorm中的Hive数据 获取 HDFS客户端 的 hdfs-site 配置信息。说明 您可以在 Lindorm管理控制台 的 数据库连接 页面，单击 文件引擎 页签中 一键生成配置项，获取 hdfs-site 配置信息。登录 云原生数据仓库AnalyticDB MySQL控制台，在...
增量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
API概览
ListDataDiagnoseReports 获取数据诊断报告 获取数据诊断报告（包括用户手动触发的诊断、每天产出的周期报告、数据启动时诊断的报告）。ListDataDiagnoseSampleDetails 获取数据诊断报告抽样明细 获取数据诊断报告抽样明细。
添加DTS数据源
数据源参数 通过数据传输服务DTS控制台获取数据源参数。单击目标DTS任务在 任务管理 页面获取以下参数：topic：DTS订阅Topic名称（图示中①）。proxyAddr：DTS订阅地址（图示中②）。单击目标DTS任务在 数据消费 页面获取以下参数：sid：...
添加ClickHouse数据源
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查看集群的详细属性 接口获取VPC...
创建数仓分层
数仓分层保障了数据在进入数据仓库之前都经过清洗和过滤，使原始数据不再杂乱无章，优化了查询过程，有效的提高了数据获取、统计和分析的效率。同时，数仓分层实现了各种不同维度数据的关联，使多维分析更加方便，为从多角度、多层次地数据...
API概览
ListDatasets 获取数据集列表 获取某个工作空间下的数据集列表。DeleteDataset 删除数据集 删除数据集。CreateDatasetLabels 创建数据集标签 为数据集打标签。DeleteDatasetLabels 删除数据集标签 删除数据集标签。代码配置 API 标题 API...
创建Hive数据源
元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式 说明 开启模块 仅勾选实时研发 时，元数据获取方式仅支持元数据库。参数 说明 数据库类型 请根据集群中使用的元数据库...
添加ClickHouse数据源
数据库 单击 获取数据列表，系统会自动获取当前所选数据库中所有的数据列表。数据库信息填写完成后，系统会自动进行测试连接，验证数据库是否能连通正常。重要 当数据库测试连接时，出现报错信息Access VPC instance fail 后，您可以在实例...
通过数据同步功能同步SLS至湖仓版（推荐）
Schema字段映射 默认会从日志服务的投递任务配置中获取字段，如LogStore没有配置投递任务，会默认根据最近的日志数据获取字段。支持的数据类型：BOOLEAN、INT、BIGINT、FLOAT、DOUBLE、STRING。支持同步SLS保留字段，详情请参见 保留字段。...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
资源密集活动统计（pg_profile）
这样就可以从profile数据获取其他数据库的统计信息。说明 profile数据库和server数据库可以创建在不同RDS PostgreSQL实例中，也可创建在同一实例中。server数据库 创建server数据库。CREATE DATABASE server;连接server数据库并创建插件。\...
应用场景
数据库审计服务支持对阿里云原生数据库（例如RDS云数据库）及自建数据库（例如ECS自建数据库）进行适配审计，满足您对数据审计及日志数据留存的要求。RDS云数据库审计 通过在用户PC（该PC通过数据库运维工具直接连接RDS数据库）或访问数据...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
API概览
ListAnnotationData 获取数据列表 列出数据集中的所有数据 GetAnnotationDataSet 获取数据集 取得数据集信息 ListAnnotationDataSets 获取数据集列表 取得数据集结构体列表 GetMLServiceResults 获取指定场景任务的算法分析结果 在阿里云...
分片集群实例连接说明
登录MongoDB数据库 获取如下信息：数据库连接地址，获取方法请参见 数据库连接地址。数据库账号，初始账号为root。重要 不建议在生产环境中直接使用root账号连接数据库。您可以根据业务需求创建用户并分配权限，详情请参见 使用DMS管理...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
dlf:BatchGetTables 批量获取数据表列表。dlf:BatchUpdatePartitions 批量更新分区信息。dlf:BatchUpdateTables 批量更新数据表。dlf:CreateDatabase 创建数据库。dlf:CreateFunction 创建函数。dlf:CreatePartition 创建分区。dlf:...
需求分析
业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。步骤一：了解已有业务数据 实际操作前，请...
需求分析
业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。步骤一：了解已有业务数据 实际操作前，请...
- 产品推荐
- 这些文档可能帮助您