使用MaxCompute控制台（离线）
上传目标数据 类别 参数名 描述 数据来源 本地文件 基于本地文件上传数据。仅支持上传一个CSV文件或XLSX文件：CSV文件：最大支持上传5 GB数据，文件里的数据以半角逗号（,）分隔。XLSX文件：最大支持上传100 MB数据。默认仅上传XLSX文件中...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
创建文件数据源
Quick BI支持将本地的Excel文件和CSV文件上传至数据库中，作为文件数据源，满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。使用限制 限制说明 适用文件类型 单个文件表头必须放第一行，Sheet1不...
配置本地文件输入组件
如不指定，则默认读到有数据的最后一行。导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示...
配置本地文件输入组件
如不指定，则默认读到有数据的最后一行。导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
常见问题总览
本文档介绍了 数据安全中心DSC（Data Security Center）服务的常见问题和解决方法。功能相关 数据安全 数据授权 数据扫描和识别 数据脱敏 水印使用限制 支持列表 支持识别的原子模型 支持识别的OSS文件类型 支持的数据脱敏算法
支持识别的OSS文件类型
118 3GPP视频文件 35 JPM图像文件 119 GnucCash财务XML文件 36 JPX图像文件 120 3GPP2视频文件 37 JXR图像文件 121 H264视频文件 38 PCX图像文件 122 MJ2视频文件 39 PNG图像文件 123 MP2视频文件 40 TIFF图像文件 124 MP2T视频文件 41 ...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
建表并上传数据
说明 本地文本文件上传的限制如下：文件类型：仅支持.txt、.csv 和.log 类型的文件。文件大小：不能超过30MB。如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
呼吸气泡层（v2.x版本）
呼吸气泡层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括呼吸气泡的大小、动画效果、气泡类型以及经纬度等，能够以呼吸气泡的形式表现地理位置上的点数据信息。本文介绍呼吸气泡层各配置项的含义。注意 当前为v2.x版本的...
呼吸气泡层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
OSS-HDFS数据源
是 无 column 写入数据的字段，不支持对部分列写入。与Hive中的表关联时，需要指定表中所有字段名和字段类型，其中name指定字段名，type指定字段类型。您可以指定column字段信息，配置如下。{"column":[{"name":"userName","type":"string...
Bloom过滤器索引
布隆过滤器定义了一个指标，用于描述出现判断失误的概率，即判断文件中包含需要查询的数据，而实际上该文件并不包含目标数据的概率，并称之为FPP（False Positive Probability:假阳性概率）。Databricks支持文件级Bloom过滤器，如果在表的...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 当前数据集功能仅支持以下三种数据源类型：RDS for MySQL 兼容MySQL数据库 RDS for ...
函数概述
数据服务支持您编写函数，并将函数关联至API，使得函数可以作为API的过滤器使用，对API的请求参数或返回结果进行加工处理。本文为您介绍函数功能。使用限制 您需要购买DataWorks基础版及以上版本，才可以使用过滤器功能。Python函数正在...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
通过外表导入至数仓版
方式一：执行 INSERT INTO 导入数据，当主键重复时会自动忽略当前写入数据，不进行更新覆盖，作用等同于 INSERT IGNORE INTO，详情请参见 INSERT INTO。示例如下：INSERT INTO adb_oss_import_test SELECT*FROM oss_import_test_external_...
导入数据并查询
方式一：执行 INSERT INTO 导入数据，当主键重复时会自动忽略当前写入数据，不进行更新覆盖，作用等同于 INSERT IGNORE INTO，详情请参见 INSERT INTO。示例如下：INSERT INTO adb_oss_import_test SELECT*FROM oss_import_test_external_...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
设置资产数据源
本文介绍DataV设置资产数据源的方法，以及 设置数据源 页面的内容，包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，...
添加CSV文件
本文档介绍在DataV中添加CSV文件的方法。前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过...
数据处理
return true为满足该处理方法的条件，return false为不满足该处理方法的条件，可以添加多个数据过滤器。锚点配置面板 事件/动作参数说明 事件/动作 说明 完成 处理方法全部执行完后的结果，传递给下游节点。执行 输入上游节点的输出结果，...
OSS Foreign Table数据类型对照表
本文介绍ORC文件、Parquet文件和Avro文件与 AnalyticDB PostgreSQL版 的数据类型对照表。ORC文件数据类型对照表 ORC数据类型 AnalyticDB PostgreSQL版 数据类型 BOOLEAN bool SHORT int2 INT int4 LONG int8 FLOAT float4 DOUBLE float8 ...
配置资产数据
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
查看敏感数据识别结果
数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
添加CSV文件
本文档介绍在DataV中添加CSV文件的方法。前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 类型 列表中，选择 CSV文件。上传CSV文件。...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）...2.挂载数据库文件存储（DBFS）时提示“不支持的ECS实例类型。支持挂载数据库文件存储（DBFS）的ECS实例规格如下：存储增强通用型g7se 存储增强计算型c7se 存储增强内存型r7se
设置列索引查询过滤算法
执行查询语句时，您可以通过列存索引的pruner功能，过滤掉数据库中不需要访问的数据块，以提高SQL语句的查询速度。本文介绍pruner的适用场景、注意事项、语法和相关参数等内容。简介 列存索引数据以单列数据块（默认包含64K行，可以通过 表...
通过样本库识别
DataWorks支持将您提供的样本文件生成样本库，后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时，则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据，例如，员工姓名、用户地址...
OSS数据源
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性的直接上传到OSS。但是这些存储在OSS的文件缺少元数据管理，导致难以分析和计算。元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张...
- 产品推荐
- 这些文档可能帮助您