SQL 条件过滤数据
SQL 条件过滤数据的作用范围为全量迁移/全量同步和增量同步。SQL 条件过滤数据使用的列请勿执行 DDL 变更，否则可能导致数据迁移或数据同步异常。操作步骤 将数据迁移或数据同步项目配置至 选择迁移对象 或 选择同步对象 步骤。详情请参见...
数据保护规则简介
在设置数据保护规则时，您需要保证 不同规则作用的数据范围是互斥的，即每列数据，仅能唯一匹配一条规则，否则全密态数据库无法确定如何选择规则，可能发生非预期的结果。users：用户访问数据权限的设定。各权限说明如下：说明 用户权限...
互联网、电商行业离线大数据分析
应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以...
数据模型架构规范
数据模型的作用 数据模型是在业务需求分析之后，数据仓库工作开始时的第一步。良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和...
如何配置跨域数据
什么是跨域数据配置 用户A所包含的数据来自其自己的网站以及用户B的网站。自己网站上的数据可以通过类似 http://userA.com/page1 这样的接口进行访问。用户B提供 http://userB.com/page2 数据接口，但是当用户A发送一个Javascript ajax请求...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
MapReduce
最后，一个Key的多条数据经过Reduce的作用后，将变成一个值。输出结果数据。说明 上文仅是对MapReduce框架的简单介绍，更多详情请查阅 功能介绍。下文将以WordCount为例，为您介绍MaxCompute MapReduce各个阶段的概念。假设存在一个文本a....
数据保护机制
项目保护的作用是限制数据流出受保护的项目，场景上与MaxCompute的一些可以跨项目迁移数据的功能产生交集，主要场景如下：create table<其他项目空间的表>as select*from<保护空间的表>。insert overwrite table<其他项目空间的表>select*...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
应用场景
数据实时分析 传输方式：数据订阅 数据分析在提高企业洞察力和用户体验方面发挥着举足轻重的作用，且实时数据分析能够让企业更快速、灵活地调整市场策略，适应快速变化的市场方向和消费者体验。DTS提供的数据订阅功能，可以在不影响线上...
按线上API关联
说明 物理表展示的数据只支持展示的作用，不参与实例化。逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，且该逻辑表需被生产场景的场景节点引用，同时关联了该逻辑表的场景节点需被场景引用。场景 对应数据开发上线...
管理数据集
变量 否 变量用于在仪表盘展示时，通过动态传入变量值替换数据集中SQL引用的变量，达到筛选数据的目的。SQL 是 查询数据对应的 SELECT SQL，可自由输入任意可正常执行的查询SQL。说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量...
自定义配置 DDL/DML
使用限制 DML 同步 DML 过滤的作用范围为整个数据迁移或数据同步项目。不支持对选择 DML 过滤的数据迁移项目进行全量数据校验。DDL 同步 除支持的增量 DDL 类型外，其它类型均不支持。如果需要同步的表涉及不支持的 DDL 类型，数据迁移或...
常见问题
同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改同步对象？可以。修改同步对象的方法，请参见 新增同步对象 和 移除同步...
全局变量管理
背景信息 全局变量可以理解为参数变量，用于管理作用域为全局的数据库变量，以及全局控制数据库的行为。在 ODC 全局变量页面可以查询和修改连接到当前数据源下所有数据库变量信息。查询全局变量 示例：在 SQL 开发窗口中，查询数据源 mysql...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
查看敏感数据识别结果
数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
创建元数据
如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择String。Rowkey描述：填写对Rowkey字段的简单描述。列字段配置 新建列字段 列簇名称：配置为HBase业务数据源中实际的列簇名称。列字段名称：配置为HBase业务数据源中实际的列...
冷数据归档
冷数据的判定标准如下：当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
资产安全概述
相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行区分。Dataphin内置了 L1（对外公开）-L4（绝密数据）的通用数据分级；同时也支持客户根据企业情况进行自定义分级。数据...
资产安全概述
相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行区分。Dataphin内置了 L1（对外公开）-L4（绝密数据）的通用数据分级；同时也支持客户根据企业情况进行自定义分级。数据...
创建数据流
单击 数据过滤 节点，在页面下方的 数据过滤 页签中配置数据的 过滤条件表达式。例如，在过滤条件表达式文本框中输入 name='小明'。说明 您可以直接在输入框中输入过滤条件，也可以双击函数列表的函数辅助编写。配置数据输出节点。说明 ...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
外部数据
本文介绍了外部数据的相关内容。简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在...
数据源管理
查看数据引用图层 选择任一数据，单击 图标，查看当前数据的引用图层，并支持跳转。查看数据表 选择任一数据，单击 图标，查看当前数据的数据表。重命名数据 选择任一数据，单击 图标下的 重命名，重命名当前数据。创建图层 选择任一数据，...
应用场景
满足GDPR要求 满足GDPR关于在海量数据中找到和保护敏感数据的要求，可对敏感数据的使用进行审计。数据安全合规检查 应相关监督部门的数据安全合规检查要求，可通过 DSC 提供的数据安全的分类分级、泄漏检测、数据脱敏等功能对数据进行相关...
备份恢复
云数据库MongoDB提供自动备份功能，以保证数据的完整可靠。备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。MongoDB提供如下备份功能：快照备份：保留某一时间点磁盘的数据状态。能够做到在分钟级...
数据加工过程卡点校验
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
- 产品推荐
- 这些文档可能帮助您