创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
添加及管理识别结果
若有多个数据分级相同但数据分类不同，则按照数据分类优先级>识别记录的更新时间>分类修改时间，检测出更合适的数据分类，则会进行提示。数据分级：为您展示当前最新的分级配置，您可以查看仲裁时刻的分级结果，判断是否需要进行修改。优先...
添加及管理识别结果
若有多个数据分级相同但数据分类不同，则按照数据分类优先级>识别记录的更新时间>分类修改时间，检测出更合适的数据分类，则会进行提示。数据分级：为您展示当前最新的分级配置，您可以查看仲裁时刻的分级结果，判断是否需要进行修改。优先...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
查看识别规则运行记录
识别规则和基于血缘的继承任务每运行一次就会生成一条运行记录。...若有多个数据分级相同但数据分类不同，则扫描规则按照从高到低为：数据分类优先级>识别记录的更新时间>分类修改时间。识别规则扫描，不满足阈值条件的，则不会进入仲裁判断。
查看识别规则运行记录
识别规则和基于血缘的继承任务每运行一次就会生成一条运行记录。...若有多个数据分级相同但数据分类不同，则扫描规则按照从高到低为：数据分类优先级>识别记录的更新时间>分类修改时间。识别规则扫描，不满足阈值条件的，则不会进入仲裁判断。
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
新建及管理识别规则
所属分类层级 选择数据分类的层级，如需创建目录，请参见 管理数据分类目录。分类名称 选择该层级下当前可用的数据分类，如需创建，请参见 新建及管理数据分类。说明 当计算引擎为StarRocks且字段类型为HLL（HyperLoglog）时，暂无法为您...
新建及管理识别规则
分类名称 选择该层级下当前可用的数据分类，如需创建，请参见 新建及管理数据分类。扫描范围 识别方式支持 且、或 两种方式。识别类型包括 数据板块、项目 和 数据表。识别条件支持 全部、属于、不属于、包含、不包含、正则（大小兼容）、...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
管理动态脱敏白名单
如需创建数据分类，您也可以单击 无可用数据分类，去新建>按钮创建，详情请参见 管理数据分类。生效账号 选择本次白名单生效的用户账号。生效场景 选择脱敏规则应用的场景。系统支持 即席查询 和 写开发表 应用场景。生效范围 动态脱敏白...
管理动态脱敏白名单
如需创建数据分类，您也可以单击 无可用数据分类，去新建>按钮创建，详情请参见 管理数据分类。生效账号 选择本次白名单生效的用户账号。生效场景 选择脱敏规则应用的场景。系统支持 即席查询 和 写开发表 应用场景。生效范围 动态脱敏白...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
JindoFS介绍和使用
HDFS有Java onheap限制，而Block模式没有Java onheap和内存限制，可以支持更大的数据规模。Block模式轻运维，不用担心坏盘或坏节点，数据1备份放置在OSS上，支持上下线节点。支持对冷数据做透明压缩和归档，使用多种手段进行成本优化，对接...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
- 产品推荐
- 这些文档可能帮助您