大数据用户画像解决方案
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
用户画像分析概述
RoaringBitmap优化方案 基于RoaringBitmap的超大规模画像分析场景，适合数据量大，标签规模多，需要去重处理的场景。通过结合RoaringBitmap结构化存储，实现天然去重，避免Join开销，降低运算复杂度，快速出结果。详情请参见 画像分析-...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
画像分析-标签宽表
在线画像分析服务如果按照这样的数据模型组织标签数据，不可避免的需要Join多张标签表来完成多标签的过滤，这对于数据库产品开销太大。方案介绍 Hologres标签宽表的方案是指将相对稳定的属性表离线聚合成宽表，将多张表的关联操作转化成对...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
标签管理
常用标签作用：在按标签数据检索时，可显示您设置的常用标签，直接点击标签即可筛选符合标签条件的数据。标注标签：其value需要与标注平台保持一致，可为枚举值或连续值。标签管理：支持对标签进行查看、编辑、删除等操作。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
用户洞察概述
用户分析：Quick Audience内置了强大的分析引擎，用户基于洞察分析功能可以实现对消费者的显著性特征识别，对各种画像标签进行分布观测，同时可以根据业务需要对自定义消费者运营模型（AIPL/RFM模型）进行分析，帮助企业快速了解企业当前的...
标签管理
选择工作空间>用户洞察>资产管理>标签管理，页面支持查看 用户标签数据集（含 自定义标签数据集）中的标签的概览信息，每个标签的使用情况统计数据，自定义标签，管理标签类目。标签概览信息 标签管理 页面上方展示标签概览信息，包括：...
数据检索与预览
增加数据标签：为选中的数据增加数据标签（标签key、标签值）。加入数据集：为已选中的图片选择归属的数据集，数据集可检索可新建。搜索相似图片：选择一张图片进行相似的图片检索（不得选中多张图片）。检测图中对象：自动检测目标图片中...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
新建商品标签数据集
您可以创建商品标签数据集，用于 货品推荐。标签是为字段配置的别名，有助于我们理解字段的含义。在使用标签时，实质上是在使用对应的字段。商品标签数据集是围绕商品的一系列标签数据的集合，除必须包含的商品标识外，还可包含价格、品类...
自定义标签
您可以自定义标签，将数据集的标签筛选、RFM模型筛选、AIPL模型筛选、行为筛选或交叉筛选的筛选条件定义为标签值，并生成自定义标签数据集。自定义标签数据集可像普通用户标签数据集一样用于透视分析、受众筛选、推送等，自定义标签可像...
管理自定义标签数据集
说明 自定义标签数据集名称前缀固定为“自定义标签数据集_用户标识类型_”，是一类特殊的用户标签数据集，是同一数据源下，同一个用户创建的相同用户标识类型的自定义标签的集合，请参见 自定义标签。编辑：如下图所示单击 图标进入数据集...
金融大数据
架构优势：提供了结构化与非结构化数据的融合方案 满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
新建用户标签数据集
您可以创建用户标签数据集，用于 透视分析、标签筛选受众 等。用户标签记录了用户的特征属性，在使用标签时，实质上是在使用对应的字段。用户标签数据集是围绕用户的一系列标签数据的集合，除必须包含的用户标识外，还可包含姓名、性别、...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
管理用户标签数据集
用户标签数据集支持搜索、编辑、标签类目管理、用户透视分析、更新、推送、推送历史、重命名、移动到、移除、权限设置、设为默认数据集，手动上传的用户标签数据集还支持查看上传结果。说明 若用户标签数据集名称前缀为“自定义标签数据集_...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
用户标签
基于用户标签数据，可以形成 用户画像，可以进行 透视分析、人群筛选 等。导入完成后，用户标签表中的标签将进入 标签列表，管理员可进行相应的操作，也可授权其他人员管理、使用标签。前提条件 已在您配置的 计算源 中存储用户标签表，...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
典型应用
基于ClickHouse构建用户特征行为分析系统 利用ClickHouse对人群标签数据进行实时筛选并进行群体画像统计；自定义条件对海量明细日志记录进行过滤，分析用户行为。用户分群统计 构建用户特征大宽表，任意选择用户属性标签数据和筛选条件，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
管理商品标签数据集
商品标签数据集支持编辑、标签类目管理、更新、更新设置、重命名、移动到、移除、权限设置。编辑：单击 图标，或者单击商品标签数据集名称进入数据集详情页面再单击 编辑，进入数据集编辑页面，可对数据集进行编辑。页面展示数据源、数据表...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
- 产品推荐
- 这些文档可能帮助您