使用ETL分析实时订单
案例背景 本案例将为您演示如何使用流式ETL功能，将实时交易数据（订单号、客户ID、产品/商品编码、交易金额、交易时间）与业务维度数据（产品编码、产品单价、产品名称等）相结合，并将满足过滤条件的数据（如统计单笔超3000的实时交易...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
NASDAQ美股数据的优势
2.NASDAQ美股数据质量高，已经成为行业标杆：美国股票市场的16家交易所都可以交易任何1家交易所上市的股票，交易所股票交易量的市场占有率对交易所数据质量来说尤为关键，此外由于TRF交易 申报机制的存在，超过40%的股票交易并不直接发生在...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
支持识别的行业模板
S3 节点启用日期 撤销跨境业务信息 S2 撤销业务受理日期 货币金银业务信息 假币管理信息 S2 假币收缴来源 S2 假币收缴日期 LEI管理业务信息 LEI注册信息 S2 LEI机构创建日期 LEI数据发布信息 S2 LEI机构验证状态 交易信息 交易通用信息 ...
全球数据库市场发展与机遇
伴随着云数据库的兴起和发展，云计算大潮来袭，传统数据库市场正面临重新洗牌，云数据库在内的一批新生力量崛起，动摇了传统数据库的垄断地位。经多年发展，国外数据库厂商在云数据库领域中依然走在世界前列。云是数据库市场的未来。根据...
开发Dataphin数据源并加速数据查询
Dataphin数据源创建成功后，数据服务自动将该数据源发布至数据服务市场的Dataphin数据源列表中，后续供应用调用。加速数据查询 为Dataphin数据源已绑定的计算空间添加Hologres计算源。具体操作，请参见 创建通用项目。在 Dataphin数据源 ...
测试与发布API
开发的API只有通过测试并发布至数据服务市场中，用户才可以在数据服务市场中查询并申请调用该API的权限。本文为您介绍如何测试与发布API至数据服务市场中。前提条件 在开始执行操作前，请确认您已完成API的创建。更多信息，请参见 API任务...
调用Dataphin数据源
操作流程 步骤一：查询并申请Dataphin数据源 在数据服务市场中，查询符合您业务场景的Dataphin数据源。查询到后申请该Dataphin数据源的调用权限。步骤二：调用Dataphin数据源 根据调用Dataphin数据源示例，进行调用Dataphin数据源。步骤一...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
JindoFS实战演示
JindoTable计算加速 文档链接 视频链接 视频发布时间 描述 Spark对OSS上的Parquet数据进行查询加速 Spark对OSS上的Parquet数据进行查询加速 2021-07-20 当前数据湖市场规模正在飞速增长，随着数据规模的增长，基于高性能的数据湖分析场景也...
淘宝万亿级交易订单背后的存储引擎
每次交易会涉及到会员信息验证、商品库信息查询、订单创建、库存扣减、优惠扣减、订单支付、物流信息更新和确认支付等，每个环节都涉及到数据库记录创建和状态更新，整个流程可能涉及到数百次数据库事务操作，整个数据库集群每天会执行数百...
基于MaxCompute实现拉链表
节点间的依赖关系，如下图所示：ods_order_di 表数据：交易下单源表，包含业务主键订单ID和需要追踪变化的订单状态status字段，用于存放每日新增交易下单数据。在 ods_order_di 节点编辑页面，需要将以下 ods_order.csv 测试数据，存储在 ...
目标库选型建议
阿里云上有很多种数据库，您可能一...OLTP 在线交易型数据库。OLAP 在线分析型数据库。HTAP 混合场景数据库。后续步骤 在 目标库选型建议 页签的页面底部，单击 下一步新建目标库评估，创建目标库评估项目。更多操作，请参见 数据库评估分析。
数据模型架构规范
例如，交易数据域中的“退款”这个业务过程的英文缩写可约定命名为“rfd_ent”。数据模型 模型是对现实事物的反映和抽象，能帮助我们更好地了解客观世界。数据模型定义了数据之间关系和结构，使得我们可以有规律地获取想要的数据。例如，在...
冷热分层
常见于交易类数据、时序监控和IM聊天等场景。按照访问热度：采用业务打标或系统自动识别等方式，按照数据的访问热度来区分冷热数据。例如，某旧博客突然被大量访问。此时不应该按照时间区分，而是应该按照具体的业务和数据分布规律来区分...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
数据服务概述
说明 云市场指较全面的API交易市场，其为用户提供一个售卖API的渠道。目前有数千款API产品在线售卖。加工后的数据供应用读取 用户使用DMS数仓开发对数据进行加工汇总后，希望在应用中读取这部分加工后的数据进行业务处理，则可通过API的...
背景信息及准备工作
建议目录为：workshop_sh/trade 和 workshop_sh/user 上传文件 下载 模拟数据，将交易记录和开户信息数据分别上传到trade、user目录。在DLA中完成以下准备工作 开通云原生数据湖分析服务。重置数据库密码。在Quick BI中完成以下准备工作 ...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
云市场介绍
什么是阿里云云市场 随着近年阿里云 IAAS 基础设施资源技术的日益成熟，市场的爆发增长，入驻云市场的 ISV 可以在享受资源规模效益和轻松部署的同时，借助云市场平台标准化的交易流程及丰富的客户资源，节省精力去专注商品品类和技术创新，...
行业趋势与背景
根据全球权威IT研究咨询公司的数据，2017年全球企业基础软件市场规模1958.52亿美金，其中数据库市场规模388亿美金，占比近20%，是最大组成部分。分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
数据引入层（ODS）
基于阿里巴巴OneData方法论最佳实践，ODS层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为长期累积的、非常细节的数据，且访问频率很高，是面向应用的数据。数据引入层表设计 本教程中，在ODS层...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
银行、金融
数据是由电商平台Vesta提供的交易记录，包括了交易相关的设备、地址、邮箱等信息，可以将数据模型抽象为下图：说明 在本文示例中，需要对交易涉及到属性信息进行较多的过滤、统计等操作，所以这里将交易记录及其属性信息建模成边；...
互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
使用DMS进行数据归档
功能介绍 DMS目前支持用户对企业主要的生产日志，交易等业务数据进行灵活的数据归档。AnalyticDB PostgreSQL版 Serverless模式实例作为数据归档引擎具有以下优势：支持表级归档、自定义归档条件、归档过程数据映射和归档清理等主流归档能力...
Dataphin新手引导
规范定义 创建主题域 主题域用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。在使用规范建模前，您需要完成主题域的创建。如何创建，请参见 创建主题域。创建业务实体 业务实体包含业务对象和业务活动，为接下来的规范...
什么是DataWorks
获奖经历 IDC：大数据平台公共云市场份额中国第一 Forrester：全球云数据仓库卓越表现者象限，国内唯一 中国信通院：首个通过577项技术要求的数据平台整体解决方案评测 中国电子学会科技进步特等奖 中国国际软件博览会金奖 浙江省科技进步...
聚合支付：Ping+
交易、订单表数据量巨大，单表数据量10亿级，需要拆库拆表以缓解数据库压力。历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容MySQL，迁移成本低。技术选型 主动在阿里云了解到 PolarDB-X。此前对比过开源产品Mycat。...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
- 产品推荐
- 这些文档可能帮助您