原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
典型使用场景
而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...
系统架构
本文为您介绍云数据库Memcache的系统架构。简介 云数据库Memcache版采取集群版架构。云数据库Memcache版内置数据分片及读取算法，整体过程对用户透明，免去用户开发及运维烦恼。每个分片节点采取主备架构保证服务高可用。系统架构 云数据库...
概述
对接实时计算，用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用...
关键大盘
应用大盘展示应用相关监控指标的大盘数据。进入实时监控控制台后，从左侧导航栏选择 关键大盘>业务大盘 或 应用大盘，可进入相应的大盘列表页面。本文主要介绍如何管理关键大盘，包括添加、查看、修改和删除操作。管理业务大盘 在 业务大盘...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
基础术语
数据库服务 Data Access Layer（DAL）大部分应用系统会涉及数据库访问，DAL 表示某个系统对数据库访问调用的统计数值。数据源 Data source 指通过监控产品配置的监控指标。通知人 Notificant 指报警消息的接收人，接收渠道为手机短信。通知...
概述
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。方案优势 T+1全量同步一键建仓...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
发布包总览概述
超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人）项目 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人）数据源 跨租户发布使用人...
发布包总览概述
超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 计算源负责人）项目 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块下的绑定的计算源或 项目负责人）数据源 跨租户发布使用人...
数据传输加密
数据动态加密 阿里云提供了数据动态加密功能，利用密钥管理服务和用户的应用系统集成，实现数据的动态加密，确保在写入、读取数据库或存储前，数据是加密的。从而更全面的保护动态传输中的数据安全。应用执行动态数据加密需要集成阿里云...
开始监控除Java之外的应用
通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报Node.js应用数据 通过SkyWalking上报Node.js应用数据 接入Node.js应用.NET应用 通过OpenTelemetry上报.NET应用数据 通过Jaeger上报.NET...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
SDK简介
通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
概述
本指南基于金融行业常见的转账和积分场景，指导您从单元化的技术架构和应用架构的规划，到环境搭建和单元化应用的开发部署，再到应用流量调拨和单元化功能的验证，逐步完成 SOFAStack 单元化能力的入门体验。前提条件 已搭建双机房环境。...
南京银行
银行基础产品在与 C 端、B 端以及同业等多种场景融合时，从系统架构和研发模式上都需要适应互联网场景的需求，实现快速接入、快速上线、快速迭代。解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 ...
快速上手可观测链路 OpenTelemetry 版
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL多种云计算资源进行物理表数据预览，可快速对各类数据资源下的物理表的...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
JindoData概述
JindoFSx存储加速系统 JindoFSx（JindoData服务）是原JindoFS Cache模式的全新升级版本，是面向大数据和AI生态的云原生数据湖存储加速系统，为大数据和AI应用访问各种云存储提供访问加速，支持数据缓存、元数据缓存和P2P加速等功能。...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
功能特性
通过OpenTelemetry上报Go应用数据 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 接入Python应用 支持通过OpenTelemetry、Skywalking、Jaeger上报Python应用性能数据。通过OpenTelemetry上报Python应用...
数据查询
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Hologres多种云计算资源进行物理表数据预览，可快速对各类数据资源下的...
技术架构选型
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
应用列表
您可以通过应用名称模糊搜索，或通过选择标签和 仅查看有数据应用 选项筛选应用。应用列表 页面显示了所有应用的名称、技术栈、探针类型、提供服务请求数、提供服务错误数、提供服务响应时间与Trace质量分数。说明 请求类型包含了除user_...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Hologres 多种云计算资源进行物理表数据预览，可快速对各类数据资源下的...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
- 产品推荐
- 这些文档可能帮助您