JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
东软案例
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用...
API概览
本产品（云数据库 MongoDB 版/...DescribeDBInstanceAttribute 查询云数据库MongoDB实例的信息 查询云数据库MongoDB实例的信息。DescribeRoleZoneInfo 查询实例的各节点的角色和所属的可用区 查询MongoDB实例的各节点的角色和所属的可用区。...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
服务介绍
网站会员、商品信息检索场景，一般保存大量的商品/会员信息，并需要根据少量条件进行复杂且任意的查询，以满足网站用户任意搜索需求等。Search服务的整体数据流如上图，数据写入HBase后，BDS负责将数据实时同步到Search索引中。在此架构下...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
全文索引服务
网站会员、商品信息检索场景，一般保存大量的商品/会员信息，并需要根据少量条件进行复杂且任意的查询，以满足网站用户任意搜索需求等。Search服务的整体数据流如上图，数据写入HBase后，BDS负责将数据实时同步到Solr中。在此架构下，HBase...
应用场景
场景二：带有计数系统的库存系统 使用RDS存储商品的所有信息，通过 云数据库Redis版 来存储商品的库存信息。在高并发、大流量场景下，Redis的极高性能可以轻松应对每一次来自用户的商品库存查询，避免所有查询请求全部进入RDS，导致业务...
API概览
ModifyInstance 修改实例信息 当您需要修改实例的托管模式、数据库账密、功能包等基本信息，及环境类型、实例在DMS的名称、查询和导出数据的超时时间等高级信息时，可调用该API。ListInstances 获取实例信息列表 调用ListInstances接口，...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
API概览
DescribePackages 查询数据包的信息 调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。DescribeCategoryTemplateList 查询行业模板列表 调用本接口查询行业模板列表。...
API概览
DescribeDBClusterNetInfoItems 查看网络信息 查询指定云数据库ClickHouse集群的网络信息。账号管理 API 标题 API概述 DescribeAccounts 查询账号信息 查询指定云数据库ClickHouse集群的数据库账号信息。CreateAccount 创建账号 调用...
FineReport
如新建数据集 ds2，写入数据库查询语句 SELECT 门店名称,SUM(销售额)AS 销售总量 FROM demo_sales GROUP BY 门店名称，查询并取出每个门店的销售总量信息。单击 确定，在数据集管理面板查看取出的数据。示例 在报表中通过表格和柱状图展示...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
查看系统审计到的语句
TopSQL TopSQL语句查询是根据 平均耗时、耗时总量和 执行次数，对数据库执行的语句信息进行查询排序，并按照由大到小进行排列。可选：选择查询的时间段，单击 查询。查询到数据后，系统会根据查询到的内容，智能列出筛选条件，后续您可以...
API概览
GetDatabaseObjects 查询数据库信息 查询数据库信息。GetTable 查询表信息 获取表信息。GetTableColumns 查询列信息 查询列信息。GetTableDDL 查询建表语句 查询建表语句。GetTableObjects 查询表信息 查询表信息。诊断优化 API 标题 API...
通过跨库Spark SQL任务将数据同步到OSS
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的查询权限。如需申请权限，请参见 DMS访问控制权限概述。创建一个OSS Bucket，并录入DMS中，用于存储数据。在DMS中录入OSS实例，请参见 录入对象存储...
公开数据集概述
TPCx-BB是一个大数据基准测试工具，该工具模拟了一个网上零售的场景，包含销售记录和退货记录，同时包含商品信息和促销信息等，详情如下：customer（客户信息）customer_address（客户地址信息）customer_demographics（客户基本信用信息）...
API概览
DescribeDBInstanceNetInfo 查询实例网络信息 查询指定云数据库SelectDB版实例的网络信息。DescribeSecurityIPList 查询实例白名单IP 查询指定云数据库SelectDB版实例的白名单IP。ModifySecurityIPList 修改白名单 修改指定云数据库...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
API概览
DescribeDBInitializeVariable 查询数据库属性 查询PolarDB PostgreSQL版（兼容Oracle）或PolarDB PostgreSQL版数据库支持的字符集、排序规则等属性。ModifyDBDescription 修改数据库备注说明 修改PolarDB MySQL版数据库的备注说明。全球...
通过任务编排实现跨库数据同步
本文通过在任务编排中创建跨库Spark任务，实现了定期将在线库中的订单表和商品表同步到数据仓库中进行数据分析，并将分析结果回流在线库中供管理者查询。前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据...
配置安全规则
查看规则引用 您可以查询数据库关联的规则信息，并按需进行关联规则、取消关联规则、禁用规则、启用规则等操作。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 规则配置>安全规则>规则引用。在 规则引用 ...
引擎简介
文本检索 例如商品信息检索场景，一般会保存大量商品文本信息，希望通过某个指定短语检索查询符合条件的商品。服务开通 如何开通搜索引擎，具体请参见 开通指南。使用指南 搜索引擎支持标准SQL访问，同时支持Web式操作，具体操作请参见 ...
客户案例
收藏夹的查询是收藏记录和商品信息的一个连接查询，平均每个查询都需要连接上百条记录，且双 11 的用户展示的峰值能达到数十万每秒左右。对数据库的性能提出了严苛要求。优化结果 利用 OceanBase 数据库先进的分布式的特性，把单表数据自动...
如何处理Tair集群数据倾斜
可通过 查询慢日志 功能查询数据分片节点的慢日志。业务侧需减少或禁止使用高消耗命令，如需禁用命令，可以在 参数设置 中配置#no_loose_disabled-commands 参数。Hash Tags 若Key名称中包含 {}，例如 {item}id1，则Tair仅会对 {} 中的内容...
管理样本数据集
AnalyticDB PostgreSQL版 提供了样本数据集，方便您快速体验或测试 AnalyticDB PostgreSQL版 实例。样本数据集的相关查询语句，请参见 示例查询。...相关文档 样本数据集的结构以及示例查询语句，请参见 数据集信息和示例查询。
如何处理Redis集群数据倾斜
可通过 查询慢日志 功能查询数据分片节点的慢日志。业务侧需减少或禁止使用高消耗命令，如需禁用命令，可以在 参数设置 中配置#no_loose_disabled-commands 参数。Hash Tags 若Key名称中包含 {}，例如 {item}id1，则Tair仅会对 {} 中的内容...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
实时Top Key统计
云原生内存数据库Tair 集成了DAS的Key分析功能，可实时展示实例中的大Key和热Key信息，同时支持查看4天内的大Key和热Key历史信息。该功能可帮助您掌握Key的访问频次、元素个数等信息，为您的优化操作提供数据支持。注意事项 实例为 内存型 ...
ETL工作流快速体验
电商漏斗模型分析 DataWorks MaxCompute 数据开发 基于漏斗模型，使用DataStudio 数据开发 模块完成从原始数据获取购买商品的用户路径数据，并计算从用户的浏览、点击、购买环节流量的转化情况。智慧城市人口财产主题分析 DataWorks ...
查看备份计划
说明 关于查询备份集和下载备份数据，更多信息，请参见 备份集查询功能概览 和 备份集下载功能概览。增量数据备份 如果配置了增量数据备份功能，则显示增量备份数据。说明 每行增量备份数据，仅包含在该增量备份时间段内备份的增量数据，非...
API概览
其他 API 标题 API概述 主机 主机 DescribeDedicatedHostGroups 查询RDS主机组信息 查询RDS专属集群信息。DescribeDedicatedHosts 查询RDS主机组内的主机信息 查询专属集群内的主机信息。MigrateDBInstance 迁移主机组内的RDS实例 调用...
使用Redis搭建电商秒杀系统
如果秒杀的商品是1万，甚至10万级别，那数据库锁冲突将带来很大的性能瓶颈。因此，利用消息队列组件，当秒杀服务将订单信息写入消息队列后，即可认为下单完成，避免直接操作数据库。消息队列组件依然可以使用Redis实现，在R2中用list数据...
性能分析
Top SQL语句 Top SQL语句查询，是根据平均响应时间、总响应时间、执行次数几个条件对数据库执行的语句信息进行查询排序，排列顺序由大到小。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>性能...
API概览
DescribeDBResourceGroup 查询数据库资源组信息 调用DescribeDBResourceGroup接口查询AnalyticDB MySQL数仓版（3.0）集群的资源组信息。ModifyDBResourceGroup 修改数据库集群资源组 调用ModifyDBResourceGroup接口变更AnalyticDB MySQL数...
OpenAPI列表
任务运维 ListSupplementDagrun 根据查询条件列出补数据工作流下的每一个业务日期对应的DagRun信息。ListSupplementInstance 列出补数据工作流下具体一个业务日期的所有节点的实例。QueryInstanceUpDownStream 查询实例的上下游，支持逻辑...
- 产品推荐
- 这些文档可能帮助您