组件参考：所有组件汇总
分层采样 给定一个分组列，该组件按照这些列的不同值，将输入数据分成不同的组，并在每组中分别进行随机采样。JOIN 该组件将两张表通过关联信息，合成一张表，并确定输出的字段，与SQL的JOIN语句功能类似。合并列 该组件将两张表的数据按列...
实例FAQ
一般需要1~2分钟完成实例创建，实例创建成功后：对Linux实例，您可以连接实例。具体步骤，请参见 连接ECS实例。对Windows实例，操作系统内部还需要使用sysprep进行初始化。初始化期间，请不要重启实例。初始化完成后，您可以连接实例。具体...
表分区
简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区或者少数几个分区时。划分可以取代索引的主导列、减小索引尺寸以及使索引中访问压力...
分区表常见问题
您可以创建一个新的相同定义的临时空表，然后将需要删除数据的分区做 EXCHANGE PARTITION，再将临时表删除。为什么分区表查询计划不准确？分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计...
使用SDK示例代码消费订阅数据
实现原理是当消费组下的正常消费数据的客户端发生故障后，其他的SDK客户端将随机且自动地分配到partition 0，继续消费。设置Java文件代码中的必填参数。表 1.必填参数说明 参数 说明 获取方式 brokerUrl 数据订阅通道的网络地址及端口号...
存储空间地域属性
✓×同城冗余存储 OSS采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性...
如何将一棵LSM-Tree塞进NVM
鉴于内存表设计为顺序追加的写入方式，为了避免该问题，半持久化内存表通过将小的写打包成大块的写（WriteBatch），并且顺序地将该WriteBatch写入到PM中，之后分别将其中的记录写入到易失性索引中。如上图所示，batch表示一个大块的...
Prompt最佳实践
Prompt 工程简介 Prompt（提示词）是一个指令、问题或者语句，能被 用来引导或指示一个语言模型生成特定的文本输出。Prompt是用户与语言模型交互的起始点，它告诉模型用户的意图，并且期望模型能以有意义且相关的方式回应。通过精心设计的...
PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
API详情
大语言模型 说明 支持的领域/任务：aigc Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是...
MongoDB 4.4功能概览
Google有一个 研究报告 表明，如果网页的加载时间超过3秒，用户的跳出率会增加50%。针对这个问题，MongoDB在4.4版本中提供了Hedged Reads功能，即在分片集群场景下，mongos节点会把一个读请求同时发送给某个分片的两个副本集成员，然后选择...
网络规划
概述 在云上，企业需要构建一个可扩展的安全可控的网络环境。公共云的网络环境与线下IDC类似，也是使用IP地址段作为基本单元划分不同的网络空间，公共云一般以VPC为基本单元，每个VPC使用一个IP网段，若干个VPC组成企业云上整体网络空间。...
创建压测场景
同步定时器：可设置 停顿时长 和 模拟用户数，表示在一定时间内先等待达到一定用户数然后触发测试，但若在设定时间内未达到指定用户数，则不会继续等待，直接触发测试。统一随机定时器：统一随机定时器用于控制停顿时长，可设置 延迟基准 ...
列存索引如何实现高效数据过滤
Bloom filter是具有空间效率的表示方法，可以快速确定一个元素在不在集合中，但它们可能会产生误报（false positives）-查询一个不在集合中的元素可能会错误地指示它在集合中。Bloom filter的优点是高效、空间效率高、可扩展性强和误判率可...
文档修订记录
创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统配置页面发布上线。您可通过系统配置：设置数据保护伞的识别内容、识别范围。设置水印文件...
流程控制-AB测试组件
例如：将同一个人群随机分为两组，各50%用户，向两组发送不同的推广短信话术，测试哪种话术下销量更高。配置步骤：单击AB测试组件，在右侧弹出的面板中进行配置，如下图所示。输入步骤名称。为每个分组设置分组名称和人数占比，单击 新建...
智能导购设置
支持新增中间层级部门，从企业微信应用可见范围内再次选择中间层级的关联部门 支持删除中间层级的关联部门 删除后，与该部门关联的账号将无法新增数据，仅能查看历史数据 数据新增 当一个用户属于两个数据节点，且需要创建数据（如创建任务...
SAP MaxDB部署指南
同一个安全组中的实例可以通过网络通信，但默认情况下，不同安全组中的实例无法通过内网通信。可以授权两个安全组之间的相互访问。安全组是可提供有状态数据包检查(SPI)功能的虚拟防火墙。安全组用于为一个或多个 ECS 设置网络访问控制。...
基于ECS实例创建伸缩组
您可以基于已有的ECS实例创建伸缩组，伸缩组创建完成后，系统会为您创建一个默认的伸缩配置，简化启用伸缩组前的准备操作，让您更快地使用伸缩组开始扩缩容。本文介绍如何基于ECS实例创建伸缩组。前提条件 如果需要为伸缩组关联传统型负载...
ClickHouse
仅Flink计算引擎VVR 8.0.7及以上版本支持使用balance的策略来均匀地将数据写入ClickHouse的本地表。仅ClickHouse社区兼容版支持写ClickHouse本地表。语法结构 CREATE TABLE clickhouse_sink(id INT,name VARCHAR,age BIGINT,rate FLOAT)...
创建RAID阵列（Linux）
独立冗余磁盘阵列RAID（Redundant Array of Independent Disks）是将多块云盘按一定的方式组成一个磁盘阵列组。相比单块云盘，RAID能够有效地提高磁盘的容量、读写带宽、可靠性和可用性。前提条件 已按需创建并挂载多块具有相同容量和类型...
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
如何把AB test系统接入到自有系统中
摘要 当用户已有一个推荐/搜索/广告引擎服务，暂时不想迁移到PAI-REC，但是又想用PAI-REC的AB实验平台的时候，可参考本文完成AB test的系统接入，包括实验的配置、sdk调用、指标设置和计算等工作。我们提供了python和java两种语言方便用户...
Databricks Runtime
Databricks Runtimes是在Databricks集群上运行的一组核心组件。Databricks提供了几种类型的Runtime。Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新极大地提高了大数据分析的可用性，...
高维向量相似度搜索（pgvector）
RDS PostgreSQL支持pgvector插件，提供了一个新的数据类型，能够方便快捷地对高维向量进行检索，是一款功能强大的向量相似度匹配搜索插件。背景 RDS PostgreSQL支持pgvector插件，能够存储向量类型数据，并实现向量相似度匹配，为AI产品...
消费-通过消费组实现高可靠消费
从这个例子可以看到，存取款是一个严格有序的操作，需要同一个柜员（处理器）来处理同一个用户的操作，这样才能保持状态一致性。实现保序的方法很简单：排队，创建一个Shard，终端只有一个柜员A来处理。用户请求先进先出，一点问题都没有。...
Bloom
Bloom是一种概率性数据结构（space-efficient probabilistic data structure），在大规模数据中，仅需消耗较低的内存来判断一个元素是否存在。而TairBloom基于Scalable Bloom Filter实现，具有动态扩容的能力，并且可以在扩容时维持误判率...
常见问题
搜索索引是宽表引擎与搜索引擎深度融合的特性，需要单独开通购买，核心功能为倒排索引和列存，适合较为复杂的多维查询场景，一个宽表只能创建一个搜索索引表，索引列个数最多1000个（默认）。二级索引是Lindorm宽表内置的特性，无需开通...
售卖清单和计费说明
用户360：将用户的相关信息集中展示，对其进行用户画像，并提供便捷的打标签功能，便于您进行线索追踪和售后跟进。用户分析：支持基于用户标签（含用户属性、自定义标签）的透视分析，基于AIPL模型的AIPL用户分析、AIPL流转分析，基于RFM...
创建应用服务
LHC 应用服务对 Kubernetes 原生的 Deployment 做了能力增强，您可以通过创建应用服务定义容器服务的基本信息、访问策略、发布及调度策略等信息，为后续容器服务的部署做准备。前提条件 已创建应用 已创建集群 或 已导入集群 创建应用服务...
现代IM系统中的消息系统—实现
在上文提到的用户关系中，通过用户的标识ID确认用户身份，但用户的属性信息（例如性别、签名、头像等）还是需要单独维护。表设计：表名为im_user_table，表结构如下图所示。用户元数据以user_id为标识，与同步库中的timeline_id一一对应。...
DTS基于VPN网关实现本地数据中心和VPC之间的数据同步
您需要创建两个用户网关用于创建两个加密隧道。以下仅列举本文强相关配置项，其余配置保持默认值或为空。更多信息，请参见 创建用户网关。配置项 说明 用户网关1 用户网关2 名称 输入用户网关的名称。输入 CustomerGW1。输入 CustomerGW2。...
如何优化高并发IM系统架构
背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号或者ID，并且保证递增，这个机制可以确保所有的消息能够按照...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
大模型RAG对话系统
在使用该服务进行推理验证时，它能够有效地从知识库中检索相关信息，并与大语言模型的回答相结合，以产生准确且信息丰富的答案，从而大幅提高问答的质量和整体性能。该服务适用于问答、摘要生成和依赖外部知识的自然语言处理任务。本文为您...
黄牛账号识别之GraphCompute解决方案
设备关系表需要人工添加，不利于扩展性 问题：对于插入一个新用户，需要先进行一（多）次查询找到相关的用户关系才能进行插入 问题：牺牲一些查询性能，增加了设备到用户查询 Step4：业务模型优化方案 基于业务考量，最终业务配置模型选择...
创建压测场景
同步定时器：可设置 停顿时长 和 模拟用户数，表示在一定时间内先等待达到一定用户数然后触发测试，但若在设定时间内未达到指定用户数，则不会继续等待，直接触发测试。统一随机定时器：统一随机定时器用于控制停顿时长，可设置 延迟基准 ...
ApsaraDB For OceanBase数据源
创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式...
配置机器人
功能概述 要实现智能对话机器人能够“智能”地回答用户问题，大致需要按以下步骤进行机器人配置：首先是需要创建机器人；其后是需要“赋予”机器人有关业务知识—— 配置机器人；再后是需要对具有知识的机器人的问答效果进行测评，以保证...
- 产品推荐
- 这些文档可能帮助您