管理Collections
res=client.get_load_state(collection_name="milvus_collection1")print(res)#为milvus_collection1创建索引。client.create_index(collection_name="milvus_collection1",index_params=index_params)#查询创建索引后milvus_collection1的...
通过Logstash迁移自建Elasticsearch数据
重要 Logstash服务不会将源索引的 settings 等信息拷贝到目标索引中，因此，如果您希望目标索引具备与源索引相同的配置或映射规则，则需要在创建目标索引时进行配置，预先指定好 settings，mappings，shard counts 等参数。本文使用 ...
查询语法
如何确定查询方式 了解当前日志库配置的索引类型，日志库支持配置全文索引、字段索引、同时配置全文索引和字段索引。更多关于配置索引的建议请参见：创建索引。日志库只配置了全文索引，则只能使用全文查询语法进行查询。日志库配置了字段...
将Amazon OpenSearch Service中的Elasticsearch索引...
本文介绍如何将Amazon OpenSearch Service中的Elasticsearch（以下简称ES）索引数据迁移到阿里云Elasticsearch中。方案说明 该方案不局限云服务厂商，均依赖ES快照机制实现。例如，使用阿里云在线迁移（迁移实施）将存储在腾讯云COS的ES...
二级索引简介
维度 全局二级索引 本地二级索引 同步方式 异步方式 同步方式 第一列主键要求 可选数据表中的任意主键列或者预定义列 必须和数据表的第一列主键相同 同步延迟 毫秒级别 实时 读取一致性 最终一致性 强一致性 功能特性 二级索引的功能特性...
Search
基于TairSearch加速多列索引联合查询 基于TairSearch构建股票K线实时计算服务 在TairSearch中使用Msearch实现索引分片搜索 在TairSearch中使用bool进行组合条件查询 前提条件 实例为 Tair 内存型：内存型（兼容Redis 5.0）：小版本为1.7.27...
基于AnalyticDB for PostgreSQL图搜API构建图搜应用
export ALIBABA_CLOUD_ACCESS_KEY_ID="<YOUR_ALIBABA_CLOUD_ACCESS_KEY_ID>"export ALIBABA_CLOUD_ACCESS_KEY_SECRED="<YOUR_ALIBABA_CLOUD_ACCESS_KEY_SECRET>"准备工作 创建向量表或索引 创建向量索引：收集并准备要建立索引的向量数据，...
并行DDL
前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及以上。PolarDB MySQL版 8.0.1版本且修订版本为8.0.1.1.10及以上。PolarDB MySQL版 5.7版本且修订版本为5.7.1.0.7及以上 ...
将Elasticsearch数据迁移至OpenStore冷热分离存储
max_num_segments=1 创建快照 在原Elasticsearch集群中为索引创建快照mig，如下示例：PUT_snapshot/my_backup/mig {"indices":"test_index"} 查看快照信息 查看mig的快照信息：GET_snapshot/my_backup/mig 预期结果如下：{"snapshots":[{...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
规格容量评估
根据以上因素得到建议集群存储空间：集群存储空间=源数据*（1+副本数量）*索引开销/（1-操作系统预留空间）/（1-ES实例内部开销）/（1-安全阈值）=源数据*（1+副本数量）*1.7=源数据*3.4 说明 以上计算以副本数量为1为例，如果调整副本数量...
表的创建和使用
在HybridDB for MySQL中可以通过如下语法来创建表。创建表 CREATE TABLE db_name.table_name(auto_id bigint[NOT NULL]AUTO_INCREMENT,col1 boolean[NULL|NOT NULL][DEFAULT default_value],col2 tinyint[NULL|NOT NULL][DEFAULT default_...
通过_split API快速拆分主分片
当您使用Elasticsearch集群出现索引分片设置不合理（例如索引主分片设置不合理、每个分片存在大量数据等）引发集群性能问题时，可通过_split API在线扩大主分片数，将现有索引拆分为具有更多主分片的索引。本文介绍如何通过_split API快速...
基本概念
Elasticsearch 7.0以下版本默认为一个索引创建5个主分片，并分别为每个主分片创建1个副本分片，7.0及以上版本默认为一个索引创建1个主分片和1个副本分片。两者区别如下：分片类型 支持处理的请求 数量是否可修改 其他说明 主分片 支持处理...
高维向量相似度搜索（pgvector）
最大支持创建16000维度的向量，最大支持对2000维度的向量建立索引。相关概念及实现原理 嵌入 嵌入（embedding）是指将高维数据映射为低维表示的过程。在机器学习和自然语言处理中，嵌入通常用于将离散的符号或对象表示为连续的向量空间中的...
通过Elasticsearch X-Pack角色管理实现用户权限管控
当您需要设置集群、索引、字段或其他操作的访问权限时，可以通过Elasticsearch X-Pack的RBAC（Role-based Access Control）机制，为自定义角色分配权限，并将角色分配给用户，实现权限管控。Elasticsearch提供了多种内置角色，您可以在内置...
生成列
sidea|sideb|sidec|+-+-+-+|1.0|1.0|1.4142135623730951|3.0|4.0|5.0|6.0|8.0|10.0|+-+-+-+示例2 创建分区表t1，其中含有生成列b：CREATE TABLE `t1`(`a` int(11)NOT NULL,`b` int(11)GENERATED ALWAYS AS(`a`+1),PRIMARY KEY(`a`))ENGINE=...
动态修改schema
如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...
Node.js SDK快速入门
本文介绍如何快速使用日志服务Node.js SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
通过Filebeat采集Apache日志数据
开启阿里云Elasticsearch实例的 自动创建索引 功能。出于安全考虑，阿里云Elasticsearch默认不允许 自动创建索引。但是Beats目前依赖该功能，因此如果 采集器Output 选择为 Elasticsearch，需要开启自动创建索引功能。具体操作，请参见 ...
插件配置概述
6.7.0及以上（内核版本为1.2.0及以上）重要 实例版本为6.7.0且内核版本为1.2.0及以上，或7.10.0时，向量检索插件默认集成在apack插件中（默认已安装）；实例版本为6.7.0以上（7.10.0除外），或者实例版本为6.7.0且内核版本小于1.2.0时，...
全局索引
全局索引（GLOBAL INDEX）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.4.0及以上）说明 您可通过如下语句查看 ...
全局索引
全局索引（GLOBAL INDEX）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.4.0及以上）说明 您可通过如下...
UpdateIndex
调用UpdateIndex接口更新指定Logstore的索引配置信息。该操作不会重建索引。接口说明 Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有...
pg_repack
dry-run$pg_repack-dry-run \-no-superuser-check-echo-no-order \-h 连接串-p 端口-d database1-U user-table schema1.table1-实际执行$pg_repack \-no-superuser-check-echo-no-order \-h 连接串-p 端口-d database1-U user-table schema...
配置YML参数
通过配置阿里云Elasticsearch实例的YML参数，您可以设置允许自动创建索引、删除索引指定名称、配置Auditlog索引、开启Watcher以及其他配置。本文介绍如何配置YML参数、CORS访问、reindex白名单、Auditlog和queue大小。注意事项 2020年10月...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
Elasticsearch 7.x及以上版本的索引默认包含1个主shard，1个副shard。重要 shard大小和数量是影响Elasticsearch集群稳定性和性能的重要因素，您需要设置合理的shard数，shard的评估方法请参见 规格容量评估。字符串Index 同步至目标...
创建APM Server实例
阿里云Elasitcsearch提供云上一键托管的应用性能监控Server实例，支持一键快速创建APM Server节点实例，并对实例进行灵活高效的扩缩及配置。单个Server节点通常可以处理来自数百个APM Agent代理的数据。本文介绍如何创建APM Server实例。...
向量分析性能测试
AnalyticDB PostgreSQL服务端规格 引擎版本 高性能版节点规格 计算节点数量 计算节点存储空间 计算节点存储类型 v6.6.1.0 16C64G 4个 1000 GB ESSD 云盘 PL1 8C32G 4C16G 客户端ECS规格 CPU 内存 磁盘 16 核 32 GB 2 TB 准备工作 准备测试...
pg_repack
说明 pg_repack会在第1、2、6、7步短暂持有原表的ACCESS EXCLUSIVE锁。其余步骤pg_repack只需要持有原表的ACCESS SHARE锁，不阻塞对原表的 INSERT、UPDATE 和 DELETE 操作，但会阻塞 DDL 操作。pg_repack需要额外的存储空间来保存新表和...
常见问题
本文汇总了搜索索引的常见问题。开通与购买 为什么已购买搜索引擎，使用搜索索引还需要单独开通？功能特性 什么是搜索索引？搜索索引的适用场景有哪些？搜索索引与二级索引的区别是什么？模糊查询和分词查询的区别及适用的场景有哪些？分区...
如何分析非索引字段？
如果您要分析日志（SELECT语句），需要为目标字段创建字段索引且打开对应字段的 开启统计 开关。如果您要分析日志但未提前创建索引或无法创建索引，可通过本文方法解决。创建或重建索引 如果是分析新写入的日志，则直接为目标字段创建索引...
文本向量场景快速入门
或至少一个索引表分片数为1，其余索引表分片数一致 数据更新资源数：数据更新所用资源数，每个索引默认免费提供2个4核8G的更新资源，超出免费额度的资源将产生费用，详情可参考 向量检索版计费概述 场景模板：向量检索版内置了3种模板可供...
通过Reindex API迁移自建Elasticsearch数据
Reindex API是Elasticsearch提供的一种用于将数据从原有的索引迁移至目标索引的接口。如果您需要迁移数据，且源索引的数据不需要进行复杂的转换和处理，您可以按照本文提供的步骤，使用Reindex API将数据从自建Elasticsearch集群迁移至...
动态增加或删除列存索引的DDL语法
本文介绍了如何在建表之后，通过DDL语句动态创建和删除列存索引。前提条件 在添加完只读列存节点，并配置好对应的集群地址后，您可以通过集群地址连接到集群，使用SQL语句创建并管理列存索引。添加只读列存节点。配置集群地址。为了实现行...
采集Syslog
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
采集主机文本日志
前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP地址机器组。安装Logtail的主机需开放80（HTTP）端口和443（HTTPS）端口。ECS实例的端口由安全组规则控制，添加安全组...
实时日志查询
计费说明 当Logstore的计费模式为按使用功能计费时，如果OSS日志存储时间不超过7天，且当天写入流量（压缩后）或索引流量不超过900 GB（如果一条访问日志为1 KB，约为9亿条），则日志服务不收取相关费用。当OSS日志存储时间超过7天，或7天...
Bitmap索引
本文主要介绍 云数据库SelectDB 中的Bitmap 索引 及使用时的注意事项。背景信息 位图索引（Bitmap Index）是一种快速数据结构，能够加快查询速度。本文 主要介绍如何创建索引（index）作业，以及创建索引（index）的一些注意事项和常见问题...
数据备份概述
兼容性如下表所示：索引创建版本 目标集群版本 6.8 7.0–7.1 7.2–7.16 8.0-8.2 8.3-8.5 5.0–5.6 支持 不支持 不支持 不支持 支持 6.0–6.7 支持 支持 支持 不支持 支持 6.8 支持 不支持 支持 不支持 支持 7.0–7.1 不支持 支持 支持 支持...
- 产品推荐
- 这些文档可能帮助您