使用EBS云盘自建向量数据库

更新时间:
复制 MD 格式

本实验使用ESSD AutoPL云盘自建LanceDB向量库,以体现开启性能突发功能在自建向量数据库中的性能优势。

计费说明

创建的实验任务本身不会收费,但在部署实验任务时,会根据使用的阿里云资源(ECS实例、云盘等)进行产品计费

实验室一键部署过程中使用到的阿里云资源仅支持按量付费。

使用EBS云盘自建向量数据库

重要

实验室部署的一键搭建能力可用于快速验证和测试新特性,不适合直接应用到生产环境中。生产环境建议手动部署向量数据库后。

本实验将创建两台挂载ESSD AutoPL数据盘并预先部署好向量数据库的实例。其中一台实例的ESSD AutoPL云盘开启“性能突发”功能作为实验组,另一台保持关闭作为对照组,以此构成对比测试环境。

  1. 前往实验场景页面。

    1. 登录块存储EBS控制台

      首次登录EBS控制台时,请根据页面提示创建一个EBS服务关联角色。更多信息,请参见块存储EBS服务关联角色
    2. 在左侧导航栏选择实验室 实验场景

    3. 在顶部菜单栏左上角处,选择地域。

    4. 在使用EBS云盘自建向量数据库实验场景模板中,单击一键创建实验任务

  2. 设置实验场景的基础信息后,单击下一步

    参数

    说明

    实验场景

    默认为使用EBS云盘自建向量数据库

    实验任务名称

    已默认填写,可以根据需要修改。

    描述(可选)

    设置实验任务的描述信息。

    高级配置(可选)

    为实验任务设置标签和资源组信息。

  3. 在依赖检查界面,系统将自动检测所需的服务及角色是否已创建。

    1. 若依赖检查未通过,请单击创建服务角色依照界面提示完成创建。

    2. 创建完成后,单击缺失角色旁的刷新。当界面显示为未发现异常时,单击下一步

      说明

      若依赖检查仍有异常(如缺少服务关联角色AliyunEbsLabRole或相关权限策略),请先参考初始化 EBS 实验室环境完成配置。

  4. 资源参数页面,确定或修改实验任务的参数后,单击下一步

    参数

    说明

    可用区

    选择ACK集群节点所在的可用区。示例选择cn-hangzhou-b

    ECS实例规格

    推荐使用816GiB以上的ECS实例规格。示例选择ecs.c7.2xlarge

    ECS实例密码

    根据需要设置ECS实例密码。

    重要

    请牢记设置的密码,以便后续远程连接。

  5. 检查确认配置参数以及费用信息后,单击确认。在弹出的创建实验任务对话框中,单击确定

    创建任务成功后,系统会准备资源,并搭建好对应的实验场景,请耐心等待。

    实验任务依赖于ROS资源编排能力,一个实验任务对应于一个资源栈,最多允许创建200个实验任务。

验证与清理

验证方案

  1. 当任务状态变为创建完成后,单击实验任务ID,进入任务详情页面。

  2. 登录关闭ESSD AutoPL性能突发ECS实例。

    1. 基础信息配置信息中,单击配置项DisabledBurstEcsLoginAddress对应的

    2. 输入设置的密码后,登录ECS实例。

      若忘记密码,可返回任务详情页面,查看配置项EcsInstancePassword对应的获取。
    3. 在实例内运行python /data/self_built_vector_db.py命令,压测LanceDB数据库。

      该脚本使用多线程对 LanceDB 进行大规模并发查询测试,测量并汇总每种查询类型的平均、最长和最短耗时,以评估数据库性能。

      image

      示例表示关闭ESSD AutoPL云盘实例的并发节点查询总耗时约为3415秒,平均查询耗时约为341秒。

  3. 登录开启ESSD AutoPL性能突发ECS实例。

    1. 返回任务详情页,单击配置项AutoBurstEcsLoginAddress对应的

    2. 输入设置的密码后,登录ECS实例。

      若忘记密码,可返回任务详情页面,查看配置项EcsInstancePassword对应的值获取。
    3. 在实例内运行python /data/self_built_vector_db.py命令,压测LanceDB数据库。

      该脚本使用多线程对 LanceDB 进行大规模并发查询测试,测量并汇总每种查询类型的平均、最大和最小耗时,以评估数据库性能。

      image

      示例表示开启ESSD AutoPL云盘实例的并发节点查询总耗时约为2073秒,平均查询耗时约为207秒。与关闭突发实例相比,耗时缩短,性能提升。

清理资源

  1. 块存储EBS控制台左侧导航栏中,选择实验室 > 实验记录

  2. 在顶部菜单栏左上角处,选择地域。

  3. 在目标实验任务的操作列,单击删除

    也可以选中多个实验任务,在列表底部单击批量删除
    重要

    删除实验任务时默认不会释放实验资源,如果选中删除资源,实验任务中的资源,例如ECS实例、数据库实例等均会被释放,请谨慎操作。