使用EBS云盘自建向量数据库

更新时间:
复制 MD 格式

本实验使用ESSD AutoPL云盘自建LanceDB向量库,以体现开启性能突发功能在自建向量数据库中的性能优势。

计费说明

创建的实验任务本身不会收费,但在部署实验任务时,会根据使用的阿里云资源(ECS实例、云盘等)进行产品计费

实验室一键部署过程中使用到的阿里云资源仅支持按量付费。

使用EBS云盘自建向量数据库

重要

实验室部署的一键搭建能力可用于快速验证和测试新特性,不适合直接应用到生产环境中。生产环境建议手动部署向量数据库后。

本实验将创建两台挂载ESSD AutoPL数据盘并预先部署好向量数据库的实例。其中一台实例的ESSD AutoPL云盘开启“性能突发”功能作为实验组,另一台保持关闭作为对照组,以此构成对比测试环境。

  1. 前往实验场景页面。

    1. 登录块存储EBS控制台

      首次登录EBS控制台时,请根据页面提示创建一个EBS服务关联角色。更多信息,请参见块存储EBS服务关联角色
    2. 在左侧导航栏选择实验室 实验场景

    3. 在顶部菜单栏左上角处,选择地域。

    4. 在使用EBS云盘自建向量数据库实验场景模板中,单击一键创建实验任务

  2. 设置实验场景的基础信息后,单击下一步

    参数

    说明

    实验场景

    默认为使用EBS云盘自建向量数据库

    实验任务名称

    已默认填写,可以根据需要修改。

    描述(可选)

    设置实验任务的描述信息。

    高级配置(可选)

    为实验任务设置标签和资源组信息。

  3. 在依赖检查界面,系统将自动检测所需的服务及角色是否已创建。

    1. 若依赖检查未通过,请单击创建服务角色依照界面提示完成创建。

    2. 创建完成后,单击缺失角色旁的刷新。当界面显示为未发现异常时,单击下一步

  4. 资源参数页面,确定或修改实验任务的参数后,单击下一步

    参数

    说明

    可用区

    选择ACK集群节点所在的可用区。示例选择cn-hangzhou-b

    ECS实例规格

    推荐使用816GiB以上的ECS实例规格。示例选择ecs.c7.2xlarge

    ECS实例密码

    根据需要设置ECS实例密码。

    重要

    请牢记设置的密码,以便后续远程连接。

  5. 检查确认配置参数以及费用信息后,单击确认。在弹出的创建实验任务对话框中,单击确定

    创建任务成功后,系统会准备资源,并搭建好对应的实验场景,请耐心等待。

    实验任务依赖于ROS资源编排能力,一个实验任务对应于一个资源栈,最多允许创建200个实验任务。

验证与清理

验证方案

  1. 当任务状态变为创建完成后,单击实验任务ID,进入任务详情页面。

  2. 登录关闭ESSD AutoPL性能突发ECS实例。

    1. 基础信息配置信息中,单击配置项 EcsLoginAddress 对应的

    2. 输入设置的密码后,登录ECS实例。

      若忘记密码,可返回任务详情页面,查看配置项 EcsInstancePassword 对应的获取。
    3. 在实例内运行python /data/self_built_vector_db.py命令,压测LanceDB数据库。

      该脚本使用多线程对 LanceDB 进行大规模并发查询测试,测量并汇总每种查询类型的平均、最长和最短耗时,以评估数据库性能。

      image

      示例表示关闭ESSD AutoPL云盘实例的并发节点查询总耗时约为381.40秒,平均单次查询耗时约为2.934秒。

  3. 登录开启ESSD AutoPL性能突发ECS实例。

    1. 开启ESSD AutoPL性能突发。

      1. 返回任务详情页,单击配置项 EcsInstanceDetailUrl 对应的,打开实例详情页。

      2. 单击块存储页签,在数据盘的操作列中选择更多 > 编辑属性

      3. 编辑云盘属性对话框,选中性能突发后的开启后,单击确定

  4. 在实例详情页中,单击远程连接,选择通过Workbench远程连接。根据页面提示登录,进入终端页面。

    若忘记密码,可返回任务详情页面,查看配置项EcsInstancePassword对应的值获取。
  5. 在实例内运行python /data/self_built_vector_db.py命令,压测LanceDB数据库。

    该脚本使用多线程对 LanceDB 进行大规模并发查询测试,测量并汇总每种查询类型的平均、最大和最小耗时,以评估数据库性能。

    image

    示例表示开启ESSD AutoPL云盘实例的并发节点查询总耗时约为160.76秒,平均单次查询耗时约为1.237秒。与关闭突发实例相比,耗时缩短,性能提升。

清理资源

  1. 块存储EBS控制台左侧导航栏中,选择实验室 > 实验记录

  2. 在顶部菜单栏左上角处,选择地域。

  3. 在目标实验任务的操作列,单击删除

    也可以选中多个实验任务,在列表底部单击批量删除
    重要

    删除实验任务时默认不会释放实验资源,如果选中删除资源,实验任务中的资源,例如ECS实例、数据库实例等均会被释放,请谨慎操作。