向量降维服务训练

背景信息

随着技术的提升，开源及商业化向量模型更新迭代增快，底座模型变大变强的同时，用于文本、图像等模态的Embedding表征模型产出的Embedding维度也越来越大。随之也带来更高的使用成本，尤其在超大规模数据向量化场景中，用户需要承担高昂的存储和计算资源开销。因此，AI搜索开放平台推出向量降维服务，通过定制向量降维模型，达到在不明显降低效果的前提下，将高维向量转化为维度更小的向量，减少使用成本。

费用说明

按照训练实际消耗的计算资源CU数计费，每CU价格为3.87元，实际消耗的CU数取决于训练的数据量和维度。按照最小化训练10万条1024维数据，需消耗约250个CU，产生费用为250*3.87=967.5元。

操作步骤

1. 在AI搜索开放平台选择模型服务>服务配置，然后单击创建。

   如通过RAM账号进行模型创建、变更配置、查看模型详情等操作时，需要提前授予RAM账号模型服务相关的操作权限。

2. 在模型定制页面，配置以下参数信息。

   参数	说明
   模型名称	后续调用向量降维服务时的模型名称。
   类型	训练模型的类型，选择向量微调（embedding-tuning）。
   基础模型	用于训练的基础模型，如ops-embedding-dim-reduction-001。
   训练数据来源	MaxCompute。
   区域	MaxCompute所属地域。
   项目名	MaxCompute中的项目名称。
   AccessKeyId	拥有读写MaxCompute权限的阿里云账号或RAM账号的AccessKey ID。 您可以进入AccessKey管理页面获取AccessKeyId。
   Secret	AccessKeyId对应的Secret。
   表名	MaxCompute中存储训练数据的表的名称。
   表分区	表的分区信息。
   训练字段	需要提前为读写MaxCompute表结构的RAM账号授予GetTableFields（获取MaxCompute表结构）权限，此处才能选择主键字段和String类型的向量字段，向量字段维度范围为1024～4096维。

3. 单击确定，二次弹窗确定后，模型进入预处理状态，预处理完成后开始训练。

   您也可以在模型定制列表，找到待训练的模型进行训练。

   模型列表中，状态为可用的模型，表示训练完成且模型可被调用，单击体验，体验向量微调模型效果。

服务调用

模型服务效果符合预期时，可以通过API调用服务，请参见向量降维服务API。