创建文档库

代码调用

def create_document_collection(account,
                               account_password,
                               namespace,
                               collection,
                               metadata: str = None,
                               full_text_retrieval_fields: str = None,
                               parser: str = None,
                               embedding_model: str = None,
                               metrics: str = None,
                               hnsw_m: int = None,
                               pq_enable: int = None,
                               external_storage: int = None,):
    request = gpdb_20160503_models.CreateDocumentCollectionRequest(
        region_id=ADBPG_INSTANCE_REGION,
        dbinstance_id=ADBPG_INSTANCE_ID,
        manager_account=account,
        manager_account_password=account_password,
        namespace=namespace,
        collection=collection,
        metadata=metadata,
        full_text_retrieval_fields=full_text_retrieval_fields,
        parser=parser,
        embedding_model=embedding_model,
        metrics=metrics,
        hnsw_m=hnsw_m,
        pq_enable=pq_enable,
        external_storage=external_storage
    )
    response = get_client().create_document_collection(request)
    print(f"create_document_collection response code: {response.status_code}, body:{response.body}")


if __name__ == '__main__':
    metadata = '{"title":"text", "page":"int"}'
    full_text_retrieval_fields = "title"
    embedding_model = "m3e-small"
    create_document_collection("testacc", "Test1234", "ns1", "dc1", 
                               metadata=metadata, full_text_retrieval_fields=full_text_retrieval_fields, 
                               embedding_model=embedding_model)


# output: body:
# {
#    "Message":"success",
#    "RequestId":"7BC35B66-5F49-1E79-A153-8D26576C4A3E",
#    "Status":"success"
# }

其中create_document_collection的参数说明如下：

• account：AnalyticDB PostgreSQL版实例的数据库初始账号。

• account_password：初始账号对应的密码。

• namespace: 文档库所在的Namespace名称。

• collection：要创建的文档库名称。

• metadata：自定义map结构的数据元信息，key为字段名，value为字段类型。

• full_text_retrieval_fields：自定义的逗号分隔的全文检索字段，字段必须属于metadata的key。

• parser：全文检索参数，分词器，默认zh_cn。详情请参见全文检索介绍。

• embedding_model：Embedding模型。详情请参见Embedding模型介绍。

• metrics：向量索引参数，索引算法。详情请参见向量索引。

• hnsw_m：向量索引参数，HNSW算法中的最大邻居数，范围1～1000。详情请参见向量索引。

• pq_enable：向量索引参数，索引是否开启PQ（Product quantization）算法加速。详情请参见向量索引。

• external_storage: 向量索引参数，是否使用mmap缓存。详情请参见向量索引。

查看数据库的变更效果

代码调用成功后，可登录DMS，查看创建的表结构（表名为ns1.dc1）。

全文检索介绍

为了提高检索的精度，除了向量相似度外，AnalyticDB PostgreSQL版还支持全文检索，并且能和向量相似度检索同时使用达到双路召回效果。

定义全文检索字段

在使用全文检索前，首先需指定哪些字段用于全文检索的数据源，文档库的接口已经默认使用content字段，您还可以指定其它的Metadata自定义字段。

分词

创建文档库时可以指定Parser字段作为分词器，一般场景下，使用默认的中文zh_ch即可，如果有特殊的分词字符要求，请联系阿里云技术支持。

在插入数据时，分词器会将全文检索指定字段的数据按照分词符切分，保存到to_tsvector中，供后续全文检索使用。

Embedding模型介绍

Embedding支持如下模型：

向量索引

向量索引支持设置如下参数：