DashScopeJsonNodeParser

开始

前提条件

首先，登录https://bailian.console.aliyun.com/，获取你的API-KEY，当需要指定业务空间时也要获取指定“业务空间id”。

• 已创建API-KEY: 获取API-KEY。

• 已创建业务空间：如何使用业务空间。

然后，安装DashScopeJsonNodeParser的安装包（python>=3.8,<=3.12）

pip install llama-index-core
pip install llama-index-node-parser-dashscope

示例代码

import json
import os
from llama_index.node_parser.dashscope import (
    DashScopeJsonNodeParser,
)
from llama_index.core.ingestion import IngestionPipeline
from llama_index.core.schema import Document

# Set your Dashscope API key in the environment
os.environ["DASHSCOPE_API_KEY"] = "your_api_key_here"

documents = [
    # Prepare your documents obtained from the Dashscope reader
]

# Initialize the DashScope JsonNodeParser
node_parser = DashScopeJsonNodeParser(
    chunk_size=100, overlap_size=0, separator=" |,|，|。|？|！|\n|\?|\!"
)

# Set up the ingestion pipeline with the node parser
pipeline = IngestionPipeline(transformations=[node_parser])

# Process the documents and print the resulting nodes
nodes = pipeline.run(documents=documents, show_progress=True)
for node in nodes:
    print(node)

Note：

• DashScopeJsonNodeParser主要用于配合DashScopeParse使用

参数说明