常见问题

本篇文档主要介绍在使用大模型服务平台百炼中常见问题。

计费相关

  1. 目前阿里云百炼平台中模型服务中各模型的收费单价是什么?

    目前各模型的计费单价已汇总,请点击计费项说明查看。

  2. 模型部署的费用是如何计算的?

    模型部署实例时,支持选择独占实例数进行实例部署。实例是由算力单元组成。不同模型的实例对应的算力单元不同。其中1个算力单元的价格是20元/小时。详细内容请在模型部署控制台页面查看。

    定价对象

    规格

    详情

    价格(单位:元)

    计费模式

    大模型独占实例

    qwen-turbo

    基础大模型支持选择独占实例;训练出来的专属大模型必须独占实例。

    ¥20,000.00/月

    预付费

    ¥40/实例/小时

    后付费

    qwen-plus

    基础大模型支持选择独占实例;训练出来的专属大模型必须独占实例。

    ¥80,000.00/月

    预付费

    ¥160/实例/小时

    后付费

    qwen-max

    基础大模型支持选择独占实例;训练出来的专属大模型必须独占实例。

    ¥160,000.00/月

    预付费

    ¥320/实例/小时

    后付费

    说明

    部署费用=算力单元 X 算力单元单价,部署失败不收取费用,按量付费模式下部署成功后开始计费,包月资源模式下,需要提前购买资源实例方可进行使用,部署成功后不再额外计费。

  3. 通义千问大模型训练单价计费是什么?

    大模型训练费用=训练集Tokens总数 X 循环次数 X 训练单价。

    定价对象

    规格

    详情

    价格(单位:元)

    计费模式

    大模型训练

    qwen-turbo

    SFT训练

    ¥0.03/1,000 tokens

    后付费

    qwen-plus

    SFT训练

    ¥0.15/1,000 tokens

    后付费

    qwen-vl-plus

    SFT训练

    ¥0.03/1,000 tokens

    后付费

    qwen-7b-chat

    SFT训练

    ¥0.006/1,000 tokens

    后付费

    qwen-14b-chat

    SFT训练

    ¥0.03/1,000 tokens

    后付费

    qwen-72b-chat

    SFT训练

    ¥0.15/1,000 tokens

    后付费

    qwen1.5-7b-chat

    SFT训练

    ¥0.006/1,000 tokens

    后付费

    qwen1.5-14b-chat

    SFT训练

    ¥0.03/1,000 tokens

    后付费

    qwen1.5-72b-chat

    SFT训练

    ¥0.15/1,000 tokens

    后付费

  4. 目前是否有预付费相关的服务?

    模型部署支持预付费服务。

  5. 后付费的账单是月结算还是日结算?

    按照小时结算。每小时结算账单。

  6. 如何查询扣款项及明细?

    请前往费用与成本查看。

  7. 已经消费的金额,如何申请开票?

    登录费用与成本控制台,进入发票管理页面,点击开具发票页签。按照需求进行申请开票即可。

  8. 开通服务时提示“您的账户可用额度小于0,请先充值后再尝试购买”,应该怎么办?

    需要保证阿里云账户余额≥0,才可以开通服务。

权限相关

  1. 使用RAM用户(子账号)或RAM角色时,为什么我找不到创建业务空间的入口/进入主账号管理的入口?

    请使用主账号在RAM控制台中为您的RAM用户(或RAM角色)配置百炼的管控层权限

    配置前效果

    配置后效果

    image

    image

  2. RAM用户(子账号)删除后,之前子账号创建的API-KEY还能正常使用吗?

    不可以,删除后子账号下的 API-KEY 也会被删除并失效。

  3. 如何创建API-KEY?

    操作步骤请参见创建API-KEY

    API-KEY列表默认展示已打码的API-KEY,单击查看可展示完整明文。
    每个账号(无论主账号或子账号)最多可持有10API-KEY,若已满可先删除一个后再新建。
  4. RAM用户(子账号)可以购买阿里云百炼服务吗?

    仅能使用阿里云账号(主账号)开通百炼。开通服务后,您可以选择通过主账号、RAM用户(或RAM角色)使用百炼,详见开通百炼并注册新用户流程

  5. AdministratorAccess包含AliyunBailianFullAccess系统策略吗?

    是的,AdministratorAccess包含AliyunBailianFullAccess系统策略。拥有AdministratorAccess系统策略的RAM用户(子账号)默认具备所有管控层权限数据权限

  6. 已给RAM用户(子账号)授予AliyunBailianFullAccess系统策略,为何登录百炼控制台时无法进入?提示需要授权呢?

    拥有管控层权限并不代表您的RAM用户可以直接访问和使用某个百炼业务空间,必须为该用户添加数据层权限(前提),其才可以访问、使用和管理业务空间。具体配置步骤请参见RAM用户授予业务空间权限

API/SDK相关

  1. Completion API 调用报错提示“参数缺失”,错误码“100004”,是什么问题?

    缺少必须参数,如果必须参数没有缺失,则检查参数格式书写是否正确。

    正确示例如下

    curl --location 'https://bailian.aliyuncs.com/v2/app/completions' \
    --header 'Content-Type: application/json' \
    --header 'Authorization: Bearer 85763*************cf050f' \
    --data '{
    "RequestId":"B8265C3E-9248-56C0-8665-A37A12F06F6B",
    "AppId":"3cc760a7ef5d47d09255dd28b06b94d8",
    "Prompt":"今天深圳天气如何?",
    "User":"1",
    "Bot":"1"
    }'
  2. 如何查看错误码信息?

    阿里云百炼模型服务的API调用将返回状态码以标识调用结果。通用状态码由阿里云百炼约定,各算法模型还可能在通用状态码的基础上增加自定义的状态码和状态信息。请通过返回结果中的codestatus字段定位调用成功或失败的详细信息。

    HTTP 返回码

    错误代码 Code

    错误信息 Message

    说明

    -

    -

    openai.OpenAIError: The api_key client option must be set either by passing api_key to the client or by setting the OPENAI_API_KEY environment variable

    未传入API Key。您可以参考常见问题将 API Key 正确配置到环境变量,或将 API  Key 作为明文写入代码中(不建议)。

    400

    InvalidParameter

    Required parameter(s) missing or invalid, please check the request parameters.

    接口调用参数不合法。

    400

    APIConnectionError

    Connection error.

    本地网络问题。通常是因为开启了代理,请关闭或者重启代理。

    400

    InvalidParameter

    Temperature should be in [0.0, 2.0)

    temperature 参数设置未在[0.0, 2.0)的范围内。参数的取值范围请参见通义千问 API 文档

    400

    invalid_request_error

    'temperature' must be Float

    temperature 参数设置未在[0.0, 2.0)的范围内。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Range of top_p should be (0.0, 1.0]

    top_p 参数设置未在(0.0, 1.0]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    invalid_request_error

    'top_p' must be Float

    top_p 参数设置未在(0.0, 1.0]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Presence_penalty should be in [-2.0, 2.0]

    presence_penalty 参数设置未在 [-2.0, 2.0]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Range of max_tokens should be [1, 2000]

    max_tokens 参数设置未在 [1, 模型最大输出 Token 数]的范围内。模型最大输出 Token 数请参见模型列表

    400

    InvalidParameter

    Range of n should be [1, 4]

    n 参数设置未在 [1, 4]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Range of seed should be [0, 9223372036854775807]

    使用 DashScope 方式调用大模型 API 时,seed 参数设置未在 [0, 9223372036854775807]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    invalid_request_error

    -1 is lesser than the minimum of 0 - 'seed'

    'seed' must be Integer

    使用 OpenAI 兼容方式调用大模型 API 时,seed 参数设置未在 [0, 231-1]的范围内。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    The "stop" parameter must be of type "str", "list[str]", "list[int]", or "list[list[int]]", and all elements within the list must be of the same type.

    stop 参数不符合"str", "list[str]", "list[int]", 或"list[list[int]]"格式。参数的详细说明请参见通义千问 API 文档

    400

    InvalidParameter

    Parameter top_k be greater than or equal to 0

    top_k 参数不可以为负数。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Repetition_penalty should be greater than 0.0

    repetition_penalty 参数不可以为负数。参数的取值范围请参见通义千问 API 文档

    400

    InvalidParameter

    Value error, batch size is invalid, it should not be larger than xx.

    调用Embedding模型时输入内容行数超过模型上限,具体行数限制请参考Embedding

    400

    InvalidParameter

    Range of input length should be [1, xxxx]

    调用模型时输入内容长度超过模型上限,具体限制请参考模型列表

    400

    InvalidParameter

    Input should be a valid dictionary or instance of GPT3Message

    messages 字段的构造格式不符合要求,例如括号数量不匹配、缺少必要的键值对等。

    400

    InvalidParameter

    Value error, contents is neither str nor list of str

    LangChain框架下调用模型方式错误,请参考Langchain开发参考进行调用。

    400

    InvalidParameter

    Either \"prompt\" or \"messages\" must exist and cannot both be none

    promptmessages字段不能都为空。

    原因可能是格式错误,例如通过HTTP调用DashScope服务(非OpenAI兼容方式)时,messages需放入input对象中,而不是与model参数并列。

    {
        "model": "指定模型",
        "input": {
            "messages": [
                {"role": "user", "content": "你是谁"},
            ]
        },
        "parameters": {
            "result_format": "message"
        }
    }

    400

    InvalidParameter

    'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.

    在开启JSON结构化输出功能时,未在System MessageUser Message指引模型以JSON格式输出,如:“请以JSON格式输出。”。

    400

    InvalidParameter

    File [id:file-fe-***********] format is not supported.

    Qwen-Long模型仅限于处理纯文本格式文件,包括TXT、DOCX、PDF、EPUB、MOBIMD文件类型。目前不支持图片或扫描文档(因其本质上是图片形式,无法直接提取文本内容)的上传。如需对图片内容进行文本提取、分析和总结,您可以使用通义千问VL模型

    400

    InvalidParameter

    Invalid file [id:file-fe-***********].

    提供的 file-id 无效,例如输入错误、使用了不属于当前 API Key 所关联阿里云账号的 file-id。您可以通过查询文件列表接口确认file-id是否有效或重新上传文件来获取新的file_id后进行调用。

    400

    InvalidParameter

    File [id:file-fe-***********] cannot be found.

    仅在Qwen-Long模型的对话场景中,在发起对话请求后的极短时间内调用OpenAI文件兼容接口删除相关文件时才会出现。请等待模型完成对话后再删除相关文件。

    400

    InvalidParameter

    Too many files provided.

    提供的file-id数量超限,请确保file-id数量小于100。

    400

    InvalidParameter

    File [id:file-fe-***********] exceeds size limit.

    提供的file-id文件大小超限,请确保文件小于150 MB。

    400

    InvalidParameter

    File [id:file-fe-***********] exceeds page limits (15000 pages).

    提供的file-id文件页数超限,请确保文件页数小于15000页。

    400

    InvalidParameter

    File [id:file-fe-***********] content blank.

    提供的file-id文件内容为空,请确保文件内容符合要求。

    400

    InvalidParameter

    Total message token length exceed model limit (10000000 tokens).

    输入总长度超过了10,000,000 Token,请确保message长度符合要求。

    400

    InvalidParameter

    Single round file-content exceeds token limit, please use fileid to supply lengthy input.

    输入的单条messag长度超过了9,000 Token,请通过file-id传入文档信息

    400

    DataInspectionFailed

    data_inspection_failed

    Input or output data may contain inappropriate content.

    Input data may contain inappropriate content.

    Output data may contain inappropriate content.

    数据检查错误,输入或者输出包含疑似敏感内容被绿网拦截。

    400

    BadRequest.EmptyInput

    Required input parameter missing from request.

    请求的输入不能为空。

    400

    BadRequest.EmptyParameters

    Required parameter "parameters" missing from request.

    请求的参数不能为空。

    400

    BadRequest.EmptyModel

    Required parameter "model" missing from request.

    请求输入的模型不能为空。

    400

    InvalidURL

    Invalid URL provided in your request.

    请求的URL错误。

    400

    InvalidParameter

    The video modality input does not meet the requirements because: the range of sequence images shoule be (4, 80).

    使用通义千问VL模型进行视频理解,且以图像列表方式传入时,图像数量不符合要求。最少需要传入4张图片,最多可传入80张图片。详情可参见使用通义千问VL模型进行视频理解

    400

    InvalidParameter

    Exceeded limit on max bytes per data-uri item : 10485760'.

    Multimodal file size is too large.

    传入图像的大小超过了10 MB。请确保传入通义千问VL模型的图像小于10 MB。

    400

    InvalidParameter

    The image length and width do not meet the model restrictions. [absolute aspect ratio must be smaller than 200, got n / m].

    The image length and width do not meet the model restrictions. [height:n or width:m must be larger than 10].

    传入通义千问VL模型的图像尺寸(长度和宽度)不符合模型的要求。

    图像尺寸需满足以下要求:

    • 图像的宽度和高度均不小于10像素。

    • 宽高比不应超过200:11:200。

    400

    InvalidParameter

    The file format is illegal and cannot be opened.

    • 图像文件格式非法,无法打开。

    • 通义千问VL模型支持的图像格式如下:BMP、DIB、ICNS、ICO、JPEG、JPEG2000、PNG、SGI、TIFF、WEBP。

    400

    InvalidParameter

    Failed to download multimodal content.

    Download the media resource timed out during the data inspection process.

    无法下载多模态文件或者下载超时。有以下两种可能的原因:

    • 网络原因,请检查您的网络连接是否正常。

    • 该文件的URLOSS的内网URL。由于OSS内网与百炼服务不互通,请勿使用OSS内网URL。

    400

    InvalidParameter

    Don't have authorization to access the media resource during the data inspection process.

    该媒体文件没有访问权限。

    可能的原因:调用模型时,传入的OSS中带签名的文件URL已经过期。请确保在文件URL的有效期内访问该文件。

    400

    invalid_value

    Invalid value: vide. Supported values are: 'text','image_url','video_url' and 'video'.

    使用OpenAI SDK调用模型时,content参数type属性的取值不正确。支持的取值有text、image_url、videovideo_url。

    400

    InvalidParameter

    Invalid video file.

    传入的视频文件无效。

    400

    InvalidParameter

    The video modality input does not meet the requirements because: The video file is too long.

    传入义千问VL模型的视频时长超过限制,支持的视频时长应在2秒至40秒之间。

    400

    Arrearage

    Access denied, please make sure your account is in good standing.

    • 可能原因一:阿里云账号因为欠费而被拒绝访问。请前往费用与成本页面查看是否欠费或充值。

      模型响应账号余额会有一些时间的延迟,请您等待几分钟后重试。
    • 可能原因二:调用Batch接口返回该报错,是因为未开通百炼服务。请前往百炼控制台的模型广场,免费开通百炼服务,然后用百炼的API KEY进行调用。

    400

    UnsupportedOperation

    The operation is unsupported on the referee object.

    关联的对象不支持该操作(可以根据实际情况修改)。

    400

    FlowNotPublished

    Flow has not published yet, please publish flow and try again.

    流程未发布,请发布流程后再重试。

    400

    InvalidSchema

    Database schema is invalid for text2sql.

    请输入数据库Schema信息。

    400

    InvalidSchemaFormat

    Database schema format is invalid for text2sql.

    输入数据表信息格式异常。

    400

    FaqRuleBlocked

    Input or output data is blocked by faq rule.

    命中FAQ规则干预模块。

    400

    CustomRoleBlocked

    Input or output data may contain inappropriate content with custom rule.

    请求或响应内容没有通过自定义策略。

    400

    InternalError.Algo

    Missing Content-Length of multimodal url.

    URL请求的响应头信息缺失Content-Length字段。如果问题无法解决,请尝试使用其他图片链接。

    查看Content-Length字段

    1. 打开浏览器(如ChromeFirefox)。

    2. 打开开发者工具(通常按F12或右键选择“检查”)。

    3. 切换到Network标签。

    4. 将图片的URL输入到地址栏并访问。

    5. 找到对应的请求,查看Headers部分,在“响应头”(Response Headers)部分中查找Content-Length字段

    400

    InvalidParameter

    Wrong Content-Type of multimodal url

    • URL请求的响应头信息Content-Type字段不正确。如果问题无法解决,请尝试使用其他图片链接。

    • 通义千问VL模型支持的Content Type为:image/bmp、image/bmp、image/icns、image/x-icon、image/jpeg、image/jp2、image/png、image/sgi、image/tiff、image/webp。详情可参见通义千问VL模型支持的图像

    查看Content-Type字段

    1. 打开浏览器(如ChromeFirefox)。

    2. 打开开发者工具(通常按F12或右键选择“检查”)。

    3. 切换到Network标签。

    4. 将图片的URL输入到地址栏并访问。

    5. 找到对应的请求,查看Headers部分,在“响应头”(Response Headers)部分中查找Content-Type字段。

    400

    invalid_request_error

    Payload Too Large.

    执行Batch任务时,上传的JSONL文件大小超出允许的最大限制。

    为了顺利完成上传,请检查并确保文件大小符合规定限制,或者考虑将大文件分割成多个较小的文件进行上传。JSONL文件格式请参考输入文件格式

    400

    invalid_request_error

    Upload file capacity exceed limit.

    上传文件失败。说明当前阿里云账号下的百炼存储空间已满或接近满额,可以通过删除文件接口删除不需要的文件以释放空间。

    当前阿里云账号下的百炼存储空间支持的最大文件数为10000个,文件总量不超过100 GB。

    401

    InvalidApiKey

    invalid_api_key

    Invalid API-key provided.

    Incorrect API key provided.

    请求中的 ApiKey 错误。

    403

    AccessDenied

    access_denied

    Access denied.

    无权访问此 API,比如不在邀测中。请前往百炼控制台,在模型广场的对应模型卡片下方单击立即申请发起测试申请。

    403

    Workspace.AccessDenied

    Workspace access denied.

    无权限访问业务空间的应用或者模型。

    • 如果调用子业务空间的应用,请参考业务空间

    • 如果调用子业务空间的模型,请参考子业务空间的模型调用

    • 您也可以改为使用主账号的API KEY,主账号具有所有业务空间的权限。

    403

    Model.AccessDenied

    Model access denied.

    子账号无权限访问业务空间的模型。请确认以下步骤:

    1. 调用时,是否传入了业务空间标识(目前子账号无法访问默认业务空间的应用或模型)。

    2. 是否已对子账号访问的业务空间做了授权。

    3. 是否对访问的业务空间做了模型的访问授权。

    具体详情请参考文档子业务空间的模型调用的前提条件。

    403

    AccessDenied.Unpurchased

    Access to model denied. Please make sure you are eligible for using the model.

    404

    WorkSpaceNotFound

    WorkSpace can not be found.

    用户空间信息不存在。

    404

    ModelNotFound

    model_not_found

    Model can not be found.

    The model xx does not exist.

    当前访问的模型不存在。

    404

    ModelNotFound

    model_not_found

    The model xx does not exist or you do not have access to it.

    您还未开通百炼服务,您需要前往模型广场开通模型服务。

    408

    RequestTimeOut

    • Request timed out, please try again later.

    • Response timeout!

    • 请求超时,您可尝试再次发起请求。

    • 可能是因为输出内容很长导致超时,您可尝试采用流式输出方式发起请求,具体操作请参流式输出

    413

    BadRequest.TooLarge

    Payload Too Large.

    接入层网关返回请求体过大错误,如果错误是由MSE网关层直接拦截,则没有 code,并且 message 不能自定义。如果是RESTful网关拦截,则返回code。

    415

    BadRequest.InputDownloadFailed

    Failed to download the input file: xxx.

    下载输入文件失败,可能是由于下载超时、下载失败或者文件超过限额大小,错误信息可以指出更详细的内容。

    415

    BadRequest.UnsupportedFileFormat

    Input file format is not supported.

    输入文件的格式不受支持。

    429

    Throttling

    Requests throttling triggered.

    接口调用触发限流。

    429

    Throttling

    • Too many fine-tune job in running, please retry later.

    • Only 20 fine-tune job in running or succeeded allowed per user.

    资源的创建触发平台限制。您可以:

    • 删除不再使用的模型。

    • 如您确实需要提高训练任务的并发量或保留更多训练成功的模型,请发送邮件至modelstudio@service.aliyun.com进行申请,并在邮件中告知阿里云主账号uid和申请提额的原因。

    429

    Throttling.RateQuota

    Requests rate limit exceeded, please try again later.

    调用频次触发限流,比如每秒钟请求次数。您可以查阅限流文档了解对应模型的限流条件。建议等待一段时间后再尝试调用或申请提高限额

    429

    Throttling.AllocationQuota

    Allocated quota exceeded, please increase your quota limit.

    一段时间调用量触发限流,比如每分钟生成Token数。

    429

    LimitRequests

    limit_requests

    You exceeded your current requests list

    超出调用限制,您需等到不满足限流条件时才能再次调用,部分模型支持申请提高限额,具体请查看限流文档

    429

    Throttling.AllocationQuota

    Free allocated quota exceeded.

    免费额度已经到期或者耗尽,并且该模型未支持计费访问。

    如果是qwen-vl-v1、qwen-vl-chat-v1模型额度耗尽,建议使用qwen-vl-max、qwen-vl-plus等模型,详情请查看视觉理解文档。

    429

    PrepaidBillOverdue

    The prepaid bill is overdue.

    业务空间预付费账单到期。

    429

    PostpaidBillOverdue

    The postpaid bill is overdue.

    模型推理商品已失效。

    429

    CommodityNotPurchased

    Commodity has not purchased yet.

    业务空间未订购。

    500

    InternalError

    internal_error

    An internal error has occured, please try again later or contact service support.

    内部错误。

    500

    InternalError.Algo

    An internal error has occured during execution, please try again later or contact service support.

    内部算法错误。

    500

    InternalError.Algo

    Role must be in [user, assistant]

    在使用Qwen-MT模型时,请确保messages数组中仅包含一个元素,且该元素必须是用户消息(User Message)。

    500

    SystemError

    system_error

    An system error has occured, please try again later.

    系统错误。

    500

    InternalError.Timeout

    An internal timeout error has occured during execution, please try again later or contact service support.

    异步任务从网关提交给算法服务层之后等待时间 3 小时,如果在这期间始终没有结果,则超时。

    500

    RewriteFailed

    Failed to rewrite content for prompt.

    调用改写prompt的大模型失败。

    500

    RetrivalFailed

    Failed to retrieve data from documents.

    文档检索失败。

    500

    AppProcessFailed

    Failed to proceed application request.

    应用流程处理失败。

    500

    ModelServiceFailed

    Failed to request model service.

    模型服务调用失败。

    500

    InvokePluginFailed

    Failed to invoke plugin.

    插件调用失败。

    503

    ModelUnavailable

    Model is unavailable, please try again later.

    模型暂时无法提供服务。

    503

    ModelServingError

    Too many requests. Your requests are being throttled due to system capacity limits. Please try again later.

    我们的网络资源目前处于饱和状态,暂时无法处理您的请求,您可以稍后再进行尝试。

    NetworkError

    network_error

    Can not find api-key.

    环境变量配置没有生效,您可以重启客户端或IDE后重试。更多情况请参考常见问题

  3. 如何安装SDK?

    阿里云百炼目前支持Java、Python编程语言的SDK,点击安装SDK查看详情。

  4. Assistant API调用function call ,用户需要依次调用两个本地函数,现在支持吗?

    a.目前不支持分别调用两个函数。

    b.手动创建两个Assistant API,分别分配两个Assistant API的使用返回。

  5. Assistant api 为什么没有memory相关的能力?Assistant api 有memory相关的能力吗?

    memory是一个较为复杂的配置功能,在Assistant API 中实现较为复杂,所以需要在产品页面中配置。目前正在设计方案,希望尽快可以实现

  6. doc_reference_type 参数设置后不生效?

    doc_reference_type 参数只在旧版本应用中生效,新版本应用中直接在应用操作页面开启展示答案来源按钮即可。image

产品相关

  1. 如何开通阿里云百炼服务?

    登录阿里云账号,访问阿里云百炼大模型服务平台在首页/模型广场/应用广场,均可点击开通模型服务,按需开通即可。详细内容请查看:产品开通

  2. 开通阿里云百炼服务后如何关闭?

    目前,阿里云百炼服务开通后暂不支持关闭。如果您通过API来调用模型/应用,您只需要在控制台的API-KEY页面中删除API-KEY即可避免后续的调用。

  3. 如何体验大模型服务?

    可通过模型体验中心进行体验,详细内容请查看:模型体验介绍

  4. 阿里云百炼和通义千问的区别是什么?

    阿里云百炼是一个提供模型的平台,包含通义千问系列的模型。

  5. 我的产品接入了通义千问大模型,需要上架到微信小程序等其他应用商店,需要提供合作协议用于上架产品,应该怎么申请?

    a.备案号获取流程请查看调用通义系列大模型开发应用上架应用商店/微信小程序申请指南

    b.如需申请通义千问系列模型的合作协议,请提交阿里云工单进行申请。

  6. 如何实现业务数据隔离,使不同业务线的同学数据之间不关联?

    可以通过主账号给不同子账号授予不同的业务空间权限,不同业务空间的数据互不影响,存在隔离。详细操作内容点击如何使用业务空间查看。

  7. 百炼是否保存模型调用时传入的数据?

    • 通过模型API调用模型时,百炼不会保存对话数据。调用过程只对调用状态进行脱敏日志记录,调用结束后对明文的提示词以及应答结果进行销毁,不会保存数据。

    • 通过Assistant API调用模型时,百炼会保存对话数据以增强用户体验,目前暂无数据失效日期。

    • 通过百炼应用调用模型时,分两种情况:

      • 默认情况(未开启长期记忆功能):对话历史记录默认缓存60分钟,缓存的对话轮数通过“携带上下文轮数”参数指定。如果60分钟内发生一次对话,缓存的失效时间会往后延60分钟。如果60分钟内没有发生对话,对话历史记录将失效,即数据被销毁。

      • 开启长期记忆功能后:百炼不会保存原始对话记录,仅按照客户配置的画像字段进行内容抽取,该信息目前暂无失效日期。

    • 阿里云严格保护数据隐私,绝不会将您的数据用于模型训练。同时,您在构建应用或训练大模型过程中传输的数据都会经过加密,确保数据安全。

模型中心

  1. 完形填空词的数据能作为训练题吗?

    可以的,可以通过上传训练集时,指定好问题内容及答案,引导大模型学习。可以点击自定义模型最佳实践参考。

  2. 目前阿里云百炼只能训练文字吗?图片可以训练吗?

    目前已支持图片训练,qwen-vl-plus模型支持训练微调。

  3. 使用高阶模型微调,低阶模型做能力下沉,是想做蒸馏吗?

    该技术通过微调高阶模型获取强大知识,然后将其转移至低阶模型,实现模型压缩与性能优化,使得低阶模型在保持小巧、高效的同时,获得接近或超越高阶模型的性能。

  4. 所谓大模型参数是怎么存储的?

    可以通过魔搭下载模型,会有模型结构的JSON,可以参考JSON内容。一般情况下用开源的Python组件,去解析组件,会有向量信息,可能理解会有点难度。但是可以了解存储过程。

  5. 语料数据集的多样性怎么定义?

    语料数据集的多样性是指其在语言特征、内容主题、文本类型、写作风格、语言变体、作者背景、时间跨度等多个维度上体现出的丰富程度和差异性,旨在真实反映语言的实际使用情况,提升NLP模型的泛化能力和对多元应用场景的适应性。

  6. 个人使用大模型训练时,qwen-turboqwen-max应该怎么选?

    qwen-turbo注重速度与资源效率,适合对响应速度和部署便捷性有较高要求的场景;qwen-max则聚焦顶级性能与全面知识,适用于对模型精度和处理复杂任务能力有严格要求的环境。其中qwen-turbo的费用要比qwen-max低。根据您的具体需求和条件权衡,选择最适合自己的模型版本。也可以查看模型介绍:通义千问介绍了解具体差异。

  7. 模型训练中的自定义模型怎么上传?

    模型调优中的自定义模型是指您已训练完成的模型,想要二次训练时,所选择的自定义模型。若是您自己在本地训练的模型不支持上传。

  8. 训练完的开源模型是否支持导出?

    目前不支持。

  9. 通义千问系列模型支持多少种语言?

    14种,分别是中文、英文、阿拉伯语、西班牙语、法语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、印度尼西亚语。

  10. 当前模型可以对接结构化数据吗?比如MySQLhive等。

    当前不支持。但已经在开发中,优先对接RDS服务。

  11. 通义千问升级后, 企业大模型需要重新训练么?

    不一定。是否以及何时进行企业大模型的重新训练,取决于客户自己。如果训练出来的模型,效果在客户场景中表现良好,就没必要再训练一遍。基模型的升级,在客户的应用场景会带来什么样的变化,是无法预知的,需要客户用我们的效果评估工具进行评估(如果客户判断需要)。

  12. 发现百炼上的base model模型,有时候模型自己会重复说话,并且在base model上进行微调后,这种现象发现会更严重一些,是什么原因?

    这种是大模型的幻觉问题,当你输入的问题大模型没有知识回答的时候就可能出现。如果在base model上训练后更严重,就是没有训练好,训练效果与训练数据质量、多样性、数据等都有关系。

  13. 我们现在是训练垂直领域的模型,知识都是安全领域的数据。请问下如果在SFT阶段,不混入通义原始的SFT数据,我们喂的垂直领域的数据越多,是不是越容易过拟合,遗忘了原有的知识。而且在我们这个领域的回答也会重复啰嗦。请问有什么最佳实践建议吗?

    (1)只使用领域数据进行SFT训练,会遗忘大模型原有的通用知识。

    (2)如何准备好的领域SFT数据:

    • 任务定义要清晰,典型的不清晰是指同一个输入,对应模棱两可的两种答案。

    • 数据质量、准确率要高,答案一定要是准确回答当前问题的,简单明了,最好不要有冗余废话。

    • 多样性,如你所说,同一语义可以用丰富的prompt,避免学到单一prompt的模式信息。训练数据一般没法一次就做好,一般是多次迭代优化,数据很重要,构建成本也比较高,需要逐步迭代质量、多样性这些维度。

  14. 在训练的时候发现,数据量少的情况下,比如100条左右,循环次数越大效果越好。但在数据量多的情况下比如1000条以上,循环次数越多越容易过拟合。请问这个超参配置和数据配比,有什么最佳实践?

    数据在质量保证的前提下,越多越好,尤其是对于难的任务。循环次数等这些超参数,不同任务可能不一样,没有具体规律,还是要在您的任务上实验下,我们一般在难的任务上,几千条数据的情况,也要训练20轮左右。另外,大模型的过拟合不能只看loss,loss上显示了过拟合,实际效果可能变好,这与传统模型不同,还是要人工看效果。

  15. 请问Qwen2、千问-MAX等模型的文字生成速度对所有用户都是固定的吗,有没有调速的途径?

    这个速度不是固定的,跟线上资源和用户所有请求有关。

  16. 咱们模型限流触发后,一般需要等多长时间再次尝试呢?

    这个就和具体限流值相关。比如有的客户的限流是120qpm,执行2次请求每1秒,那比如0.2秒的时候提交了2次请求,再提交就会被限流,然后需要等0.8秒。

应用中心

  1. 目前官方都支持什么类型的插件?

    目前系统提供六款插件能力,分别是:Python代码解释器、计算器、图片生成、夸克搜索、生成二维码、GitHub搜索。其中部分插件需要经过申请通过后才可以使用。

  2. 自定义插件能力是否会收费?

    自定义插件服务目前暂时不收费,但配置智能体API时如涉及到prompt优化、应用调用及测试窗测试,则会收费。

  3. 对于我自己定义的插件或函数,assistant api是如何理解插件或函数的参数,并使用它们的?

    自定义API插件是可以理解的,会遵循协议,传给大模型,让大模型进行理解。对于函数而言,大模型会学习传入的参数信息,会返回完整的结果。

  4. agentassistant api的最大区别是什么?

    调整插件模型、基于上下文的理解,用户可以自己去开发,而assistant api是可以提供各种类,方便调优。

  5. 知识检索增强(RAG)在哪些领域都得到了应用,展开说?

    知识检索增强(RAG)模型凭借其强大的检索与生成能力,在问答系统、对话系统、文本摘要、知识图谱构建与推理、教育与培训、客户服务、新闻与内容创作以及智能搜索与推荐等多个领域均展现出广泛的应用潜力和价值。

  6. RAG检索增强应用进行测试时,会出现模型回复不准确的情况,应该如何优化?

    您可以点击模型回复内容下方的问题反馈按钮,勾选问题类型并提交。也可以复制requestID,通过提交阿里云工单反馈给我们。image

  7. AI输出后包含**xxxxx**,如何给他变成加粗显示?

    ** **是md格式的加粗标识。您可以在前端渲染大模型生成的内容时解析md语法并做对应的渲染。

  8. 应用的回复能设置成增量的么,当前每次都在前一次的基础上的全量回复。

    tream=True, # 设置输出方式为流式输出;

    incremental_output=True # 增量式流式输出;

  9. RAG检索顺序是并行还是串行有先后顺序?

    并行根据每个知识库的用户配置进行检索,然后再根据得分选取topN。

  10. 百炼调用自定义插件的时候能通过模型透传header吗,我们有个场景显示透传了header,但是根据服务端返回的情况,实际上并没有透传。

    不支持自定义header, 仅支持authorizarion。

数据管理

  1. 上传文件仅支持 pdf/doc/docx 文件, 请重试 错误码:140010

    上传的文件为PDF格式时,请确保文件后缀为小写pdf。

  2. 每个业务空间最多上传10万个文档,客户的文件超过了应该怎么办呢,可以扩容吗?

    提交阿里云工单进行申请。

  3. 上传文件接口必填的MD5参数,是什么作用?

    用来验证上传的文件是否完整。

  4. 结构化数据中有100条数据,但导入后发现只有20条数据,是什么原因?

    请确认表格中的数据中是否存在空行。产品策略中如果出现空行后面的数据将不会识别。如果第一行是空行,就会认为是空文件。

如何联系我们

  1. 如有业务合作方面的场景,应该怎么联系?

    请联系阿里云官方服务热线:4008013260或通过官网-售前咨询进一步沟通。

  2. 产品使用方面的问题如何反馈?

    请您登录阿里云官网,通过官网-售后服务进行反馈。