DataWorks的大模型服务提供了快速部署大模型的能力。通过简单的界面引导，您可以轻松完成预训练模型的部署。本文将详细介绍如何基于DataWorks的Serverless资源组部署模型服务。
计费说明
当前功能除了消耗DataWorks资源外，还消耗其他云产品资源，涉及的费用如下：
费用类型 | 描述 |
DataWorks费用 | 在DataWorks中部署的模型服务，若处于运行状态，将消耗Serverless资源组的资源。如果使用按量付费资源组部署模型服务，则按照CU时计费，具体收费标准请参考Serverless资源组计费。 |
非DataWorks费用 |
|
使用说明
DataWorks大模型服务将以全托管模式部署在DataWorks资源组中。为便于您通过安全内网通信访问模型服务，在部署时，系统将要求您开通相关服务，并将为您自动配置私网连接（PrivateLink）和内网域名解析（Private Hosted Zone）服务，原因如下：
借助PrivateLink的能力实现跨VPC（用户账号下支持与DataWorks资源组通信的VPC网络）访问，以便您可以在自己账号下的VPC内访问部署在DataWorks的全托管大模型服务。
借助Private Hosted Zone在您账号下做自定义域名解析，以便您可以在自己的VPC内通过域名方式访问特定的DataWorks大模型服务。
当您通过域名调用模型服务时，跨VPC流量将通过已建立的PrivateLink通道，从您的VPC传输至DataWorks资源组所在的VPC，并最终抵达该VPC内的模型实例，完成模型服务调用。您可通过PrivateLink控制台和云解析DNS-内网域名解析查看相关服务详情。
前提条件
模型服务完全托管在DataWorks平台的账号侧。如需在您的VPC内访问该服务，可通过PrivateLink实现跨VPC的安全访问。
已开通内网域名解析（Private Hosted Zone）服务。
Private Hosted Zone用于在用户侧实现自定义域名解析，通过直接访问固定的模型服务域名，将请求流量转发至DataWorks的模型服务。
请确保开通服务地域与DataWorks工作空间地域一致，否则可能导致服务无法正常使用。
使用限制
仅华东1（杭州）、华东2（上海）、华北2（北京）、华北6（乌兰察布）、华南1（深圳）、中国香港、日本（东京）、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、德国（法兰克福）、美国（硅谷）和美国（弗吉尼亚）地域支持使用大模型服务功能。
仅支持模型部署，不支持模型训练。
单个地域内，每个租户（阿里云主账号）最多可部署50个模型服务。
该功能仅支持Serverless资源组，且单个资源组最多可部署5个模型服务。
每个模型服务最多可绑定3个VPC网络。
功能入口
登录DataWorks控制台。在控制台顶部菜单栏切换至目标地域。
在左侧导航栏中单击大模型服务，进入大模型服务页面。
部署模型
在大模型服务页面，单击部署模型按钮，进入模型列表页面。选择需要部署的模型后，单击部署按钮，即可进入模型部署配置页面。请根据以下说明完成模型部署。
配置基本信息
模型：请确认即将部署到DataWorks资源组的模型类型，更多请参见支持的模型列表。
服务名称：您需要自定义模型服务的名称，用于在DataWorks上识别部署到资源组后的模型服务。
配置资源信息
请根据以下内容配置模型的部署环境。
配置项 | 配置说明 |
资源组 | 指定模型服务部署位置，选择您所创建的Serverless资源组。 部署完成后，您可登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的资源组，进入资源组列表页面。单击目标资源组名称，在资源组详情页查看大模型服务相关的Serverless资源组使用率。 |
交换机 | 指定模型服务部署的交换机环境。 可根据界面提示，选择适用可用区下Serverless资源组绑定的交换机。 |
部署规格 | 选择用于部署模型服务实例的单个实例资源规格。 |
实例数 | 配置部署模型服务的实例数量，通过多实例部署可提升模型的高可用性。 |
总共占用 | 根据需部署的资源部署规格*实例数计算本次数据模型服务总共所需的CU量。 请确保资源组用于大模型服务的可用CU足以部署当前模型服务，您可以前往资源组配额管理页调整资源组分配给大模型服务的CU上限。详情可参见给任务分配CU配额。
|
配置完成后，单击发布进行部署。
平台在创建模型服务时会自动生成PrivateLink、云解析Private Hosted Zone和安全组，请勿手动删除或编辑这些资源。模型服务释放时，平台将自动清理相关资源。
部署完成后，系统将在用户账号下完成以下操作：
在DataWorks资源组绑定的默认VPC中创建PrivateLink终端节点，并与DataWorks资源组VPC的PrivateLink服务端建立加密通信通道。
在用户账号的云解析Private Hosted Zone服务中自动添加了解析记录，将该内网域名关联至DataWorks资源组的VPC环境。
管理模型
模型服务创建成功后，您可以在大模型服务列表管理模型状态、查看服务信息、管理网络和API Key，并按需调整资源。
管理模型状态
模型服务创建成功后将默认启动，您可以在大模型服务列表的操作栏中根据业务需求管理模型状态。
操作 | 模型服务状态变更 | 资源消耗情况 |
启动 | 运行中 | 将消耗Serverless资源组的资源。 |
停止 | 已停止 | 不消耗Serverless资源组的资源。 |
删除 | —— | 会彻底释放Serverless资源组的资源。 |
查看模型服务
概览页签为您展示当前模型服务的配置信息，您可在概览页签管理模型服务的基本信息、资源配置和调用信息。
在大模型服务列表中，找到目标模型服务，单击服务名称，进入模型服务概览页签。
您可以查看模型服务的基本信息、资源信息和调用信息。
基本信息：包含模型服务名称、服务ID和模型类型等信息。
资源信息：可查看部署规格和实例数等信息。
调用信息：如需在节点任务中调用使用模型，您可单击VPC地址调用域名后面的
图标，复制获取该域名参数。
修改模型资源
对于已创建的模型服务，您可以修改服务名称、调整部署模型服务所使用的资源规格，以及更改部署模型服务的实例数量。
在大模型服务列表中，找到目标模型服务，单击服务名称，进入模型服务概览页签。
单击资源配置右侧的修改，进入修改资源页面进行相关配置。
重要资源更改将导致服务重启，影响模型服务正常运行。
管理模型网络
网络配置页签为您展示当前可通过内网访问该模型服务的VPC环境，您可在网络配置页签添加或管理可用于访问大模型服务的专有网络。
在大模型服务列表中，找到目标模型服务，单击服务名称，进入模型服务概览页签。
切换至网络配置页签，查看当前可通过内网访问该模型服务的VPC环境。
如需扩展访问范围，您可以通过添加网络的方式，允许更多VPC环境通过内网访问部署在DataWorks上的大模型服务。
添加网络时，需指定VPC（专有网络）和vSwitch（交换机）。当该VPC状态变为可用后，您可以通过该VPC访问该模型服务。
说明费用说明：为大模型服务添加专有网络后，系统会在您选择的需要访问模型服务的VPC下，创建一个私网连接（PrivateLink）终端节点，以实现和DataWorks资源组的网络连接，同时Private Hosted Zone会新增一条内网域名解析记录。在此过程中，将会产生实例费、流量处理费和域名解析费用，具体计费详情请参见私网连接计费说明、内网域名解析产品计费。
个数限制：最多可以为一个模型服务添加3个VPC（专有网络）。
如不再允许某个VPC环境访问该模型服务，您可在该模型服务上单击删除目标VPC环境。
模型服务上删除这个VPC时，在用户账号的这个VPC下创建的PrivateLink终端节点将同步被移除。
管理API Key
API Key是模型服务提供给模型调用方的一种鉴权凭证，用于验证用户身份和权限。您可在API KEY页签管理用于调用当前模型服务的所有API Key。
在大模型服务列表中，找到目标模型服务，单击服务名称，进入模型服务概览页签。
切换至API KEY页签，可创建、管理、使用API Key信息：
新增API KEY：模型服务部署成功后，平台会持有一个其他DataWorks模块调用的内置API Key。如需在其他环境中通过模型服务的
Endpoint自由调用服务模型，请单击新增API Key创建新的API Key。建议您为不同的应用场景分别创建独立的API Key。
查看API Key：单击目标API Key操作栏中的查看，然后单击复制即可获取该API Key。
删除API Key：DataWorks API Key提供禁用和删除功能。
重要若您需要禁用或删除某个已启用的API Key，请提前评估相关影响，因为一旦API Key被禁用或删除，所有使用该API Key调用模型的任务均将失败。
禁用或删除操作，预估
5min后生效。
后续步骤
模型部署完成后，您可使用模型进行相关任务的开发。
调用原理
您可通过以下流程图及相关说明了解模型服务的调用原理：
当您在DataWorks资源组中部署模型服务或为其配置专有网络时，系统将自动执行以下操作：
建立跨VPC连接。 在您的VPC（DataWorks资源组可连通的用户账号下的VPC）中，系统会自动创建PrivateLink终端节点，并与DataWorks资源组VPC的PrivateLink服务端建立加密通信通道。
此操作将自动在您账号下创建PrivateLink终端节点，需要您的账号已开通该服务。
配置域名解析服务。 在模型服务配置的VPC中自动配置域名解析规则，使得VPC内部域名请求流量自动转发至DataWorks模型服务。
此操作将自动在您账号下部署Private Hosted Zone解析服务，需要您的账号已开通该服务。