创建科学计算大模型部署任务
平台支持部署训练后的模型或预置模型,操作步骤如下:
- 登录ModelArts Studio大模型开发平台,进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“选择模型”页面,选择“模型广场 > 科学计算大模型 > 模型”,单击“确定”进入“创建部署”页面。
- 在“创建部署”页面,参考表1完成部署参数设置。
表1 科学计算大模型部署参数说明 参数分类
部署参数
参数说明
部署配置
选择模型
可以修改如下信息:
- 来源:选择“模型广场”。
- 类型:选择“科学计算大模型”,并选择需要进行部署的模型和版本。推荐的推理场景与模型组合请见表2。
部署方式
支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。
- 部分模型资产支持边缘部署方式,若选择“边缘部署”:
- 本地挂载路径(选填):在容器内部将卷挂载的本地路径。挂载后,容器中的应用程序可以通过这个路径访问宿主机上的数据。
- 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。
- CPU:部署需要使用的最小CPU值(物理核)。
- 内存:部署需要使用的最小内存值。
- Ascend:部署使用的NPU数量。
- 负载均衡:创建负载均衡步骤请详见步骤5:创建负载均衡。
- 实例数:设置部署模型时所需的实例数。
资源配置
计费模式
包年包月计费模式。
实例数
设置部署模型时所需的实例数。
订阅提醒
订阅提醒
该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。
基本信息
服务名称
设置部署任务的名称。
描述(选填)
设置部署任务的描述。
标签(选填)
设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。
- 下游天气类的模型需与全球天气模型(Global-Weather)共同部署推理,下游海洋类模型需与全球海洋模型(Global-Ocean)共同部署推理。
- 对于有上游依赖的模型,需要选择具备该要素的上游模型一同部署。
- 单次部署时同一类模型的时间分辨率不能重合,例如:不能同时选择两个1h的全球天气模型(Global-Weather),其他模型逻辑与此一致。
表2 科学计算气象模型部署场景 场景
模型组合
天气推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h)
降水推理
Pangu-AI4S-Global-Weather (6h + 24h) Pangu-AI4S-Global-Precip 6h
海洋推理
Pangu-AI4S-Global-Ocean + Pangu-AI4S-Regional-Ocean + Pangu-AI4S-Global-Ecology + Pangu-AI4S-Global-Swell
污染物推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h) + 基于Pangu-AI4S-Regional-Pollution训练出的污染物区域模型(推荐时间分辨率 1h + 3h + 6h + 24h)
新能源风推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h) + 基于Pangu-AI4S-Regional-Weather训练出的区域天气模型+ 自行训练出的区域新能源风模型
新能源光推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h) + 基于Pangu-AI4S-Regional-Weather训练出的区域天气模型 + 自行训练出的区域新能源风模型
区域天气推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h) + 基于Pangu-AI4S-Regional-Weather训练出的区域天气模型
区域降水推理
Pangu-AI4S-Global-Weather (1h + 3h + 6h + 24h) + Pangu-AI4S-Global-Precip 6h + 基于Pangu-AI4S-Regional-Weather训练出的区域天气模型 + 基于Pangu-AI4S-Regional-Precip训练出的区域降水模型
区域海洋要素推理
Pangu-AI4S-Global-Ocean + Pangu-AI4S-Regional-Ocean + Pangu-AI4S-Global-Ecology + Pangu-AI4S-Global-Swell + Pangu-AI4S-Regional-Ecology + Pangu-AI4S-Regional-Swell
- 参数填写完成后,单击“立即部署”。