在ModelArts Studio(MaaS)扩缩容模型服务实例数
在使用大型模型进行推理时,其业务需求会呈现出明显的峰谷波动。因此,模型服务必须具备灵活的扩缩容能力,以适应不同时间段内的用户负载变化,确保服务的高可用性和资源的高效利用。
ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数,该操作不会影响部署服务的正常运行。
前提条件
已经在ModelArts Studio(MaaS)部署模型。
约束限制
仅当模型服务处于这几个状态下才能扩缩容实例数:运行中、告警。
计费说明
扩容模型服务实例数后,在调用MaaS预置服务时,将根据实际使用的Tokens数量进行计费,详情请见计费说明。
计费项 |
计费项说明 |
适用的计费模式 |
计费公式 |
|
---|---|---|---|---|
计算资源 |
公共资源池 |
使用计算资源的用量。 具体费用可参见ModelArts价格详情。 |
按需计费 |
规格单价 * 实例数 * 使用时长 优先抵扣套餐包时长 |
专属资源池 |
专属资源池的费用已在购买时支付,部署服务不再收费。 专属资源池的费用请参考专属资源池计费项。 |
- |
- |
|
事件通知(不开启则不计费) |
订阅消息使用消息通知服务,在事件列表中选择特定事件,在事件发生时发送消息通知。 如果想使用消息通知,需要在创建训练作业时开启“事件通知”功能。 具体计费可见消息通知服务价格详情。 |
按实际用量付费 |
|
扩缩实例数
- 登录ModelArts Studio(MaaS)控制台,在顶部导航栏选择目标区域。
- 在左侧导航栏,选择“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在目标模型服务右侧,单击操作列的“更多 > 扩缩容”,进入扩缩容页面。
- 在“扩缩容”页面,按需选择以下操作。
- 扩容:按需增加“变更后实例数”,单击“确定”,在“扩缩容服务”对话框,单击“确定”。
- 缩容:按需减少“变更后实例数”,单击“确定”,在“缩容服务提醒”对话框,查看提示信息,确认无误后输入YES,单击“确定”。
图1 缩容服务提醒
修改完后,在“我的服务”页签,单击服务名称,进入服务详情页,可以查看修改后的实例数是否生效。
图2 查看实例数
后续操作
- 模型体验:模型服务扩缩容后,可以在“模型体验”调用该模型服务进行功能体验。
- 调用模型服务:模型服务扩缩容后,可以在其他业务环境中调用该模型服务进行预测。
- 查看预置服务的调用数据:MaaS提供调用统计功能,可以查看模型服务在指定时间段内的调用数据详情,监控服务使用情况和资源消耗。