模型服务(Model Serving)是指将机器学习模型部署为服务,以便其他应用程序或系统可以调用这些模型进行预测或决策。模型服务是机器学习生命周期中的一个重要环节,它使得模型能够从开发环境顺利过渡到生产环境,从而实现商业价值。
在Versatile中,模型服务为智能体提供了最核心的智能,使智能体能够自主、智能地完成复杂任务。
模型服务分类
为满足不同用户的技术能力、业务场景及需求,Versatile提供了多样化的模型服务模式。以下从模型来源对各类模型服务进行介绍,具体如表1所示。
表1 模型服务分类介绍
分类 |
特征 |
典型模型 |
使用流程 |
平台预置的供应商模型服务 |
由供应商部署,平台接入供应商提供的模型服务API。 |
MiniMax、月之暗面、智谱AI、百川智能、深度求索、阿里云、盘古大模型服务、ModelArts Studio(MaaS)等。 |
接入预置的供应商模型服务流程 |
平台预置的模型服务 |
平台预置,免费试用的模型服务。 |
DeepSeek-V3-64K、DeepSeek-R1-64K |
- |
用户自主接入的模型服务 |
由用户或第三方部署在外部环境,平台调用外部已存在的模型服务API。 |
/ |
接入自定义的供应商模型服务流程 |