使用API调用多模态大模型

获取多模态大模型API请求地址

API请求地址由API接口域名+API访问路径（URI）拼接形成。

模型在部署成功后，可以通过API调用多模态大模型。

API接口域名格式为https://ip:port，获取方式参考《API参考》文档“获取大模型推理API接口域名”章节。

API访问路径（URI）中的deployment_id、project_id获取方式如下。

1. 使用最终租户登录ModelArts Studio平台，进入所需空间。
2. 在左侧导航栏中选择“模型开发 > 模型部署”，单击模型名称在“详情”页面获取API访问路径中的deployment_id参数。

   只有处于“运行中”状态的模型才可以正常调用。

   图1 获取deployment_id
   
3. 单击页面右上方用户名，并进入“个人设置”页面获取project_id。
   图2 获取project_id
   

获取Token

参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。

使用API调用多模态大模型

1. 在Postman中新建POST请求，并填入API请求地址。
2. 参考图3填写2个请求Header参数。
   • 参数名为Content-Type，参数值为application/json。
   • 参数名为X-Auth-Token，参数值为获取Token中获取的Token值。
     图3 填写多模态大模型API
     
3. 在Postman中选择“Body > raw”选项，参考以下代码填写请求Body。

   {
       "messages": [
           {
               "content": [
                   {
                       "type": "image",
                       "image": {
                           "image_base64": "图片的base64字符串"
                       }
                   },
                   {
                       "type": "text",
                       "text": "图中有什么？"
                   }
               ]
           }
       ],
       "presence_penalty": 0.5,
       "frequency_penalty": 0.5,
       "max_tokens": 2048
   }

   单图

   {
       "messages": [
           {
               "role": "user",
               "content": [{
                       "type": "text",
                       "text": "图中请简要描述下图片，说明其中对象的位置关系以及有趣之处"
                   }, {
                       "type": "image_url",
                       "image_url": {
                           "url": f "data:image/jpg;base64,{base64_str}"
                       }
                   },
               ]
           }
       ],
       "model": "pangu_mllm",
       "max_tokens": 520,
       "temperature": 0,
       "stream": "false",
   }

   多图

   {
       "messages": [{
               "role": "user",
               "content": [{
                       "type": "text",
                       "text": "请识别图1中的车牌号码"
                   }, {
                       "type": "image_url",
                       "image_url": {
                           "url": f "data:image/jpg;base64,{base64_str4}"
                       }
                   }, {
                       "type": "text",
                       "text": "图2中从左往右分别是谁？请简要介绍下名字"
                   }, {
                       "type": "image_url",
                       "image_url": {
                           "url": f "data:image/jpg;base64,{base64_str1}"
                       }
                   }, {
                       "type": "text",
                       "text": "图3中请简要描述下图片，说明其中对象的位置关系以及有趣之处 "
                   }, {
                       "type": "image_url",
                       "image_url": {
                           "url": f "data:image/jpg;base64,{base64_str}"
                       }
                   },
               ]
           }
       ],
       "model": "pangu_mllm",
       "max_tokens": 520,
       "temperature": 0,
       "stream": "false",
   }

   纯文本

   {
       "messages": [{
               "role": "user",
               "content": [{
                       "type": "text",
                       "text": "请简单介绍一下黄山"
                   },
               ]
           }
       ],
       "model": "pangu_mllm",
       "max_tokens": 520,
       "temperature": 0,
       "stream": "false",
   }

   图4 填写多模态大模型请求Body（单图）
   
   图5 填写多模态大模型请求Body（多图）
   
   图6 填写多模态大模型请求Body（纯文本）
   
4. 单击Postman界面“Send”按钮，发送请求。